1976年10月至1978年10月，在湖南澧县余家台水电站工作，测绘员；
1978年10月至1982年07月，在陕西西安电子科技大学（原陕西西北电讯工程学院）电子工程系学习，获学士学位；
1982年07月至1983年02月，在西安电子科技大学出国研究生预备班学习；
1983年02月至1983年09月，在大连外国语学院日语培训班学习；
1983年09月至1990年03月，在日本东北大学硕士生、博士生并获硕士、博士学位；
1990年03月至1995年07月，在清华大学计算机系任教师、副教授、教授，教研组副主任；1994年6月任清华大学计算机系副系主任；1995年2月评定为博士研究生导师；
1995年07月至1995年10月，在美国麻省理工学院作访问教授；
1995年10月至1997年11月，电子部计算机司副司长兼全国电子信息系统推广办公室副主任（挂职）；
1997年11月至1999年06月，清华大学计算机系教授、博士生导师；
1999年06月至2000年06月，教育部科学技术司副司长（主持工作）；
2000年06月至2001年05月，教育部科学技术司司长；
2001年05月至2009年06月，教育部高等教育司司长（其中，2001年11月至2006年5月兼任中央广播电视大学校长；2004年3月至2005年1月参加中央党校一年制中青年干部培训班；2007年5月至2008年9月任北京奥组委挂职总体策划部副部长；2007年当选为中国工程院院士）；
2009年06月至2011年10月，国务院学位委员会办公室主任、教育部学位管理与研究生教育司司长；
2011年11月至今，中南大学校长（副部长级）。
2011年10月21日，经中共教育部党组研究并与中共湖南省委商得一致，决定张尧学同志任中共中南大学委员会委员、常委。
2011年11月1日，中共中央组织部、教育部在中南大学召开教师干部大会，宣布任命张尧学同志为中南大学校长。