1927年6月北伐军进入开封,冯玉祥任河南省政府主席,他十分重视教育,建设厅长张钫鉴于水利工程人才的严重缺乏,拨出建设厅房产(今开封市北道门开封二中)一部为校址。
1929年3月创立水利工程学校。创办人为时任河南省建设厅厅长的著名人士张钫，首任校长为毕业于国立北洋大学土木工程系的陈泮岭。招收河南各县建设局局员等编为江、淮、河、汉四个班,后经甄别,缩为一个班,学制一年半。后因学时短促、学科繁重,于同年8月改学制为三年,招初中毕业生三个班,改校名为河南省水利工程专门学校。
1931年6月更名为河南省立水利工程专科学校。
1942年5月改建为国立黄河流域水利工程专科学校，成为当时河南省的三所国立大学之一（另两所为河南大学、焦作工学院）。与国立河海水利专科学校齐名（现更名河海大学，校长严恺院士原在黄河水专）。后来，国民政府教育部规定河南只能保留一所国立大学，国立黄河流域水利工程专科学校1946年9月并入河南大学，组建为河南大学水利系。
1942年5月改建为国立黄河流域水利工程专科学校。
1944年豫湘桂战役爆发后,国立黄河水利工程专科学校经豫西内乡迁至陕西宝鸡,人员、财产均蒙受巨大损失。
1946年河南大学成立工学院，土木系并入工学院，随后国立黄河水利工程专科学校并入，组建工学院水利系，严恺教授任系主任。
1953年，政务院教育部进一步明确全国高等院校院系调整以中南区为重点，中南区又以河南大学为重点，华北、华东、东北三区进行专业调整，西北、西南两区进行局部的院系调整和专业调整。于是，河南大学水利系调往武汉大学水利系 。
1950年5月，湖南大学水利类专业调入武汉大学。
1951年在武汉大学工学院内成立了水利工程系。
1952年经院系调整，将中南地区的广西大学、南昌大学、湖南农学院、江西农学院、武昌中华大学等的水利学科、师生和设备先后调入武汉大学。
1952年秋成立了武汉大学水利学院。
为适应国家大规模经济建设的需要，国务院于1954年12月1日批准成立了武汉水利学院。河南大学、华南工学院、天津大学、华东水利学院、沈阳农学院及河北农学院等校的水利学科和农田水利专业又相继并入。
2000年8月，武汉大学、武汉水利电力大学、武汉测绘科技大学、湖北医科大学合并成组建新的武汉大学。
1951年3月8日重建并更名为黄河水利专科学校，校长由黄河水利委员会主任王化云兼任。
1958年黄河水利学校升格为黄河水利学院。
1961年经济困难时停办本科，校名恢复为黄河水利学校。
1998年3月，经原国家教委批准，改建为黄河水利职业技术学院。
2000年被教育部列入全国首批15所示范性职业技术学院建设单位。
