1949年、1950年淮河流域连续发生大洪水。

1951年5月，毛泽东主席发出“一定要把淮河修好”的伟大号召，掀起了新中国第一次大规模治淮高潮。为顺应大规模治淮规划设计和工程建设对科技的需求，当年10月，治淮委员会工程部创建了土工试验室，组建钻探队分赴沿淮各工地，开展土工采样与土工实验研究工作。

1952年，在佛子岭水库开工建设工地建立材料试验室，进行混凝土质量控制和水工混凝土施工技术试验研究。

1954～1956年，因应梅山水库、响洪甸水库、磨子潭水库相继开工建设，设立了材料试验室、水工试验室和露天试验场，开展土工、建筑材料、水工模型试验研究工作。

1956年，扩建了水工模型试验基地，并在此基础上，成立了淮河水利科学研究所，下设土工、材料、水工、水土改良4个专业组和新淝闸、淠右两处农水试验站。

1957年4月，淮河水利科学研究所正式命名为水利部治淮委员会水利科学研究所。

1959年，规划在梅山水库兴建高速水流试验室，1960年动工兴建，1962年建成。

1960年，设置了电子仪器厂和放射性同位素实验室。

1963年，省水利设计院土壤调查队和黄口土壤改良试验站并入，增设土壤改良专业，在砀山建站开展盐碱土改良试验研究。

1969年，省水文总站五道沟径流实验站并入，增设水文水资源研究专业。

自1951年开始创建至1978年的28年，水科所隶属关系、机构设置、人员组成多次变更，于1978年更名为安徽省水利厅水利科学研究所。

1982年，兴建新马桥农水综合试验站，2003年该站列入水利部灌溉试验站网，成为安徽省灌溉试验中心站。

1984年，在水工、土工、农水、结构材料化验室的基础上，成立设计室。

1985年，成立安徽省建筑工程质量监督检测站。

1986年5月，安徽省人民政府、水利电力部批准实行省部共建共管，改名为安徽省·水利电力部治淮委员会水利科学研究所。

1987年和1988年，分别成立了安徽省水利工程质量检测中心站、淮河流域水工程质量检测中心，于2000年通过国家级计量认证。

1989年，几经改建的五道沟水文水资源实验站建成为安徽省淮北平原水文水资源综合实验研究基地，2003年水利部水文局批准该站成为省部共建共管实验站，2009年列入水利部重点水文站网。

1991年，建成淮河试验研究中心。

1993年始，先后成立安徽省大禹工程建设监理咨询有限公司、安徽科源工程建设招标代理有限责任公司、安徽恒丰智能自动化有限公司等科技企业。

1996年，经安徽省水利厅和水利部淮委的同意，安徽省编委批准更名为“安徽省·水利部淮河水利委员会水利科学研究院”。“所改院”后，原有的土工、材料结构、水工、农田水利和水文水资源5个研究室更名为研究所，设计室更名为建筑设计室。

1998年，建设安徽省水利水资源重点实验室，2004年通过验收，2010年改名为水利水资源安徽省重点实验室。

2000年，设立微机及自动化所。同年，建成江淮分水岭八斗灌溉试验站，2011年迁址，并建成江淮丘陵区农水综合试验站。

2001年，经省水利厅批准成立“安徽省水利科技推广服务中心”。

2006年，农田水利研究所更名为农村水利与水土保持研究所，水工、设计室、微机及自动化分别更名为水工河工、勘察设计、自动化研究所。设立工程检测中心。同年，成立安徽省闸坝安全检测中心。

2007年，经水利部科技推广中心和安徽省水利厅共同批准成立“水利部科技推广中心安徽省推广工作站”。、

2008年，建设安徽省建设工程质量检测检验公共服务平台。

2009年，组建“安徽省水利工程病害防治工程技术研究中心”。同年，获得水利部工程建设行业全部五项甲级资质。

2011年，成立“安徽省水利厅农田水利技术服务中心”。

2012年，成立“安徽省水利厅水资源管理技术服务中心”。

2013年，农村水利与水土保持研究所调整为农村水利研究所和水土保持与水生态研究所。同年，在全省水利系统率先设立“安徽省博士后科研工作站”。

2014年，科技开发处、自动化研究所、合肥工程检测中心分别更名为水利建设与管理研究所、水利信息与自动化研究所、工程检测研究所。