衡阳水文水资源勘测局前身为衡阳专署水文分站，成立于1958年 ，原址位于衡阳市石鼓区草后街。

1962年底，根据中发（62）503号文件精神，衡阳、零陵、郴州三地区水文机构上收合并，成立湘水第一水文分站，1965年迁到现址：衡阳市蒸湘区幸福路9号。

1966年底，因水文体制改变，原湘水第一水文分站撤销，按行政区划分别组建了衡阳、零陵、郴州三个地区水文分站。

1980年，三地区水文分站又合并在衡阳成立了湘水第一水文勘测队。1984年，零陵地区水文勘测队从衡阳水文水资源勘测局析出，湘水第一水文勘测队更名为湘水第二水文勘测大队，管辖范围为衡阳、郴州两地区。

1991年，根据湘编办（1991）98号文件精神，更名为衡阳水文水资源勘测大队，为副处级单位。

1995年，又更名为湖南省衡阳水文水资源勘测局。

2008年1月1日，郴州水文水资源勘测局从衡阳水文水资源勘测局划出，接管衡山、甘溪两站，自此，衡阳水文水资源勘测局实现了按行政区域的行业管理，所属水文站均属衡阳地区范围内。

2009年10月23日，衡阳市委机构编制委员会下发《关于衡阳水文水资源勘测局加挂“衡阳市水文局”牌子的批复》（衡编〔2009〕71号）文件，正式批复同意衡阳水文水资源勘测局加挂“衡阳市水文局”牌子。