衡阳境内地方志修编始于东晋。东晋罗含编写的《湘中山水记》是湖南早起志数之一。明、清两代是境内府志、县志编修最多的时期,达50余总,保存完好的有30多种。民国时期,境内各县筹备编修地方志书,因时局动乱,只收集到了一些资料,编辑到了一部分专业资料。
中华人民共和国建立后,衡阳市与1958年和20世纪60年代先后两次着手编修《衡阳市志》,因大跃进和国民经济调整未果。1983年起,境内兴起编修社会主义新地方志高潮。1986年6月,衡阳市地方志编修委员会及办公室成立,着手编修第一步社会主义《衡阳市志》。近千名辛勤工作者辛勤修编,历经12年,与1998年5月完稿,并送湖南省地方志编委会验收,9月由湖南人民出版社出版。