1921年9月，上海民族工商业者姚锡舟联合上海金融界、实业界人士吴麟书、陈光甫、聂云台等人，共同集资银元50万两（姚锡舟投资20万两）创办中国水泥股份有限公司，是继最早由日本投资的启新水泥厂后，中国最早的属于民族工业的水泥厂。

1923年，中国水泥厂从德国纳克尔——开姆泼公司进口了规格为2.25×46米的旋窑一台，时产熟料3.45吨，日产水泥500桶（每桶170公斤，合85吨）。南京中山陵工程所用水泥多来源于此。

1927年，中国水泥厂从德国进口了两条直径2.85米、长60米的湿法旋窑。

1927年秋初，奉系军阀孙传芳纠集了11个师又5个旅的兵力，发动渡江战役(即龙潭战役)，于8月24日在南京至镇江的江面上实行强渡，并以龙潭为主渡点。26日晨攻占龙潭火车站及附近的险要高地，中国水泥厂被孙部所占，部分厂房设备遭损毁，历时数月后始得修复。

1933年，从德国购进一台日产熟料170吨的湿法旋窑，中国水泥厂形成了由4台湿法旋窑构成的日产水泥715吨的生产能力，在当时的中国是最大的水泥生产企业之一。

1937年11月，日军侵华战争不断扩大，工厂被迫停产。1942年12月，在侵略军的重重威逼下，中国水泥厂被迫以租赁形式将工厂出租给磐城水泥株式会社经营。

1945年8月日本战败投降，工厂复归原主。

1949年南京解放后，对该厂进行建行公私合营，改称为中国水泥公司，后又改名为中国水泥厂。

2002年6月，进行重组，成立中国水泥厂有限公司。

2018年1月，中国水泥厂入选首批中国工业遗产保护名录。