中国铁道建筑集团有限公司的前身是中国人民解放军铁道兵。1948年夏，解放战争进入伟大的历史转折，为迅速修复战区内遭破坏的铁路，保障作战物资运输的需要，于当年7月5日，经中共中央东北局决定，报中央军委批准，在东北人民解放军护路军的基础上，组建了东北人民解放军铁道纵队。1949年5月16日，中央军委命令铁道纵队改编为铁道兵团。解放战争时期，铁道部队配合战略进攻，在“一切为了前线胜利”的口号鼓舞下，修复铁路1629公里，桥梁976座，直接支援了辽沈、平津战役，并为进军江南和解放西北创造了条件。抗美援朝战争时期，中国人民志愿军铁道部队发扬高度的爱国主义、国际主义和革命英雄主义精神，舍生忘死，前赴后继。入朝初期，主要实施铁路前进抢修，修复铁路923公里。随后，在朝鲜北部的铁路线上，针对侵朝美军的空袭破坏，进行了长期持续、艰苦卓绝的反轰炸抢修，粉碎了美军的“绞杀战”，创建了“打不烂、炸不断的钢铁运输线”，保障了铁路运输，使铁路通车里程由1950年底的107公里，延长至1953年7月停战前的1382公里。另外，还新建铁路213公里。
1954年3月5日，根据中央军委1953年9月9日命令，铁道部队由4个师增加到8个师，改编成中国人民解放军铁道兵，为陆军诸兵种之一，归中央军委直接领导。此后，部队几经扩编和整编，最多时铁道兵辖3个指挥部、15个师、3个独立团以及院校、科研所等单位，共41.6万人。1954年至1983年间，铁道兵指战员牢记我军全心全意为人民服务的宗旨，英勇顽强，艰苦奋斗，先后参加了黎湛、鹰厦、南福、包兰、嫩林、贵昆、成昆、京原、襄渝、京通、青藏、南疆、通霍、充石等铁路建设和北京地下铁道的修建任务，共建成铁路(含专用铁路)12593公里，被祖国人民誉为“铁路建设的突"_blank" href="/item/引滦入津">引滦入津等任务在内的民用工程，以及多次参加抗洪抢险、抗震救灾、森林灭火等紧急任务。
1965年，在美国军队入侵越南期间，奉中央军委命令，铁道兵组织部分部队赴越，圆满完成了越南北方铁路、公路的反空袭抢修和抢建任务。
根据国民经济调整的方针和国家体制、军队体制改革的要求，1982年12月6日，国务院、中央军委决定将铁道兵机关、部队、院校等并入铁道部。为顺利完成由铁道兵并入铁道部的任务，于1983年1月1日成立了铁道兵指挥部，受铁道部和解放军三总部双重领导。1983年10月，国务院、中央军委在对铁道兵并入铁道部的实施方案批复中规定，铁道兵指挥部及其所属单位从1983年10月1日起归铁道部建制领导。铁道兵并入铁道部的单位，从1984年1月1日起不再沿用原部队番号、代号，干部、战士不再佩带领章帽徽。根据铁道部1983年11月25日《关于铁道兵并入铁道部后有关并入建制单位变更名称的通知》，自1984年1月1日起原铁道兵指挥部更名为铁道部工程指挥部，原铁道兵师、团、营、连，分别改称工程局、工程处、工程段、工程队，其他单位的名称也作相应的改变。
1989年6月，铁道部、铁道部政治部根据国家机构编制委员会批准的《铁道部“三定”方案》，决定自1989年7月1日起撤销铁道部工程指挥部，成立中国铁道建筑总公司；10月1日，中国铁道建筑总公司正式挂牌。总公司对所属的铁道部第十一至二十工程局、石家庄铁道学院以及其他直属单位实行统一领导和全面管理，总公司、局、处实行三级法人制，按照国家对企业法人的要求，皆为自主经营、自我发展的市场竞争主体。
1998年，根据十五大精神以及国家、铁道部关于企业改革的总体部署，总公司启动组建企业集团的准备工作。根据铁道部《关于铁路企业名称与铁道部脱钩的通知》精神，1999年12月1日起，总公司所属10个工程局由铁道部第十一、十二、……二十工程局，更名为中铁第十一、十二……二十工程局。
根据国务院批准的《关于铁路非运输企业政企分开方案》精神，2000年9月28日中国铁道建筑总公司正式与铁道部实施政企分开，移交中共中央企业工作委员会(以下简称中央企业工委)管理。这是总公司继兵改工以来的又一次重大历史性转折。
2001年，中国铁道建筑总公司企业改革取得重大进展。全系统现代企业制度的框架基本建立，基本形成各负其责、顺畅运转、有效制衡的法人治理结构。年内，中铁十一、十三、十四、十五、十七、十八、十九局集团公司和北京中铁建设有限公司正式挂牌运行；全系统范围内进行了重大资产重组与结构调整，将部分直属单位划转集团公司(工程局)、部分单位进行了资产重组与企业重构，涉及单位34个、员工26410人、资产40余亿元，范围之广、力度之大，兵改工以来前所未有。
2003年3月，中国铁道建筑总公司转归国务院国有资产监督管理委员会（简称国务院国资委）管理。是年，国家加大企业重组力度，根据国资委、铁道部有关通知精神，将铁道第一、第四勘察设计院和哈尔滨、上海、广州、南昌、柳州、兰州、乌鲁木齐铁路局的9个设计院、9个工程建设集团公司划入中国铁道建筑总公司。2004年2月，中国铁道建筑总公司对划转的原铁路局施工、设计单位进行整合重组，组建了中铁二十一、二十二、二十三、二十四、二十五局集团公司；调整整合了铁道第一勘察设计院、铁道第四勘察设计院、铁道建筑研究设计院、上海铁路城市轨道交通设计研究院，中国土木工程集团公司。2005年，成立中铁建电气化局集团有限公司。截至2005年底，中国铁道建筑总公司下辖22个集团公司（公司）、4个设计院、1所院校，计22万人，进一步完善了设计、施工、监理总承包产业链条，优化了市场竞争格局。企业步入了持续、健康、快速发展的轨道。
2019年1月18日，中国铁道建筑有限公司”变更为“中国铁道建筑集团有限公司”，并已办理完成工商变更手续。
2020年4月，入选国务院国资委“科改示范企业”名单。
沈阳铁路局吉林建设工程集团有限公司
核工业信阳建设工程建设有限公司
铁道勘测与设计相关期刊