1956年时，中华人民共和国重工业部被分拆成冶金工业部、化学工业部和建筑材料工业部；1958年，建材部并入建筑工程部合并。1965年建材部再度由建筑工程部中分出。

1970年7月1日，建材部与建筑工程部一起并入国家基本建设革命委员会，为建材组、1973年8月后为建材工业局。1975年9月30日成立国家建材工业总局，由国家建委代管，原建材系统的直属企事业单位均由建材总局直接领导。

1979年3月改为建材工业部，直属国务院，宋养初任部长（兼国家建委副主任），白向银、杜春永、任朴斋、丁原、王怀义、祁峻、杜恩训、杨拯民为建材部副部长。1982年撤销建材部，改为国家经委下属的国家建筑材料工业局。局长杜恩训，副局长何祥、王健行、王燕谋，顾问丁原、祁峻。1982年9月原国家建委散装水泥办公室改为国家经济委员会散装水泥办公室，设在国家建材局内，由该局处理日常工作。

1985年12月，成立中国建筑材料工业协会。该协会挂靠在国家建材局内，并接受其业务指导。

2001年2月20日，撤销国家建筑材料工业局。原以“国家建筑材料工业局”为前缀命名的有关技术机构，更改为以“国家建筑材料工业”为前缀命名。