1956年5月12日，第一届全国人大常委会第40次会议，根据国务院总理周恩来提出的议案，由于重工业部的产业过多，难于全面兼顾，决定撤销重工业部，分别设置冶金工业部、化学工业部和建筑材料工业部，建筑材料工业部以原重工业部管理的建筑材料工业管理局为基础进行组建。1958年2月11日，第一届全国人大第五次会议，根据国务院总理提出的议案，由于国家管理体制有所改变，决定建筑材料工业部、建筑工程部和城市建设部合并成为新的建筑工程部。

1965年3月31日，第三届全国人大常委会第5次会议根据国务院总理周恩来提出的议案，为改进和加强对建筑业和建筑材料工业的领导，决定将建筑工程部分设为建筑工程部和建筑材料工程部。1970年6月中共中央批准在下放管理的同时，将国家基本建设委员会、建筑工程部、建筑材料工业部、中央基本建设政治部合并，成立新的国家基本建设委员会，下设建筑材料工业局，为国务院直属机构。

1979年4月3日，第五届全国人大常委会第7次会议，根据国务院总理华国锋提出的议案，为加强对建材工业的领导，决定设立建筑材料工业部、国家建筑工程总局、国家城市建设总局。1982年5月，国务院进行机构改革，根据第五届全国人大常委会第23次会议通过的《关于国务院部委机构改革实施方案的决议》，建筑材料工业部并入国家经济委员会。至此，中华人民共和国建筑材料工业部 正式走入了历史。