混凝土在古代西方曾经被使用过，罗马人用火山灰混合石灰，砂制成的天然混凝土曾在古代的一些建筑中使用。天然混凝土具有凝结力强，坚固耐久，不透水等特性，使之在罗马得到广泛应用，大大促进了罗马建筑结构的发展，而且拱和穹顶的跨度上不断取得突破，造就了一大批仍为人们津津乐道的大型公共建筑。公元前1世纪中，天然建筑在券拱结构中几乎完全排斥了石材。自19世纪20年代出现了波特兰水泥后，由于用它配制成的混凝土具有工程所需要的强度和耐久性，而且原料易得，造价较低，特别是能耗较低，因而用途极为广泛(见无机胶凝材料)。

20世纪初，水灰比等学说初步奠定了混凝土强度的理论基础。以后，相继出现了轻集料混凝土、加气混凝土及其他混凝土，各种混凝土外加剂也开始使用。

60年代以来，广泛应用减水剂，并出现了高效减水剂和相应的流态混凝土;高分子材料进入混凝土材料领域，出现了聚合物混凝土;多种纤维被用于分散配筋的纤维混凝土。现代测试技术也越来越多地应用于混凝土材料科学的研究。