旧石器时代人们用来制作工具的天然石材是最早的无机非金属材料。在公元前6000～前5000年中国发明了原始陶器。中国商代（约公元前17世纪初～约前11世纪）有了原始瓷器，并出现了上釉陶器。以后为了满足宫廷观赏及民间日用、建筑的需要，陶瓷的生产技术不断发展。公元200年（东汉时期）的青瓷是迄今发现的最早瓷器。陶器的出现促进了人类进入金属时代，中国夏代（约公元前22世纪末至约前21世纪初～约前17世纪初）炼铜用的陶质炼锅，是最早的耐火材料。铁的熔炼温度远高于铜，故铁器时代的耐火材料相应地也有很大发展。18世纪以后钢铁工业的兴起，促进耐火材料向多品种、耐高温、耐腐 蚀方向发展。公元前3700年，埃及就开始有简单的玻璃珠作装 饰品。
公元前1000年前，中国也有了白色穿孔的玻璃珠。公元初期罗马已能生产多种形式的玻璃制品。1000～1200年间玻璃制造技术趋于成熟，意大利的威尼斯成为玻璃工业中心。1600年后玻璃工业已遍及世界各地区。公元前3000～前2000年已使用石灰和石膏等气硬性胶凝材料。随着建筑业的发展，胶凝材料也获得相应的发展。公元初期有了水硬性石灰，火山灰胶凝材料，1700年以后制成水硬性石灰和罗马水泥。1824年英国J.阿斯普丁发明波特兰水泥。上述陶瓷、耐火材料、玻璃、水泥等的主要成分均为硅酸盐，属于典型的硅酸盐材料。 18世纪工业革命以后，随着建筑、机械、钢铁、运输等工业的兴起，无机非金属 材料有了较快的发展，出现了电瓷、化工陶瓷、金属陶瓷、平板玻璃、化学仪器玻璃、光学玻璃、平炉和转炉用的耐火材料以及快硬早强等性能优异的水泥。同时，发展了研磨材料、碳素及石墨制品、铸石等。
20世纪以来，随着电子技术、航天、能源、计算机、通信、激光、红外、光电子学、生物医学和环境保护等新技术的兴起，对材料提出了更高的要求，促进了特种无机非金属材料的迅速发展。30～40年代出现了高频绝缘陶瓷、铁电陶瓷和压电陶瓷、铁氧体（又称磁性瓷）和热敏电阻陶瓷等。50～60年代开发了碳化硅和氮化硅等高温结构陶瓷、氧化铝透明陶瓷、β－氧化铝快离子导体陶瓷、气敏和湿敏陶瓷等。至今，又出现了变色玻璃、光导纤维、电光效应、电子发射及高温超导等各种新型无机材料。
