风化、裂隙、杂质以及集合体方式等因素会影响矿物的硬度。风化后的矿物硬度一般会降低。有裂隙及杂质的存在，会影响矿物内部连接能力，也会使硬度降低。集合体如呈细粒状、土状、粉末状或纤维状，则很难精确确定单体的硬度。因此测试矿物硬度要尽量在颗粒大的单体的新鲜面上进行。有时某些矿物具明显脆性，当他被小刀刻化时极易碎裂成小粒脱落，这并非表示该矿物的硬度小于小刀。
有时在同一矿物的相同晶面的不同方向上，会测定出不同的硬度数值，这就是矿物晶体的硬度的异向性。由于在同一截面上，不同方向的行列中质点排列的密度不同，沿着质点排列紧密的行列刻画较为容易，而垂直质点排列紧密的行列刻划则较为困难。
再如晶体内部结构的缺陷、机械混入物等等也要影响矿物的硬度。
