东风21型机车为六轴米轨内燃机车，采用低合金钢整体承载结构棚式车体，设双侧贯通式内走廊、双端司机室。机车车体从前到后依次为第一司机室、电气室、辅助传动室、动力室、冷却室、辅助电气室和第二司机室。电气室内设有高压、交流、控制电器的独立电器柜;辅助传动室设有电阻制动柜、主整流柜、牵引电机通风机、直流起动发电机、交流辅助发电机、总风格等设备;动力室在机车中部，安装了一套柴油发电机组，以及空气滤清器、膨胀水箱等辅助装置;冷却室内设有V型结构的散热器、风扇及螺杆式空气压缩机;辅助电气室设有蓄电池组。车底两台转向架之间设有燃油箱。

机车装用一台卡特彼勒公司的3512B型柴油机，为12气缸、四冲程、电子燃油喷射、废气涡轮增压的V型高速柴油机，具有耗油低、尺寸小、重量轻的特点，适合米轨机车使用。气缸直径170毫米，活塞行程215毫米，额定转速为每分钟1500转，装车功率为1455千瓦。

机车采用交-直流电传动，采用JF219A型三相交流无刷励磁同步发电机和ZD126型直流牵引电动机。柴油机通过弹性联轴节直接驱动一台三相交流同步牵引发电机，通过硅整流装置把牵引发电机发出的三相交流电整流为直流电，再将电能输送给两台转向架上的六台并联的直流串励牵引电动机，通过传动齿轮驱动车轮。

机车走行部为两台完全相同的三轴自导向径向转向架，其径向调整机构原理与东风8B型7001号机车的径向转向架大致相同，具有车轮磨耗低、曲线通过性能好的优势 。一系悬挂与轴箱定位采用单拉杆双弹簧配垂向减振器，二系悬挂为转向架构架上的旁承橡胶弹簧。牵引电动机采用滚动轴承抱轴式半悬挂。