ND4型机车采用承载式焊接钢结构车体，两端设有同等功能的司机室，可双向操纵机车，并设双侧内走廊。机车从前到后依次分别为I端司机室、辅助装置室、冷却室、动力室、电阻制动柜室、II端司机室。动力室位于机车中部，安装了一套柴油发电机组，以及空气滤清器、车体通风机、起动风泵、空气压缩机、起动机油泵等辅助装置。冷却室内设有散热器组和冷却风扇、起动风缸等。辅助装置室内设有预热锅炉、牵引电动机通风机、制动装置柜、水箱等设备。电阻制动柜室内设有电阻制动柜、整流器柜和电器控制柜。机车下部两台转向架之间吊挂着燃油箱、蓄电池和总风缸。机车标称功率2150千瓦，构造速度为100公里/小时，整备重量138吨。

ND4型机车装用一台由阿尔萨斯机械制造公司(SACM)设计制造、与法国国铁CC 72000型机车相同的AGO V16 ESHR型柴油机，属于AGO大缸径柴油机系列。该型柴油机为16气缸、四冲程、废气涡轮增压的直喷式V型高速柴油机，在50°V形夹角上方布置两套增压器和中冷器。气缸直径为240毫米，活塞行程为220毫米，标定转速为每分钟1350转，使用转速范围为每分钟550~1250转。柴油机标定功率为2940千瓦，装车功率为2680千瓦。

ND4型机车也是中国至今惟一一种采用自动延时电控风启动的柴油机车，机车起动时由起动风缸和起动风泵提供压缩空气，高压空气经空气分配器和启动阀按柴油机点火顺序流入气缸并推动活塞，当曲轴达到稳定转速后停止供气，同时喷油泵供油点火，从而驱动柴油机，整个过程均为自动控制，司机只要按下"启机"按钮，可以自动完成上述动作启动柴油机。

传动装置为交-直流电传动，柴油机通过弹性联轴器直接驱动一台三相交流同步牵引发电机，通过硅整流装置把牵引发电机发出的三相交流电整流为直流电，再经过一套控制系统将电能输送给两台转向架上的六台直流串励牵引电动机，通过传动齿轮驱动车轮。此外，牵引发电机的轴端通过万向轴带动定子发电机，用于对牵引发电机励磁，并向蓄电池充电及辅助回路供电。ND4型机车采用TAO-659型牵引电动机，额定功率为342千瓦，设有一级磁场削弱。

机车走行部为两台三轴无导框式钢板焊接结构转向架，轴式Co-Co。悬挂装置基本继承了CC 72000型机车的模式，采用阿尔斯通公司传统的无导框滚柱轴承式轴箱、轴箱拉杆定位，一系悬挂为轴箱螺旋钢弹簧与弹性定位拉杆悬挂结构，二系悬挂为橡胶堆全旁承承载;牵引力和制动力通过牵引中心销传递;这种悬挂方式后来亦被韶山3型电力机车沿用。牵引电机悬挂方式为滑动抱轴承式半悬挂，牵引齿轮传动比为4.64。