农业机械的起源可以追溯到原始社会使用简单农具的时代。在中国，新石器时代的仰韶文化时期(约公元前5000~前3000)就有了原始的耕地工具──耒耜。公元前13世纪就已使用铜犁头进行牛耕。到公元前3世纪的春秋战国时代，已经拥有耕地、播种、收获、加工和灌溉等一系列铁、木制农具。公元前90年前后，赵国发明的三行耧，即三行条播机，其基本结构至今仍被应用。到 9世纪已形成结构相当完备的畜力铧式犁。在《齐民要术》(约540)、《耒耜经》(约880)、王祯《农书》(约1310)、《天工开物》(1637)等古籍中，对各个时期农业生产中使用的各种机械和工具都有详细的记载。在西方，原始的木犁起源于美索不达米亚和埃及，约公元前1000年开始使用铁犁铧。

19世纪至20世纪初，是发展和大量使用新式畜力农业机械的年代。1831年，美国的C.H.麦考密克创制成功马拉收割机。1836年出现了第一台马拉的谷物联合收获机。1850~1855年间，先后制造并推广使用了谷物播种机、割草机和玉米播种机等。20世纪初，以内燃机为动力的拖拉机开始逐步代替牲畜，作为牵引动力广泛用于各项田间作业，并用以驱动各种固定作业的农业机械。

20世纪30年代后期，英国的H.G.弗格森创制成功拖拉机的农具悬挂系统，使拖拉机和农具二者形成一个整体，大大提高了拖拉机的使用和操作性能。由液压系统操纵的农具悬挂系统也使农具的操纵和控制更为轻便、灵活。与拖拉机配套的农机具由牵引式逐步转向悬挂式和半悬挂式，使农机具的重量减轻、结构简化。40年代起，欧美各国的谷物联合收获机逐步由牵引式转向自走式。60年代，水果、蔬菜等收获机械得到发展。自70年代开始，电子技术逐步应用于农业机械作业过程的监测和控制，逐步向作业过程的自动化方向发展。

中华人民共和国成立初期，广为发展新式畜力农具，如步犁、耘锄、播种机、收割机和水车等。50年代后期，中国开始建立拖拉机及其配套农机具制造工业。洛阳第一拖拉机厂于1959年建成投产。1972年创制成功的船式拖拉机(机耕船)，为中国南方水田特别是常年积水的沤田地区提供了多种用途的牵引动力。到1984年底，全国(除台湾省外)大、中型拖拉机保有量达到85.4万台，小型和手扶拖拉机达到 329.8万台，农业用汽车达到35万辆，农用排灌动力机械达到615万台，农用水泵达到515.7万台，大、中型拖拉机配套农机具达到 123.5万部，小型和手扶拖拉机配套农机具达到 291.8万部，谷物联合收获机达到35861台，饲料粉碎机达到113.9万台，磨面机、碾米机、轧花机和榨油机共 388.1万台，农用动力总功率达1.95×10千瓦。1984年，机耕面积达5.24亿亩，占耕地面积的39%。机电灌溉面积达3.76亿亩，占灌溉面积的56.4%。