大石器朝代的人们用他们的燧石刀和燧石斧能切割种种物品。但很早时他们就发现，用一种齿状的或者说带有锯齿的刀口，更容易把坚硬的材料切割开来。考古学家们发现了至少已达1万年之久的带有锯齿刀口的燧石刀身。

但这些带锯齿的刀子却割不了木头。因此，一种锋利的薄金属锯子就是必需的了。古代埃及人大概早在公元前4000年时，就已拥有了它们。

这些锯子有着细长的、刀剑似的刀身，连着木制把手。使用最初的锯子时，切割是拉动式的，不像大多数的现代锯子那样是推动式的。

古希腊人和古罗马人继承了埃及人的刀剑式锯子。罗马人还研制了一种“框锯”，一个长的金属刀身插在一个3面有框的木制。这类锯子一般用于粗加工。框锯可做成挺大的，常常是由两个人操作，木料的两边各站一个人。

过去的史书和传说都以为是鲁班（战国初年的发明家）发明了锯子，但是，考古发现：早在夏朝（公元前2205—前1766，据柏杨说断代）聪明的中国人就已经发明了锯子，和古埃及人同时。说鲁班发明锯子实在是太晚了。