计算尺发明于大约1620-1630年，在John Napier对数概念发表后不久。牛津的埃德蒙·甘特（Edmund Gunter）发明了一种使用单个对数刻度的计算工具，当和另外的测量工具配合使用时，可以用来做乘除法。1630年，剑桥的William Oughtred发明了圆算尺，1632年，他组合两把甘特式计算尺，用手合起来成为可以视为现代的计算尺的设备。和与他同时代的牛顿一样，Oughtred将他的想法私下传授给他的学生，却延迟发表它们，也和牛顿一样，他卷入了发明优先权的纠纷，是和他曾经的学生Richard Delamain。Oughtred的想法只在他学生William Forster在1632和1653年的出版物中公开过。

1722年,Warner引入了2-和3-十进刻度，1755年Everard导入倒数刻度；包含所有这些刻度的算尺通常称为"多相"算尺。

更现代的形式是由法国炮兵中尉Amédée Mannheim于1859年引入, "他很幸运，因为他的算尺由全国闻名的公司制作并被法国炮兵采用。"大约也就是在那个时间，随着工程成为受到承认的一种职业活动，算尺在欧洲开始广泛使用。他们直到1881年没有在美国变得普通，直到Edwin Thacher在那里引入了圆算尺。双工尺于1891年由William Cox发明，由纽约的Keuffel&Esser公司生产。

第二次世界大战中，需要进行快速计算的轰炸者和航行者经常使用专用算尺。美国海军的一个办公室实际上设计了一个通用算尺"底盘",它由一个铝主体和塑料游标，可以把赛璐珞卡片(两面印刷)插到里面以进行特定的计算。这个过程被发明来用于计算射程，燃料使用和飞行器高度，然后适用到很多其他目的。

从1950年代到1960年代，计算尺是工程师身份的象征，如同显微镜代表了医学行业一样。列举一则轶事：德国火箭专家沃纳·冯·布劳恩，在二战后到美国从事航天计划工作时随身带了两把三十年代的老式Nestler算尺。终其一生，他没有用过任何其他袖珍计算仪器；显然计算尺在他进行火箭设计的参数估算和其他计算中完美的完成任务。

有些工程系的学生和工程师常把10-英寸算尺别在皮带上，或者把一把10-或20-英寸算尺安放在家中或办公室里做精确运算用(当然,再精确运算,计算尺就不行了,需要一本厚厚的八位对数表)，而随身携带一把5-英寸袖珍算尺。所有这一切在1970年代告终，因为微型计算器顿使算尺过时。袖珍科学计算器（即带有三角和对数函数的计算器）的诞生为计算尺敲响了最后的丧钟。1972年的惠普HP-35是最早的科学计算器。

2004年,教育研究者David B. Sher和Dean C. Nataro构想了基于积化和差(prosthaphaeresis)的新型算尺,一个比对数更老的快速计算乘积的算法。但是除了最初的原型，并没有人有制造该算尺的实际兴趣

费米特长计算尺

40年代李政道从费米研究理论物理学,为了计算太阳中心的温度,费米帮李政道制造了一把2米长的专用算尺。