统计学的英文statistics最早源于现代拉丁文Statisticum Collegium（国会）、意大利文Statista（国民或政治家）以及德文Statistik，最早是由Gottfried Achenwall于1749年使用，代表对国家的资料进行分析的学问，也就是“研究国家的科学”。十九世纪，统计学在广泛的数据以及资料中探究其意义，并且由John Sinclair引进到英语世界。
统计学是一门很古老的科学，一般认为其学理研究始于古希腊的亚里士多德时代，迄今已有两千三百多年的历史。它起源于研究社会经济问题，在两千多年的发展过程中，统计学至少经历了“城邦政情”、“政治算数”和“统计分析科学”三个发展阶段。所谓“数理统计”并非独立于统计学的新学科，确切地说，它是统计学在第三个发展阶段所形成的所有收集和分析数据的新方法的一个综合性名词。概率论是数理统计方法的理论基础，但是它不属于统计学的范畴，而是属于数学的范畴。
“城邦政情”（Matters of state）阶段始于古希腊的亚里斯多德撰写“城邦政情”或“城邦纪要”。他一共撰写了一百五十余种纪要，其内容包括各城邦的历史、行政、科学、艺术、人口、资源和财富等社会和经济情况的比较、分析，具有社会科学特点。“城邦政情”式的统计研究延续了一两千年，直至十七世纪中叶才逐渐被“政治算术”这个名词所替代，并且很快被演化为“统计学”（Statistics）。但统计学依然保留了城邦（state）这个词根。
与“城邦政情”阶段没有很明显的分界点，本质的差别也不大。
“政治算术”的特点是统计方法与数学计算和推理方法开始结合。分析社会经济问题的方式更加注重运用定量分析方法。
1690年英国威廉·配弟出版《政治算数》一书作为这个阶段的起始标志。
威廉·配第用数字、重量和尺度将社会经济现象数量化的方法是近代统计学的重要特征。因此，威廉·配第的《政治算术》被后来的学者评价为近代统计学的来源，威廉·配第本人也被评价为近代统计学之父。
配第在书中使用的数字有三类：
第一类是对社会经济现象进行统计调查和经验观察得到的数字。因为受历史条件的限制，书中通过严格的统计调查得到的数据少，根据经验得出的数字多；
第二类是运用某种数学方法推算出来的数字。其推算方法可分为三种：
(1)以已知数或已知量为基础，循著某种具体关系进行推算的方法；
(2)通过运用数字的理论性推理来进行推算的方法；
(3)以平均数为基础进行推算的方法”；
第三类是为了进行理论性推理而采用的例示性的数字。配第把这种运用数字和符号进行的推理称之为“代数的算法”。从配第使用数据的方法看，“政治算数”阶段的统计学已经比较明显地体现了“收集和分析数据的科学和艺术”特点，统计实证方法和理论分析方法浑然一体，这种方法即使是现代统计学也依然继承。
在“政治算术”阶段出现的统计与数学的结合趋势逐渐发展形成了“统计分析科学”。
十九世纪末，欧洲大学开设的“国情纪要”或“政治算数”等课程名称逐渐消失，代之而起的是“统计分析科学”课程。当时的“统计分析科学”（Science of statistical analysis）课程的内容仍然是分析研究社会经济问题。
“统计分析科学”课程的出现是现代统计发展阶段的开端。1908年，“学生”氏（William Sleey Gosset的笔名Student）发表了关于t分布的论文。这是一篇在统计学发展史上划时代的文章，它创立了小样本代替大样本的方法，开创了统计学的新纪元。
现代统计学的代表人物首推比利时统计学家奎特莱（Adolphe Quelet），他将统计分析科学广泛应用于社会科学，自然科学和工程技术科学领域，因为他深信统计学是可以用于研究任何科学的一般研究方法.
现代统计学的理论基础概率论始于研究赌博的机遇问题，大约开始于1477年。数学家为了解释支配机遇的一般法则进行了长期的研究，逐渐形成了概率论理论框架。在概率论进一步发展的基础上，到十九世纪初，数学家们逐渐建立了观察误差理论，正态分布理论和最小平方法则。于是，现代统计方法便有了比较坚实的理论基础。
统计学（statistics）：收集、处理、分析、解释数据并从数据中得出结论的科学。
描述统计（descriptive statistics）：研究数据收集、处理和描述的统计学方法。
推断统计（inferential statistics）：研究如何利用样本数据来推断总体特征的统计学方法。
变量（variable）：每次观察会得到不同结果的某种特征。
分类变量（categorical variable）：观测结果表现为某种类别的变量。
顺序变量（rank variable）：又称有序分类变量，观测结果表现为某种有序类别的变量。
数值型变量（metric variable）：又称定量变量，观测结果表现为数字的变量。
均值（mean）：均值也就是平均数，有时特指算术平均数，这是相对其他方式计算的均值，求法是先将所有数字加起来，然后除以数字的个数，这是测量集中趋势，或者说平均数的一种方法。
中位数（median）：也就是选取中间的数，要找中位数，首先需要从小到大排序，排序后，再看中间的数字是什么。
众数（mode）：众数也就是数据集中出现频率最多的数字。
为了将统计学应用到科学，工业以及社会问题上，我们由研究母体开始。这可能是一个国家的人民，石头中的水晶，或者是某家特定工厂所生产的商品。一个母体甚至可能由许多次同样的观察程序所组成；由这种资料收集所组成的母体我们称它叫时间序列。
为了实际的理由，我们选择研究母体的子集代替研究母体的每一笔资料，这个子集称做样本。以某种经验设计实验所搜集的样本叫做资料。资料是统计分析的对象，并且被用做两种相关的用途：描述和推论。描述统计学处理有关叙述的问题：资料是否可以被有效的摘要，不论是以数学或是图片表现，以用来代表母体的性质？基础的数学描述包括了平均数和标准差。图像的摘要则包含了许多种的表和图。
推论统计学被用来将资料中的数据模型化，计算它的机率并且做出对于母体的推论。这个推论可能以对/错问题的答案所呈现（假设检定），对于数字特征量的估计（估计），对于未来观察的预测，关联性的预测（相关性），或是将关系模型化（回归）。其他的模型化技术包括变异数分析（ANOVA），时间序列，以及数据挖掘。
相关的观念特别值得被拿出来讨论。对于资料集合的统计分析可能显示两个变量（母体中的两种性质）倾向于一起变动，好像它们是相连的一样。举例来说，对于人收入和死亡年龄的研究期刊可能会发现穷人比起富人平均来说倾向拥有较短的生命。这两个变量被称做相关的。但是实际上，我们不能直接推论这两个变量中有因果关系；参见相关性推论因果关系（逻辑谬误）。
如果样本足以代表母体的，那么由样本所做的推论和结论可以被引申到整个母体之上。最大的问题在于决定样本是否足以代表 整个母体。统计学提供了许多方法来估计和修正样本和收集资料过程中的随机性（误差），如同上面所提到的透过经验所设计的实验。参见实验设计。
要了解随机性或是机率必须具备基本的数学观念。数理统计（通常又叫做统计理论）是应用数学的分支，它使用机率论来分析并且验证统计的理论基础。
任何统计方法是有效的只有当这个系统或是所讨论的母体满足方法论的基本假设。误用统计学可能会导致描述面或是推论面严重的错误，这个错误可能会影响社会政策，医疗实践以及桥梁或是核能发电计划结构的可靠性。
即使统计学被正确的应用，结果对于不是专家的人来说可能会难以陈述。举例来说，统计资料中显著的改变可能是由样本的随机变量所导致，但是这个显著性可能与大众的直觉相悖。人们需要一些统计的技巧（或怀疑）以面对每天日常生活中透过引用统计数据所获得的资讯。
测量的尺度
统计学一共有四种测量的尺度或是四种测量的方式。这四种测量（名目、顺序、等距、等比）在统计过程中具有不等的实用性 。
等比尺度（Ratio measurements）拥有零值及资料间的距离是相等被定义的；
等距尺度（Interval measurements）资料间的距离是相等被定义的但是它的零值并非绝对的无而是自行定义的（如智力或温度的测量）；
顺序尺度（ Ordinal measurements）的意义并非表现在其值而是在其顺序之上；
名目尺度（Nominal measurements）的测量值则不具量的意义。
以下列出一些有名的统计检定方法以及可供验证实验数据的程序
Fisher最小显著差异法（Fisher's Least Significant Difference test ）
学生t检验（Student's t-test）
曼-惠特尼 U 检定（Mann-Whitney U）
回归分析（regression analysis）
相关性（correlation）
皮尔森积矩相关系数（Pearson product-moment correlation coefficient）
史匹曼等级相关系数（Spearman's rank correlation coefficient ）
卡方分布（chi-square ）
创立时期
德国的斯勒兹曾说过：“统计是动态的历史，历史是静态的统计”。可见统计学的产生与发展是和生产的发展、社会的进步紧密相联的。
统计学的萌芽产生在欧洲，17世纪中叶至18世纪中叶是统计学的创立时期。在这一时期，统计学理论初步形成了一定的学术派别，主要有国势学派和政治算术学派。
