从单纯语义学的角度看，“绩效”表示成绩，成效。“成绩”指工作或学习的收获，强调对工作或学习结果的主观评价。“成效”指功效或效果，强调工作或学习所造成的客观后果及影响。“绩效”则是对二者的综合。英文performance
和achievement均有“成绩和功效”的含义，前者是外延广泛的基本概念，后者侧重依靠努力和技巧取得成就。所以，相对而言，performance用于指代“绩效”的概念更合理。
“绩效”这个概念的复杂性主要在于对绩效与效率关系的理解。尽管学术界有人从狭义和广义的角度来解释“效率”，笔者以为，这样容易造成概念混淆。严格意义上的“效率”就是指投入与产出之间的比例，力求以最少的投入获得最大的产出。“绩效”是一个与“效率”有联系又有区别的概念，是一个包括“效率”但又比“效率”更为广泛的概念。尼古拉斯·亨利认为：“效率（efficiency）指以最少的可得资源来完成一项工作任务，追求投入与产出之比的最大化。而有效性（effectiveness）则是指注重实现所预想的结果。”政府绩效与行政效率一样，讲求行政组织和人员在行政活动中所获得的各种直接的和间接的、有形的和无形的、定性的和定量的行政效果同所消耗人力、物力、财力、时间等因素之间的比率关系，力求以最少的行政消耗获得最大的行政效果。但政府绩效又不能简单地等同于通常所说的行政效率。行政效率讲求的比率关系多是针对具体的行政行为，侧重于行政内部关系，主要依靠办事制度、岗位责任制度等刚性规范作为促进机制，衡量行政效率高低程度主要是通过行政后果来显示；而政府绩效涉及的主体行为既有具体的行政行为，亦有抽象的行政行为。政府绩效更注重外部的行政与社会、行政与公民的关系。政府绩效的有效运作不仅要依靠办事制度、岗位责任制度等刚性机制，而且还十分重视工作作风、工作态度等柔性机制。
首先，效率是传统的行政管理的核心命题，是政府如何管好自身的内部机制，主要通过组织、领导、人事、体制等基本主题体现出来。绩效当然注重公共管理的内部机制，但它更要关注政府与社会、公民的关系，要以社会、公民的满意程度作为最终标准。我国一些地方政府热衷形象工程，不惜花费人力、物力、财力，屡造“政绩”，甚至还得到领导赏识，但这样的“政绩”并不一定就是社会所需要的，并不一定就是公民所满意的。可以说，西方国家新公共管理运动的本质就是政府绩效管理，而新公共管理区别于传统行政管理的一个重要标志就是顾客取向，顾客满意成为衡量政府绩效的重要指标。1993年，美国政府发表《戈尔报告》，报告第二章以“顾客至上”为题，开篇建议“倾听顾客的声音——让顾客做出选择”。1993年9月，时任美国总统的克林顿签署了《设立顾客服务标准》的第12862号行政令，与之相对应，1994年，美国国家绩效评论专门出版了《顾客至上：为美国人民服务的标准》一书，分别介绍政府各部门的服务标准。
其次，效率讲求投入与产出的比率关系，具有明显的速度、经济等数量特征，绩效不仅要求数量指标，而且更重视质量品位，要求政府提升服务水平，保证服务质量，在“好”字上做足文章。质量与公民满意度是密切联系的，公民满意度就是质量高低的重要指标，此外，质量还要有差错率、合格率、优秀率、服务便利程度、反应速度等具体指标。新公共管理运动在很大程度上就表现为追求服务质量的运动，在这场运动中，全面质量管理、持续性质量改进、质量周期、质量控制等企业管理的核心内容被引进政府。英国是新公共管理运动的重要旗手，其“公民宪章”（即服务承诺）、“竞争求质量”等改革项目直奔质量主题。英国政府内阁办公室有一份文件专门对政府绩效的质量概念做出界定：“通过调动所有人员的潜力，以最低的成本满足确认的顾客要求。”当时的在野党工党专门为此发表《质量街》宣言，当然，作为一个政党，特别是在野党以此为题，肯定有它的政治考虑，但是，宣言中提出的质量审计、质量委员会等思想，对于促进绩效管理无疑有积极的作用，质量问题可以作为政治竞争的一个砝码，这也从一个侧面说明了质量的重要性。1986年，法国的经济和财政部在部长领导下设立若干质量小组，开展了一场颇有声势的质量运动，1987年，法国的一份政府报告指出，质量一说使“让用户满意的思想成了公共服务部门的逻辑中心”。
再次，效率本源是一个经济上的概念，传统行政管理研究的效率也是从以企业为主要研究对象的普通管理学嫁接而来的。经济学意义上的效率注重节约成本，追求低投入、高产出。绩效不单单是一个经济范畴，它还具有伦理、政治的意义。施蒂格勒曾经指出：“最大化的国民收入……并不像用我们政府所采纳的政策来评价的那样，是我们国家的目标——而且，正如实践所揭示的那样，政府的目标比法学和经济学的教授们提出的那些目标更具价值。”德国行政学家汉斯·班贝格认为：“节约开支才是首要任务而非所谓提高效能，成本核算和绩效指标体系将会导致忽略外部经济、社会环境的影响。成本核算是一项内部合理化而不是项目或社会合理化的技术。”以效率至上为取向，公平就难有空间，至多做到兼顾公平。而在绩效的框架里，公平具有非常重要的位置。公平是政府，特别是政府的基本功能设计，是弥补市场机制不足的优势特征，社会保障、社会秩序等都是公平功能的具体载体。“虽然效率准则规定稀缺资源应被用到其能生产最大纯收益的地方，但公平的目标则可能缓减这一目的，有利于特别是非常贫穷的人群的设施得到发展。”无论是作为主权者，还是作为被管理者，或是作为弱者，公民评价政府行为的重要指标就是公平。单纯追求效率，可能还会和民主发生冲突，民主注重程序，要求广度，效率和民主在时限、节奏上的矛盾，也只有通过绩效加以协调。
最后，效率提高主要依靠制度规范等刚性机制，而绩效还要涉及管理作风、管理态度等柔性机制。提高绩效不仅要解决“门难进、事难办”，还要解决“脸难看”，单纯的效率无法对这个问题提供答案。“大多数人在同政府打交道的经验中，最大的刺激是官僚政治的傲慢。人民期望着被当作顾客受到尊重——甚至受到政府的尊重”。可以说，效率是一个单向度的概念，而绩效却是一个综合性的范畴。政府绩效是一个影响因素、测量机制等诸多方面都比行政效率更为复杂的范畴，在整个行政管理过程中，是一个比行政效率更为核心的焦点。政府绩效可以定义为政府在积极履行公共责任的过程中，在讲求内部管理与外部效应、数量与质量、经济因素与伦理政治因素、刚性规范与柔性机制相统一的基础上，获得的公共产出最大化。正如美国行政学家英格拉姆指出的：“有许多理由说明为什么政府不同于私营部门。最重要的一条是，对许多公共组织来说，效率不是所追求的目的。比如在世界上许多国家中，公共组织是‘最后的依靠’。它们正是通过不把效率置于至高无上的地位来立足于社会。”
