什么是心理测试中的效度？

效度问的是一个测试是否测量了它声称要测量的东西，以及人们从其得分中得出的结论是否站得住脚。这是心理测量学中最核心的问题，也是最常被营销话术而非证据来回答的问题。

自20世纪80年代 Messick 的研究以来，现代的理解是：效度并不是一个测评工具固定不变的属性。它是针对特定用途对分数所做的某种解释的属性。同一份问卷可能在描述一个人的自我认知方面得到了良好的验证，却在用于决定是否录用这个人方面完全没有得到验证。说"这个测试是有效的"而不说明"对什么有效"，并不是一个论断，而只是一句口号。

证据的种类

效度是由多种类型的证据积累而成的。较旧的教材把这些证据当作不同种类的效度分别呈现；目前的观点则把它们看作支持同一个论点的不同论据。

内容证据问的是题目是否恰当地覆盖了该构念。一个只询问睡眠和食欲的抑郁量表，覆盖了躯体症状，却遗漏了情绪和认知方面的症状。内容覆盖度通常由学科专家来判断，这也是为什么非常短的量表总是一种妥协。

内部结构证据问的是题目的分组是否符合理论所预测的方式。如果一个模型声称存在四个不同的方面，因子分析就应该在——关键是要在一个独立样本中，而不仅仅是量表编制所用的那个样本中——恢复出四个因子。相当多的测评工具能在开发样本中重现其预设的结构，却在任何其他人的样本中都无法做到。

与其他变量的关系是大部分工作所在之处。收敛证据表明该量表与理应相关的事物相关。区分证据表明它与理应有所区别的事物之间没有过高的相关——这是一个常被忽视的要求，也是让许多新贴标签的构念站不住脚的证据。效标证据表明该分数与某个重要的结果相关，无论是同时测量的还是提前预测的。

结果性证据问的是当这个测试被实际使用时会发生什么。如果一个测评工具因为与构念无关的原因系统性地使某个群体处于不利地位，那不仅仅是一个伦理问题，也是一个效度问题。

揭穿大多数效度说法的问题

对效度说法最严苛的检验是增量效度：这个测评工具是否比一个更便宜、更成熟、已经确立的测量方式提供了额外的信息？

相当多贴了新标签的构念在这一关就败下阵来。它们与已有的大五人格维度相关高达0.7甚至更高，以同样的幅度预测相同的结果，而一旦对旧的测量方式做统计控制后，就再没有增添任何东西。构念是新的，测量却不是。这也是为什么严肃的测评文档中的"批评"部分，讨论的往往是冗余问题而非不准确问题。

该关注什么

当有人声称一个测试"已经过验证"时，有用的问题都是具体的：针对什么效标进行了验证？在多大规模的哪个群体中？因子结构是否在一个独立样本中得到了确认？是否有来自与结果无商业利益关系的研究者发表的证据？它是否比一个已确立的替代方案增添了什么？

一个对这些问题给出诚实答案的测评工具，值得被认真对待，哪怕存在局限性。而一个仅凭一个推荐语页面、声称已有数百万人做过测试来"验证"自己的测评工具，其实回答的是一个完全不同的问题——受欢迎程度不是证据，做过某个测试的人数的多少，与其得分是否有意义毫无关系。