什麼是心理測驗中的效度?

效度探討的是一項測驗是否真正測量到它宣稱要測量的內容,以及人們從其得分所得出的結論是否有正當依據。這是心理測量學中最核心的問題,也是最常被行銷話術而非證據來回答的問題。

自Messick於1980年代的研究以來,現代對效度的理解是:效度並非測驗工具的固定屬性,而是針對特定用途對得分所做的詮釋所具有的一種性質。同一份問卷可能在描述一個人的自我認知方面具有良好效度,卻在決定是否錄用該人方面完全沒有效度。若只說「這個測驗是有效的」,卻不說明是針對什麼而有效,那並不是一種主張,而只是一句口號。

證據的種類

效度是由多種類型累積的證據所建構而成。較舊的文獻將這些視為效度的不同種類;而目前的觀點則將它們視為支持同一個論點的不同論證。

內容證據探討的是題目是否適當地涵蓋了該構念。一份只詢問睡眠和食慾的憂鬱量表,涵蓋了身體症狀,卻遺漏了情緒與認知方面的症狀。內容涵蓋範圍通常由該領域的專家來判斷,這也是為什麼極短的量表總是一種妥協。

內部結構證據探討的是題目分組的方式是否符合理論的預期。如果一個模型宣稱有四個獨立的面向,因素分析應該要找出四個因素,而且關鍵是,要在一個獨立樣本中找到,而不只是在該量表建構時所使用的樣本中找到。有非常多的測驗工具在其發展樣本中能重現預期的結構,卻在其他任何人的樣本中都無法重現。

與其他變項的關聯是大部分工作發生的地方。收斂證據顯示該量表與應該相關的事物確實相關。區辨證據顯示該量表與應該有所區別的事物之間,並沒有過高的相關性,這是一項長期被忽視的要求,也正是導致許多新創品牌構念站不住腳的原因。標準關聯證據顯示得分與重要的結果有關,無論是同時測得的結果,還是預先預測的結果。

後果證據探討的是測驗被使用時會發生什麼。如果某項測驗工具因與該構念無關的原因,系統性地使某個群體處於不利地位,那不僅是一個倫理問題,更是一個效度問題。

揭露大多數主張真相的問題

對效度主張最嚴格的檢驗,就是增量效度:這項測驗工具,是否比一個更便宜、更早已建立的既有量表,提供了額外的資訊?

相當多的品牌化構念在這一點上失敗了。它們與現有的五大人格維度之一的相關係數達到0.7或更高,以相同的幅度預測相同的結果,而且一旦以統計方式控制舊有量表,便不再增加任何新資訊。構念是新的,測量方式卻不是。這就是為什麼嚴謹的測驗工具文件中的批評章節,往往著重於冗餘性,而不是不準確性。

應該注意什麼

當有人聲稱某項測驗已經過驗證時,有用的問題會是具體的。是針對什麼標準驗證的?在哪種族群、多大的樣本量中驗證的?其因素結構是否在獨立樣本中得到證實?是否有由對結果沒有商業利益的研究者所發表的證據?它是否比既有的替代方案多提供了什麼?

一項測驗工具若能對這些問題給出誠實的答案,就值得認真對待,包括它的侷限性。而一項測驗工具的驗證若僅止於一頁見證推薦文,以及宣稱有數百萬人做過這項測驗,那麼它回答的其實是完全不同的問題:受歡迎程度並不是證據,做過某項測驗的人數多寡,也絲毫無法說明其得分是否具有任何意義。