當一份測驗能夠預測某件事時,這代表什麼意思

人格研究指出,嚴謹性可以預測工作表現。讀到這句話,大多數人腦中浮現的關聯,遠比實際數據所顯示的強得多。統計上的主張與「預測」一詞在日常語言中的意思之間的落差,正是心理測驗遭到誤用的起點。

涉及的數字

人格研究中的效果量通常以相關係數呈現。已獲確認關係的整合分析數值,大多落在0.20到0.35之間。嚴謹性與工作表現的相關約為0.20到0.25。工作滿意度與工作表現的相關約為0.30。一般心智能力是該領域中最強的單一預測指標,對於複雜工作的相關可達約0.50。

將相關係數平方,就能得到所解釋的變異比例。相關係數0.25大約可解釋人與人之間差異的百分之六。剩下的百分之九十四,則來自其他因素:能力、機會、訓練、管理、健康、運氣。

為何0.25仍是真實的發現

在群體規模下,微小的相關也能產生可觀的整體效果。如果你要從一千人中進行篩選,一個相關係數為0.25的預測指標,能夠以可測量且可重複的方式,改善你的平均結果。保險業與流行病學正是建立在這種程度的效果之上。

問題在於,整體層面的效益與個人層面的預測,是兩種不同的量。相關係數0.25代表:在得分較高的人之中,表現良好的比例高於得分較低的人;但同時也代表,有相當多得分高的人表現不佳,也有相當多得分低的人表現優異。這兩種說法,來自同一個數字。

個別案例的情況

這正是最容易被忽略的一步。相關係數描述的是兩組分布之間的關係,它並不能用來對任何特定的個人做出斷言。

如果嚴謹性與表現的相關為0.25,那麼知道某人的嚴謹性得分,只能將其表現的合理範圍稍微縮小。針對單一個人的預測區間,仍然寬到幾乎涵蓋整個結果範圍。得知自己在嚴謹性上位於第80百分位數,對於你在特定工作中會有怎樣的表現,幾乎沒有什麼參考價值。

這正是為什麼即使背後的研究本身是穩健的,將人格得分當作主要的篩選依據,依然缺乏充分的支持。研究支持的主張是:這項特質確實重要。它並不支持這樣的主張:一個得分就能告訴你,某位應徵者將會有怎樣的表現。

另外兩點提醒

預測與導致是不同的事。 幾乎所有這類文獻都是相關性研究。嚴謹性能預測健康結果,這一點同時符合以下幾種可能:嚴謹性導致更好的健康行為、有第三個因素同時導致這兩者、或是因果方向相反。縱貫研究設計能縮小可能性的範圍,但很少能完全排除它們。

自陳量表的效標會誇大數值。 當預測變項與結果變項都是由同一人在同一個下午自行報告時,共同方法變異會使相關係數偏高。使用客觀結果或他人評分的研究,通常會報告較小的效果量,而這些數值才是應該被重視的。

一項得分真正的用途

若將測驗得分視為一種描述,而非預言,它其實相當有用。它能告訴你,相對於某個參照群體,你在一項已有明確後果記錄的特質上處於什麼位置,也能為你提供詞彙,去描述一種你可能早已察覺、卻說不出名稱的模式。

這是值得擁有的東西。但它與預測是兩件不同的事,而這個區別,理應由一份誠實的報告為你清楚說明,而不是留給你自己去推測。