noesisnoesis
測量如何運作

當一項測驗被稱為「已驗證」時,這代表什麼意思?

這個詞沒有受到規範,任何未曾做過相關功夫的產品都能自由使用它。以下說明這個詞在真正有意義時代表什麼,以及能區分兩種情況的四個問題。

「經過科學驗證」並不是一個受保護的用語。沒有任何機構為其認證,也沒有任何機構稽核,而它卻出現在一些產品上,這些產品全部的證據基礎僅僅是「很多人做過這個測驗」。了解這個詞在正確使用時究竟代表什麼意義,是有價值的。

簡短版本

一項經過驗證的工具,會有公開發表的紀錄,說明它測量的是什麼、精確度如何、適用於哪些族群,以及其得分可以合理用於什麼目的。驗證不是一張證書,而是一套通常經過多年累積的證據體系,通常還包含限制該工具使用範圍的發現,而不只是對它有利的結論。

有記錄在案的限制,正是較佳的訊號之一。真正的驗證文獻中充滿了這類內容:這個量表在青少年身上表現不佳、那個面向無法複製、切截點會因族群而異。一個只報告優點的產品,並沒有發表它的驗證,它發表的是它的行銷。

四個關鍵問題

原始出版來源是什麼? 一項經過驗證的工具會有一篇原始論文,發表於同行審查期刊,附有作者、年份,通常還有DOI。這篇論文會說明題目是如何開發的,以及最初的心理計量特性是什麼。如果沒有人能說出這篇論文,那就沒有驗證可言。

結構是否經由他人確認過? 開發團隊自然會重現他們自己設計出來的結構。真正重要的是,是否有獨立的團隊,使用獨立的資料,得出了相同的結果。這是你能問的最有參考價值的單一問題,也是最常被忽略而未被回答的問題。

常模是建立在哪個族群、什麼時候建立的? 得分是在參照分佈中的一個位置。一項工具若報告百分位數卻未說明它所指的是哪個族群,那就等於給了你一個沒有分母的數字。

它增加了什麼? 相對於既有量表的增益效度。有非常多品牌化的構念在這一項上失敗,因為它們與現有特質的相關性過高,以至於在任何方面都無法解釋額外的變異。這是科學審查下的正常結果,但除非有人真正去檢驗,否則它是看不見的。

翻譯讓事情變得複雜的地方

一項在英語中經過驗證的工具,並不因此就在德語中也經過驗證。適當的跨文化調適需要正向與回譯、專家審查、認知訪談,然後在新語言中進行全新的心理計量研究,檢驗因素結構是否仍然成立,以及個別題目在不同群體間是否具有等同的功能。

跳過這個步驟的工具很常見。一份原始驗證無可挑剔的問卷,在某個語言中若有一個關鍵題目帶有不同的意涵,其表現可能會截然不同,而沒有相關研究的話,根本無從得知。當一項測驗以十種語言提供時,值得問的問題是:它是在十種語言中都經過驗證,還是只在一種語言中驗證後翻譯成另外九種。

驗證買不到什麼

它並不能讓得分變得確定無誤。一項經過驗證的工具仍然帶有測量誤差,仍然描述的是族群層級的規律性,而不是個人的命運,並且仍然只能測量其題目所能觸及的內容。

驗證所帶來的,是可知的限制。你可以查明誤差有多大、適用於哪個族群、適用於什麼目的。這比「這個測驗揭露了你真正是誰」的說法要保守得多,但也是唯一站得住腳的說法。

如果你想看看文件存在時應該是什麼樣子,NOESIS 目錄中的每一項測驗都會標明它所依據的工具、其作者與年份、其計分方法,以及背後的證據,包括該證據在哪些地方仍存在爭議。

付諸實測

閱讀關於測量的文章是一件事,親眼看到自己的得分連同其來源、常模樣本與限制一起呈現則是另一件事。免費進行測驗,無需註冊。

繼續閱讀

當一項測驗被稱為「已驗證」時,這代表什麼意思? | NOESIS