顯著性差異(significant difference),是一個統計學名詞。它是統計學(Statistics)上對數據差異性的評價。通常情況下,實驗結果達到0.05水平或0.01水平,才可以說數據之間具備了差異顯著或是極顯著。顯著性差異的判斷基于p值與預設的顯著水準α的比較,當p值小于或等于α時,結果被認為具有統計學意義。
原理
當數據之間具有了顯著性差異,就說明參與比對的數據不是來自于同一總體(種群),而是來自于具有差異的兩個不同總體。這種差異可能因參與比對的數據是來自不同實驗對象的,比如一些一般能力測驗中,大學學歷被試組的成績與小學學歷被試組會有顯著性差異,或是實驗處理對實驗對象造成了根本性狀改變,因而前測后測的數據會有顯著性差異。
歷史
顯著性差異的概念可追溯到18世紀,由約翰·阿巴思諾特和皮埃爾-西蒙·拉普拉斯提出。1925年,羅納德·費雪在《研究工作者的統計方法》一書中提出了統計假設檢驗的思想,稱之為“顯著性檢驗”。費雪建議將1/20(=0.05)的概率作為拒絕虛無假說的一個截斷值。1933年,耶日·內曼和埃貢·皮爾遜把這個截斷值稱為“顯著性水平”,并賦予它符號α。費雪最初將顯著性水平定為0.05,但他并不打算將這一截斷值定死,而是建議根據具體情況確定顯著性水平。
顯著水準
顯著水準(significance level,符號:α)代表在虛無假說為真時,錯誤地拒絕虛無假說的幾率,即發生型一錯誤(棄真錯誤、α錯誤)的幾率。顯著水準應當在開始數據收集前就設定,通常習慣設定為5%或更低。如果拒絕“兩組數據一致”的零假設,此時有5%的可能性犯第一類錯誤。數學表述為:引入p值作為檢驗樣本觀察值的最低顯著水準。在α = 0.01或α = 0.05的條件下,若p值小于α,則可拒絕該零假設。
案例
例如,記憶術研究發現,被試學習某記憶法前的成績和學習記憶法后的記憶成績會有顯著性差異,這一差異很可能來自于學習記憶法對被試記憶能力的改變。
技術標準
在作結論時,應確實描述方向性(例如顯著大于或顯著小于)。sig值通常用 P>0.05 表示差異性不顯著;0.01
局限性
顯著性差異雖然是統計學中的重要概念,但它并不等同于實際意義。有統計學意義的研究未必就有實際意義。研究人員在報告結果時,應同時給出效應值和p值,以衡量結果的研究意義。此外,統計上顯著的結果未必能夠輕易重現,特別是一些有顯著性差異的結果實際上是假陽性。
參考資料 >