學術研究中,通過問卷收集數據,進行分析的情況越來越多。但在問卷收集數據時,難免會出現填寫者亂填,或者不知道如何填寫等,最終導致收集數據不准確,研究結論不可靠等問題。
如果問卷收集數據不准確,通常會帶來數據信度和效度的影響。單獨從肉眼看數據都挺正常,但使用研究方法進行測量就會立刻現出原形。
學術研究上使用量表居多,而且也只有量表也才能進行信度和效度測量,數據的信度即可靠性是最為基礎,同時數據的有效性也是數據質量的基本要求。研究者可通過SPSSAU問卷研究模塊進行信度和效度測量。
既然數據問題會帶來信度和效度問題,那應該如何防范呢,出現問題時又如何解決呢?本文從兩個部分進行闡述,如何保證數據質量。
一、防范無效樣本
首先從防范的角度來看,從問卷設計和問卷收集兩個角度提供以下六點建議:
1. 題目不能過多
題目過多會導致填寫者不耐煩,越到后面的問題越不准確,如果是學術研究,通常有一個標准是測量變量的5倍左右,比如測量變量有10個,每個測量變量通常對應4~7個題,那么加起來共有50個題左右,除此之外再加上一些基本的個人信息題和一些樣本行為特征題即可。因此如果研究越復雜,研究變量越多,那么問卷設計的題目也會越多,對於收集數據的質量控制也應該越高;問卷設計時不是題越多越好,而應該以剛好匹配研究目的為准。
2. 設置測謊題
問卷設計時可加入個別測謊題,此種做法的好處是可以在后續處理時很好的進行識別出無效樣本,快速地檢查出樣本是否真實回答問卷。
3. 問卷整體規范
比如問卷設計時措詞表達的簡潔易懂,問卷結構的清晰簡單,問卷是給用戶填寫使用的,一定需要站在填寫問卷人的角度進行換角度考慮,設計出結構清晰簡單易懂的問卷,別人也更加願意為你填寫。
4. 互填問卷需謹慎
問卷研究時樣本數量一般要求是量表題的5倍,嚴格是10倍。比如問卷中有40道量表題,那至少需要200個樣本才適合。問卷設計好后,通常是讓朋友同學進行填寫,但是數量有限,還是不夠,所以現在出現較多的問卷互填QQ群,陌生人幫助填寫等,陌生人為你填寫,也沒有利益問題,所以此類樣本的准確度沒辦法保證,因此在問卷設計時有個測謊題就可以用於后面的識別。
5. 收費樣本需謹慎
當前有比較多的問卷網站提供樣本收集服務,如果使用此類服務,建議自己設置一些測謊題用於判斷是否真實有效的樣本。
6. 問卷預測試
上述已經說明,問卷是否真實可靠,是否有效,肉眼根本無法識別,但是使用分析方法一下子就能看出。因此一般可以先收集小部分(比如50個)數據后,進行預測試分析,一般是做信度分析,大概看下效度分析情況。先做到心中有數,如果預測試出現大的問題,提前發現問題,修改一些問卷規范,重新找有效的樣本等。
二、無效樣本處理
上述六種辦法,已經做好各種防范,相信問卷中無效樣本已經非常少,余下的都是有效樣本了。但實際上並非如此,比如說會出現這樣的樣本,很多個量表題都選擇同一個答案(比如‘同意’)。也或者填空年齡,結果出現一個數字110。類似這樣的都屬於無效,應該進行處理。
如果對無效樣本不進行處理,肯定會導致分析出現問題。因此在做好各種防范后,還需要在數據收集完成后對數據無效性進行處理。接下來以SPSSAU無效樣本和異常值處理這兩個功能點進行說明。
1. 無效樣本
首先找到SPSSAU提供的無效樣本處理功能。數據處理》無效樣本,如下圖:
SPSSAU提供兩種情況的無效樣本設置:第一種是完全相同數字超過一定比例時設置成無效樣本。不認真填寫者通常有個特別是完全選擇相同的答案,一般以量表題選擇相同數字超過70%作為標准。
性別、學歷這種是樣本本身的屬性,到底是男還是女,無法測試。所以一般選中問卷中的所有量表題,比如30道題表題,30個量表題中70%都是相同數字,意味着21個題都選擇同樣一個答案,這種一般就算無效樣本。這里70%是常見處理方式,當然也可以設置成60%或者80%的標准。
除了相同數字識別成無效樣本,SPSSAU還提供缺失樣本比例超過某數字后,也設置成無效樣本。如果一大堆答案都不選擇,那肯定也屬於無效。具體有多少比例的答案沒有做出回答算成無效,沒有固定的標准,一般70%以上肯定是無效樣本。
設置好無效樣本后,默認會新生成一個標題,用來標識那些樣本是有效,那些是無效,在分析的時候直接進行篩選下就好。
2. 異常值
除上述無效樣本外,還有一種情況是異常值也需要特別注意,比如有一個題是問年齡,樣本回答為1歲,那肯定這個數字是有問題的,有可能填寫者沒有看清楚,也或者看清楚了寫錯了,也可能亂填,都有可能。
無論如何,當出現此種情況下都需要進行處理。SPSSAU數據處理里面的異常值功能可進行設置,並且提供多種選項處理方式等,如下圖:
異常值的判斷標准上,可按數字為null即‘缺失數字’當成是異常值,也可以設置在某個范圍的數字(比如年齡大於100或小於0)為異常值,當然還有一種標准是數據超過3個標准差當成異常值。
異常值標准設定后,具體如何處理,正常情況下是設置成null值。當然也可以考慮進行填補,用正常的數據特征(比如平均值)去填補異常數據。具體情況視研究者偏好而定,沒有固定的標准。
本文針對問卷無效樣本的防范,以及通過SPSSAU對無效樣本進行處理進行說明。除此之外還特別提示大家,如果問卷是量表題,多做信度和效度分析等,利用科學的研究方法進行分析,這樣才具有說服力,數據是否真實可靠,問卷設計是否規范,不是個人說了算,而是通過科學的研究結論進行論證。