可用性測試

【可用性】
ISO9241/11中的定義是：一個產品可以被特定的用戶在特定的場景中，有效、高效並且滿意得達成特定目標的程度

ISO 9241-11將可用性概括為三方面：

• 有效性（effectiveness），用戶使用系統完成各種任務所達到的精度（accuracy）和完整性（completeness）；
• 效率（efficiency），用戶按照精度和完整度完成任務所耗費的資源，資源包括智力、體力、時間、材料或經濟資源；
• 滿意度（satisfaction），用戶使用該系統的主觀反應，描述了使用產品的舒適度和認可程度。

人機交互專家 Jakob Nielsen 將可用性框架的定義為可學習性質、效率、可記憶性、錯誤、滿意度

可用性測試的概念是：讓一群具有代表性的用戶對產品進行典型操作，同時觀察員和開發人員在一旁觀察，聆聽，做記錄。該產品可能是一個網站，軟件，或者其他任何產品，它可能尚未成型。測試可以是早期的紙上原型測試，也可以是后期成品的測試。可用性最早來源於人因工程（human factors）。人因工程又稱工效學（ergonomics），起源於二戰時期，設計人員研發新式武器時研究如何使用機器、人的能力限度和特性，從而誕生了工效學。涉及多個領域的學科，包括心理學、人體測量學、環境醫學、工程學、統計學、工業設計、計算機等

可用性定義為“用戶能否很好地使用系統的功能”，分為五個因素：

• 可學習性（learnability），用戶可以在短時間內使用系統完成相關任務；
• 效率（efficiency），用戶學會使用系統后，能夠高效率地使用系統；
• 可記憶性（memorability），用戶在一段時間沒有使用系統后，仍然能夠使用系統；
• 出錯（errors），用戶使用系統時能夠少出錯，系統必須防止災難性錯誤發生；
• 滿意度（satisfaction），用戶使用系統主觀上感到滿意。

Shackel（1991）將可用性分為四個因素：有效性（effectiveness）、可學性（learnability）、靈活性（flexibility）、態度（attitude）

通過可用性測試，我們可以：

• 了解真實用戶如何與產品進行交互並；
• 了解真實用戶是否能夠完成指定任務；
• 了解真實用戶完成指定任務需要多久；
• 了解真實用戶對產品與競品的滿意度；
• 確定改進產品可用性問題所需的修改；
• 定性分析可用性並查看是否符合目標；
• 讓設計和開發團隊在開發前發現問題。

李樂山《人機界面設計》一書中，總結了學術論文中高頻使用的「可用性」

 

【15 種國際可用性測試經典量表】

 參考資料：https://zhuanlan.zhihu.com/p/163054315

測試分2種：
1.根據問題做出設計方案，並找到用戶驗證設計方案
2.通過數據發現問題，再找到用戶挖掘問題的原因

產品可用性測試方法分為分析法和實驗法
分析法：常見專家評審、啟發式評估、認知走查、多元走查、一致性檢查
實驗法：常見卡片分類、面對面測試、遠程測試、A/B測試、走廊測試、紙張原型測試、問卷調查
A / B測試：為網站或應用程序的界面或流程制作兩個（A/B）或多個（A/B/n）版本，在同一時間維度，分別讓組成成分相同（相似）的訪客群組隨機的訪問這些版本，收集各群組的用戶體驗數據和業務數據，最后分析評估出最好版本正式采用

 

【評估方法】

• 認知預演
• 啟發式評估
• 用戶測試法

測試的是產品，而不是使用者。更多地依靠用戶的表現，而不是他們的偏好

啟發式評估
        1. 啟發式評估
        Jakob Nielsen的十種啟發式評估原則（尼爾森十大交互定律）是行業中最常用的可用性評估原則，除此之外，還有Gerhardt-Powals的認知工程原理、Weinschenk和 Barker的分類、ISO 9421 對話原則等。
        Jakob Nielsen倡導的啟發式評估十原則內容

1. 系統狀態的可見性：系統應該在合理的時間內做出適當的反饋，始終讓用戶了解正在發生的事情。
2. 系統與現實世界的匹配：系統應使用用戶的語言，用戶熟悉的詞語和概念，而不是系統導向的專業術語。遵循現實世界的慣例，使信息以自然和合乎邏輯的順序出現。
3. 用戶控制和自由：用戶有時會誤操作，要提供任何時候都能從當前狀態跳出來的出口，保證能夠及時取消或者再運行執行過的操作（支持撤消和重做）。
4. 一致性和標准化：不應讓用戶懷疑不同的詞語、情況或行為是否意味着同一件事。保證用戶在同樣的操作下得到相同的結果。
5. 預防錯誤：提前預防錯誤的發生，這種防患於未然的設計要比適當的錯誤提示更勝一籌。消除容易出錯的條件或檢查它們，並在用戶采取行動之前讓用戶再次確認是否進行該操作。
6. 識別而不是回憶： 通過使對象，動作和選項等可視化，從而最大限度地減少用戶的認知負擔，使用戶無需回憶，一看就懂。盡量不要讓用戶從當前對話切換到別的對話時還必須記住某些信息，系統的使用說明應該是可見的，或者適當時可以輕易地檢索。
7. 靈活性和效率：加速器功能（初次接觸的用戶看不到該功能）通常可以提升專家用戶的操作效率，從而使系統能夠迎合無經驗和有經驗的用戶，允許用戶能夠單獨調整會頻繁使用的操作。
8. 審美和極簡主義設計：對話不應包含無關或極少需要的信息，對話中的每條附加信息都會與關鍵信息形成競爭，並降低其相對可見度。
9. 幫助用戶識別，診斷和從錯誤中恢復：錯誤消息應以簡單的語言表示，精確地表明問題，並建設性地提出解決方案。
10. 幫助和文檔：即使系統在沒有幫助文檔的情況下也可以使用良好，但還是有必要提供幫助和文檔。這樣的信息應該易於搜索，針對用戶要執行任務列出具體步驟。

實施步驟：
招募評價人員----制定評價計划----實施評價---- 召開評價人員會議----總結評價結果----輸出總結性報告
啟發式評估報告（HE報告）的內容主要包括：

• 出現問題的界面和位置，關鍵事件或問題出現在用戶界面的哪個位置？
• 啟發式的名稱，引用了十個啟發式原則中的哪一個？
• 被評價為否定或肯定的原因，解釋為什么界面會違反或符合該啟發式？
• 問題的范圍，描述問題的范圍，是貫穿整個產品還是在某個界面？
• 問題的嚴重程度(高/中/低），評估問題的嚴重程度。
• 評定其嚴重程度的理由，給它高/中/低的原因。
• 修復建議，對問題的改進建議。
• 可能的權衡（為什么修復可能會不起作用），提及這些權衡可以增加報告的可信度。

要注意：

• 不應以個人偏好，而應以理論依據進行評價。
• 評價的目的不是挑錯，更應給出合理建議。
• 當團隊意見不一致時，與其爭論不如通過實驗得出結論。

 

【用戶測試】
常見方法：

• 發聲思考法
• 回顧法
• 性能測試

實施步驟
設計任務:選擇最核心的功能或操作流程作為任務,任務應符合常規操作流程,為任務創建一個應用場景,明確任務的起點和終點,任務不應過於簡單,避免提供線索和描述操作步驟
招募用戶:根據資金預算和日程安排來招募用戶,用戶數量,招募渠道
准備工作:地點與工具的准備,任務相關資料的准備,相關文件的准備,可用性測試劇本的准備

 參考資料：http://www.woshipm.com/pd/1016493.html

在做可用性測試的時候，最好是能有攝像、錄屏（包含錄音）在測試過程中，我們要：

1. 記錄使用者的操作流程，先點了哪里、后點了哪里，是否產生了停頓？是否有重復操作？這些最好使用錄像記錄
2. 記錄用戶反應，是否產生了疑問？思考、皺眉、猶豫、驚訝、歡喜，因此最好有個攝像機能對准用戶的臉，但你也要時刻注意觀察，適當的問他遇到了什么問題，讓他把自己的想法說出來，不要深度討論
3. 記錄操作方式，用戶是一只手操作還是兩只手操作？左手還是右手？會不會為了點擊某個按鈕，不得不使用兩只手操作？
4. 記錄行為習慣，比如他在篩選商品時，是優先篩選價格，還是優先篩選品牌，他購買商品是先看價格還是先看評價？
5. 記錄頁面狀態，比如頁面加載速度是不是太慢了？是否出現卡頓、出現BUG等情況？
6. 記錄每個頁面的瀏覽時間、瀏覽順序，他在第一屏停留了多久？為什么停留了那么久？在哪一條信息上停留的時間較長？他瀏覽「每個」頁面的先后順序是什么？這些將是設計頁面布局的重要參考
7. 記錄細節：頁面加載速度、操作手勢、每個頁面停留時間、每個模塊的查看時間

 

【一個不錯的可用性測試報告】

bilibiliApp可用性測試：https://zhuanlan.zhihu.com/p/363786610

其中觀點不錯的是績效測試、非重疊軌跡圖分析、熱力圖分析

 

【可用性測試過程】主要有七個步驟：測試前思考、制作測試原型、撰寫測試腳本、招募測試者、設置測試環境、預測師、正式測試以及測試結果統計分析

 

 

 

測前思考：5w，平台

測前准備：招募測試者，撰寫測試腳本，制作測試原型。

篩選維度從平台、對產品的熟悉程度來考量。

撰寫測試腳本：

        結果分析的一般的維度有：a)任務完成度b)致命錯誤c)非致命錯誤d)完成任務的時間e)主觀情緒f)偏好和建議

制作測試原型：高保真的Demo，用Prott，Flinto，proto，墨刀等來制作。

設置測試環境：錄音，錄像，屏幕記錄

錄像和錄屏操作可參考

.攝像機：記錄動作和部分表情

·眼動儀：可以追蹤眼球的焦點軌跡，不適合移動端

·鼠標軌跡記錄：記錄鼠標軌跡，只適用於PC端

·QuickTime (iOS)：僅記錄屏幕

·Mobizen (Android)：記錄屏幕、手勢

·Display Recorder (iOS)：手勢、聲音

·SCR (Android)：記錄屏幕、手勢、表情、聲音

·Magitest (iOS)：記錄屏幕、手勢、表情、聲音

·Mobizen +AirDroid (Android)：現場觀察並記錄手勢、表情、聲音

        預測試：

包括以下幾個方面的問題：

·設備的問題。舉個例子，錄音設備放置的位置會影響錄音的效果。

·測試腳本的問題。測試問題是否足夠清晰。

·訪談的切入以及問題的提問。

·記錄者的記錄。

        正式測試：事前接待，暖場介紹，正式提問，結束感謝
        測試結果統計分析

參考 【超詳細】可用性測試方法總結 - 簡書 (jianshu.com)  

Adapting your usability testing practise for mobile (userfocus.co.uk)