招標手機APP測試總結報告
| 作 者： |
|
日 期： |
2016-03-10 |
| 文檔編號： |
002 |
版 本： |
Ver 1.0 |
目 錄
1.測試概述 1
1.1. 編寫目的 1
1.2. 測試范圍 1
2. 測試計划執行情況 1
2.1. 測試類型 1
2.2. 測試環境與配置 2
2.3. 測試人員 2
2.4. 測試問題總結 3
3. 測試總結 3
3.1.測試用例執行結果 3
3.2. 安全測試 4
3.2.1. 軟件權限 5
3.2.2. 安裝與卸載安全性 5
3.2.2. 數據安全性 6
3.2.3. 通訊安全性 7
3.2.4. 人機接口安全性 7
3.3. 安裝、卸載測試 8
3.3.1. 安裝 8
3.3.2. 卸載 8
3.4. UI測試 9
3.4.1. 導航測試 9
3.4.2. 圖形測試 9
3.4.3. 內容測試 9
3.5. 功能測試 10
3.5.1. 運行 10
3.5.2. 注冊 10
3.5.3. 登錄 10
3.5.4. 注銷 11
3.5.5. 應用的前后台切換 11
3.5.6. 免登入 11
3.5.7. 數據更新 12
3.5.8. 離線瀏覽 12
3.5.9. APP更新 12
3.5.10. 時間測試 13
3.5.11. 性能測試 13
3.5.12. 交叉性事件測試 13
3.6. 兼容測試 14
3.7. 用戶體驗測試 14
4. 測試結果 15
1.測試概述
1.1. 編寫目的
本測試報告為招標手機APP的測試報告，目的在於總結測試階段的測試情況以及分析測試結果，描述系統是否符合用戶需求，是否已達到用戶預期的功能目標，並對測試質量進行分析。
測試報告參考文檔提供給用戶、測試人員、開發人員、項目管理者、其他管理人員和需要閱讀本報告的高層經理閱讀。
1.2. 測試范圍
測試主要根據用戶需求說明書和軟件需求規格說明書以及相應的文檔進行系統測試，包括功能測試、性能測試、安全性和訪問控制測試、用戶界面測試以及兼容性測試等，而單元測試和集成測試由開發人員來執行。
主要功能包括：用戶登錄、我的項目、推薦項目訂閱、行業資訊、我的收藏、意見反饋、我的CA鎖。
2. 測試計划執行情況
2.1. 測試類型
| 測試類型 |
測試內容 |
測試目的 |
所用的測試工具和方法 |
| 功能測試 |
用戶登錄、我的項目、推薦項目訂閱、行業資訊、我的收藏、意見反饋、我的CA鎖 |
核實所有功能均已正常實現，即可按用戶的需求使用軟件： 1、 業務流程檢驗：各個業務流程能夠滿足用戶需求，用戶使用不會產生疑問； 2、 數據准確：推送的信息與交易平台生產信息一致，不會出現消息錯誤或漏發、重復發送。 |
采用黑盒測試，使用邊界值測試、等價類划分等測試方法，進行手工測試 |
| 用戶界面測試 |
1、 頁面結構：包括菜單、背景、顏色、字體、按鈕、Title、提示信息的一致性等 2、 友好性、易用性、合理性、一致性、正確性 |
核實軟件風格符合可接受標准，能夠保證用戶界面友好性、易操作性，符合用戶操作習慣 |
手工測試 |
| 兼容性測試 |
1、 用不同型號的安卓手機：華為、小米、三星、OPPO、聯想等，屏幕尺寸：3.5英寸～5.5英寸，操作系統：android4.0及以上 2、 不同版本的IOS手機：ios9.0及以上 |
核實軟件在不同的系統中運行穩定 |
黑盒測試、 手工測試 |
| 安全性和訪問控制測試 |
1、 注冊、登錄、退出登錄 2、 權限限制 3、 通過修改URL非法訪問 4、 登錄超時限制 |
1、 應用程序級別的安全性：核實用戶只能操作其所擁有權限能操作的功能 2、 系統級別的安全性：核實只能具備系統訪問權限的用戶才能訪問系統 |
黑盒測試、 手工測試 |
| 性能測試 |
1、 注冊、登錄響應速度 2、 各功能模塊切換響應速度 |
核實程序在多數據推送、手機多程序運行的情況下軟件性能的穩定性，不造成程序崩潰或相關的異常現象 |
黑盒測試、 手工測試 |
2.2. 測試環境與配置
| 資源名稱/類型 |
配 置 |
| 測試移動端 |
主頻2.2GHz，硬盤500G，內存4GB |
| 應用服務器 |
Tomcat7.0服務器 |
| 數據庫管理系統 |
mysql,sqllite |
| 應用軟件 |
eclipse8、android、svn客戶端 |
2.3. 測試人員
| 職務 |
姓名 |
|
電話 |
| 開發工程師 |
|
|
|
| 測試人員1 |
|
|
|
| 測試人員2 |
|
|
|
2.4. 測試問題總結
在app開始測試及投入使用的過程中，一直存在或多或少的影響用戶使用體驗的問題存在，至今仍有部分問題沒有徹底解決。
3. 測試總結
3.1.測試用例執行結果
| 測試用例標識符 |
測試用例名稱 |
狀態 |
測試結果 |
備注 |
| 功能測試 |
||||
| Testcase001 |
用戶手機在線注冊 |
已執行 |
測試通過 |
用戶登錄注冊 |
| Testcase002 |
注冊協議查看 |
已執行 |
測試通過 |
|
| Testcase003 |
注冊后訂閱項目功能 |
已執行 |
測試通過 |
|
| Testcase004 |
手機注冊帳號登錄 |
已執行 |
測試通過 |
|
| Testcase005 |
智慧交易雲系統注冊帳號登錄 |
已執行 |
測試通過 |
|
| Testcase006 |
記住密碼和自動登錄功能 |
已執行 |
測試通過 |
|
| Testcase007 |
按地市訂閱項目分類 |
已執行 |
測試通過 |
推薦項目訂閱 |
| Testcase008 |
取消已訂閱項目分類 |
已執行 |
測試通過 |
|
| Testcase009 |
已訂閱項目類別消息推送 |
已執行 |
有重復數據推送 |
|
| Testcase010 |
已訂閱項目消息推送提醒 |
已執行 |
重復提醒；提醒消息與打開查看時內容不符；小米4沒有消息提醒 |
|
| Testcase011 |
推薦項目信息分頁查看 |
已執行 |
只有上下頁跳轉功能，看不到明確頁數 |
|
| Testcase012 |
推薦項目信息關鍵字檢索 |
已執行 |
測試通過 |
|
| Testcase013 |
按地市條件篩選推薦項目信息 |
已執行 |
測試通過 |
|
| Testcase014 |
推薦項目收藏功能 |
已執行 |
部分項目信息無法收藏 |
|
| Testcase015 |
推薦消息點擊查看 |
已執行 |
公告內容有圖片或者表格時內容顯示有誤 |
|
| Testcase016 |
我的項目消息推送 |
已執行 |
有重復信息推送；投標人角色沒有信息推送 |
我的項目 |
| Testcase017 |
我的項目信息點擊查看 |
已執行 |
公告內容有圖片或者表格時內容顯示有誤 |
|
| Testcase018 |
我的項目信息分頁查看 |
已執行 |
測試通過 |
|
| Testcase019 |
我的項目信息關鍵字檢索 |
已執行 |
測試通過 |
|
| Testcase020 |
我的項目信息按消息類型分類檢索 |
已執行 |
測試通過 |
|
| Testcase021 |
我的項目新消息紅色字體區分顯示 |
已執行 |
測試通過 |
|
| Testcase022 |
行業資訊信息推送 |
已執行 |
測試通過 |
行業資訊 |
| Testcase023 |
行業資訊信息點擊查看 |
已執行 |
測試通過 |
|
| Testcase024 |
行業資訊信息分頁查看 |
已執行 |
測試通過 |
|
| Testcase025 |
行業資訊信息關鍵字檢索 |
已執行 |
測試通過 |
|
| Testcase026 |
我的項目信息收藏 |
已執行 |
測試通過 |
我的收藏 |
| Testcase027 |
訂閱推薦項目信息收藏 |
已執行 |
測試通過 |
|
| Testcase028 |
收藏項目信息查看 |
已執行 |
測試通過 |
|
| Testcase029 |
收藏項目信息關鍵字檢索 |
已執行 |
測試通過 |
|
| Testcase030 |
收藏項目信息刪除 |
已執行 |
測試通過 |
|
| Testcase031 |
收藏項目信息分頁查看 |
已執行 |
測試通過 |
|
| Testcase032 |
用戶提交意見建議 |
已執行 |
測試通過 |
意見反饋 |
| Testcase033 |
提交的意見在頁面上顯示 |
已執行 |
測試通過 |
|
| Testcase034 |
意見回復內容在頁面上的顯示 |
已執行 |
測試通過 |
|
| Testcase035 |
CA鎖到期10日內登錄后顯示提醒頁面 |
已執行 |
測試通過 |
我的CA鎖 |
3.2. 安全測試
3.2.1. 軟件權限
3.2.1.1. 扣費風險
| 測試內容 |
是否扣費 |
備注 |
| 收發短信 |
否 |
接收短信無費用（如短信驗證碼） |
| 撥打電話 |
是 |
撥打APP內提供的客服電話有費用（由運營商收取） |
| 連接網絡 |
是 |
連接2G、3G、4G及WIFI網絡有費用（由運營商收取） |
3.2.1.2. 隱私泄漏風險
| 測試內容 |
是否泄漏 |
備注 |
| 訪問手機信息 |
否 |
APP暫時無任何功能和需求會訪問手機信息 |
| 訪問通訊錄信息 |
否 |
APP暫時無任何功能和需求會訪問通訊錄信息 |
3.2.1.3. 限制性測試
| 測試內容 |
是否限制 |
| 限制/允許使用手機發送接受信息功能 |
允許 |
| 限制/允許應用程序來注冊自動啟動應用程序 |
允許 |
| 限制/允許使用手機讀取用戶數據 |
允許 |
| 限制/允許使用手機寫人用戶數據 |
允許 |
3.2.2. 安裝與卸載安全性
| 測試內容 |
測試結果 |
| 應用程序應能正確安裝到設備驅動程序上 |
是 |
| 能夠在安裝設備驅動程序上找到應用程序的相應圖標 |
是 |
| 是否包含數字簽名信息 |
否 |
| 安裝路徑應能指定 |
否 |
| JAD文件顯示的資料內容與應用程序顯示的資料內容應一致 |
是 |
| 沒有用戶的允許, 應用程序不能預先設定自動啟動 |
是 |
| 卸載是否安全, 其安裝進去的文件是否全部卸載 |
是 |
| 卸載用戶使用過程中產生的文件是否有提示 |
否 |
| 其修改的配置信息是否復原 |
否 |
| 卸載是否影響其他軟件的功能 |
否 |
| 卸載應該移除所有的文件 |
是 |
3.2.2. 數據安全性
| 測試內容 |
測試結果 |
| 當將密碼或其他的敏感數據輸人到應用程序時, 其不會被儲存在設備中, 同時密碼也不會被解碼 |
是 |
| 輸人的密碼將不以明文形式進行顯示 |
是 |
| 密碼或其他的敏感數據將不被儲存在它們預輸人的位置上 |
否 |
| 不同的應用程序的個人身份證或密碼長度必需至少在6一20 個字符長度之間 |
是 |
| 備份應該加密, 恢復數據應考慮恢復過程的異常通訊中斷等, 數據恢復后再使用前應該經過校驗 |
否 |
| 應用程序應考慮系統或者虛擬機器產生的用戶提示信息或安全警告 |
否 |
| 應用程序不能忽略系統或者虛擬機器產生的用戶提示信息或安全警告, 更不能在安全警告顯示前，利用顯示誤導信息欺騙用戶，應用程序不應該模擬進行安全警告誤導用戶 |
是 |
| 在數據刪除之前，應用程序應當通知用戶或者應用程序提供一個“取消”命令的操作 |
是 |
| “ 取消” 命令操作能夠按照設計要求實現其功能 |
是 |
| 應用程序應當能夠處理當不允許應用軟件連接到個人信息管理的情況 |
否 |
| 當進行讀或寫用戶信息操作時, 應用程序將會向用戶發送一個操作錯誤的提示信息 |
否 |
| 在沒有用戶明確許可的前提下不損壞刪除個人信息管理應用程序中的任何內容 |
是 |
| 應用程序讀和寫數據正確 |
是 |
| 應用程序應當有異常保護 |
否 |
| 如果數據庫中重要的數據正要被重寫, 應及時告知用戶 |
否 |
| 能合理地處理出現的錯誤 |
否 |
| 意外情況下應提示用戶 |
否 |
3.2.3. 通訊安全性
| 測試內容 |
測試結果 |
| 當創立連接時, 應用程序能夠處理因為網絡連接中斷, 進而告訴用戶連接中斷的情況 |
否 |
| 應能處理網絡異常和及時將異常情況通報用戶 |
是 |
| 應用程序關閉或網絡連接不再使用時應及時關閉) 斷開 |
是 |
| HTTP、HTTPS覆蓋測試 -App和后台服務一般都是通過HTTP來交互的，驗證HTTP環境下是否正常； --公共免費網絡環境中（如：麥當勞、星巴克等）都要輸入用戶名和密碼，通過SSL認證來訪問網絡，需要對使用HTTP Client的library異常作捕獲處理 |
否 |
3.2.4. 人機接口安全性
| 測試內容 |
測試結果 |
| 返回菜單總保持可用 |
否 |
| 命令有優先權順序 |
否 |
| 聲音的設置不影響應用程序的功能 |
是 |
| 應用程序必需利用目標設備適用的全屏尺寸來顯示上述內容 |
是 |
| 應用程序必需能夠處理不可預知的用戶操作, 例如錯誤的操作和同時按下多個鍵 |
否 |
3.3. 安裝、卸載測試
3.3.1. 安裝
| 測試內容 |
測試結果 |
| 軟件在不同操作系統（Palm OS、Symbian、Linux、Android、iOS、Black Berry OS 6.0、Windows Phone 7）下安裝是否正常 |
是（只測試了Android、IOS） |
| 軟件安裝后是否能夠正常運行，安裝后的文件夾及文件是否寫到了指定的目錄里 |
是 |
| 軟件安裝向導的UI測試 |
否 |
| 軟件安裝過程中意外情況的處理是否符合需求（如死機，重啟，斷電） |
否 |
| 安裝空間不足時是否有相應提示 |
否 |
| 安裝后沒有生成多余的目錄結構和文件 |
是 |
| 依照安裝手冊是否能順利安裝 |
是 |
3.3.2. 卸載
| 測試內容 |
測試結果 |
| 直接刪除安裝文件夾卸載是否有提示信息 |
否 |
| 測試系統直接卸載程序是否有提示信息 |
否 |
| 測試卸載后文件是否全部刪除所有的安裝文件夾 |
是 |
| 卸載過程中出現的意外情況的測試（如死機、斷電、重啟） |
否 |
| 卸載是否支持取消功能 |
是 |
3.4. UI測試
3.4.1. 導航測試
| 測試內容 |
測試結果 |
| 在不同的連接頁面之間需要導航 |
是 |
| 是否易於導航，導航是否直觀 |
否 |
| 是否有搜索引擎 |
是 |
| 導航幫助是否准確直觀 |
否 |
| 導航與頁面結構、菜單、連接頁面的風格是否一致 |
否 |
3.4.2. 圖形測試
| 測試內容 |
測試結果 |
| 橫向比較，各控件操作方式統一 |
是 |
| 自適應界面設計，內容根據窗口大小自適應 |
是 |
| 頁面標簽風格是否統一 |
是 |
| 頁面是否美觀 |
否 |
| 頁面的圖片應有其實際意義而要求整體有序美觀 |
否 |
| 圖片質量要高且圖片尺寸在設計符合要求的情況下應盡量小 |
是 |
| 界面整體使用的顏色不宜過多 |
是 |
3.4.3. 內容測試
| 測試內容 |
測試結果 |
| 輸入框說明文字的內容與系統功能是否一致 |
是 |
| 文字長度是否加以限制 |
否 |
| 文字內容是否表意不明 |
否 |
| 是否有錯別字 |
否 |
| 信息是否為中文顯示 |
是 |
| 是否有敏感性詞匯、關鍵詞 |
否 |
| 是否有敏感性圖片，如：涉及版權、專利、隱私等圖片 |
否 |
3.5. 功能測試
3.5.1. 運行
| 測試內容 |
測試結果 |
| App安裝完成后的試運行，可正常打開軟件 |
是 |
| App打開測試，是否有加載狀態進度提示 |
是 |
| App打開速度測試，速度是否可觀 |
否 |
| App頁面間的切換是否流暢，邏輯是否正確 |
邏輯正確，切換不夠流暢 |
3.5.2. 注冊
| 測試內容 |
測試結果 |
| 后台可否增加用戶 |
是 |
| 用戶名密碼長度是否限制 |
是 |
| 注冊后是否有提示頁面 |
否 |
| 前台注冊頁面和后台的管理頁面數據是否一致 |
是 |
| 注冊后，在后台管理中頁面提示 |
否 |
3.5.3. 登錄
| 測試內容 |
測試結果 |
| 使用合法的用戶登錄系統 |
是 |
| 系統是否允許多次非法的登陸，是否有次數限制 |
否 |
| 使用已經登陸的賬號登陸系統是否正確處理 |
是 |
| 使用禁用的賬號登陸系統是否正確處理 |
是 |
| 用戶名、口令（密碼）錯誤或漏填時能否登陸 |
否 |
| 刪除或修改后的用戶，原用戶登陸 |
否 |
| 不輸入用戶口令和用戶、重復點（確定或取消按鈕）是否允許登陸 |
否 |
| 頁面中有退出登錄按鈕 |
是 |
| 登陸超時的處理 |
否 |
3.5.4. 注銷
| 測試內容 |
測試結果 |
| 是否能正常注銷 |
否 |
| 注銷原用戶，新用戶系統能否正確處理 |
否 |
| 使用錯誤的賬號、口令、無權限的被禁用的賬號進行注銷 |
否 |
3.5.5. 應用的前后台切換
| 測試內容 |
測試結果 |
| APP切換到后台，再回到app，檢查是否停留在上一次操作界面 |
否 |
| APP切換到后台，再回到app，檢查功能及應用狀態是否正常 |
是 |
| 手機鎖屏解屏后進入app注意是否會崩潰，功能狀態是否正常，尤其是對於從后台切換回前台數據有自動更新的時候 |
否（個別情況下APP會白屏） |
| 當App使用過程中有電話進來中斷后再切換到app，功能狀態是否正常 |
是 |
| 當殺掉app進程后，再開啟app，app能否正常啟動 |
是 |
| 出現必須處理的提示框后，切換到后台，再切換回來，檢查提示框是否還存在，有時候會出現應用自動跳過提示框的缺陷 |
是 |
3.5.6. 免登入
| 測試內容 |
測試結果 |
| App是否有免登錄功能，需要考慮IOS版本差異 |
否 |
| 考慮無網絡情況時能否正常進入免登錄狀態 |
否 |
| 切換用戶登錄后，要校驗用戶登錄信息及數據內容是否相應更新，確保原用戶退出 |
是 |
| 切換到后台，再切換回前台的測試 |
是 |
| 密碼更換后，檢查有數據交換時是否進行了有效身份的校驗 |
否 |
| 檢查用戶主動退出登錄后，下次啟動app，應停留在登錄界面 |
是 |
3.5.7. 數據更新
| 測試內容 |
測試結果 |
| 需要確定哪些地方需要提供手動刷新，哪些地方需要自動刷新，哪些地方需要手動+自動刷新 |
是 |
| 從后台切換回前台時需要進行數據更新 |
是 |
| 根據業務、速度及流量的合理分配，確定哪些內容需要實時更新，哪些需要定時更新 |
是 |
| 確定數據展示部分的處理邏輯，是每次從服務端請求，還是有緩存到本地 |
是 |
| 檢查有數據交換的地方，均有相應的異常處理 |
否 |
3.5.8. 離線瀏覽
| 測試內容 |
測試結果 |
| 在無網絡情況可以瀏覽本地數據 |
否 |
| 退出app再開啟app時能正常瀏覽 |
否 |
| 切換到后台再切回前台可以正常瀏覽 |
否 |
| 鎖屏后再解屏回到應用前台可以正常瀏覽 |
否 |
| 在對服務端的數據有更新時會給予離線的相應提示 |
否 |
3.5.9. APP更新
| 測試內容 |
測試結果 |
| 當客戶端有新版本時，有更新提示 |
否 |
| 當客戶端有新版本時，在本地不刪除客戶端的情況下，直接更新檢查是否能正常更新 |
是（客戶端自動更新） |
3.5.10. 時間測試
| 測試內容 |
測試結果 |
| 修改系統時間，后台發布信息時間是否隨之更改 |
是 |
| 修改手機時間，推送信息時間是否隨之更改 |
否 |
3.5.11. 性能測試
3.5.11.1. 響應測試
| 測試內容 |
測試結果 |
| 運行App時斷掉網絡，是否影響手機其它使用 |
否 |
| 安裝、卸載的響應時間，是否能夠接受 |
是 |
| App各類功能性操作的響應時間，是否能夠接受 |
否（推薦項目訂閱功能響應有點慢） |
| 反復進行安裝卸載，查看系統資源是否正常 |
是 |
3.5.12. 交叉性事件測試
| 測試內容 |
測試結果 |
| 多個App同時運行是否影響正常功能 |
否 |
| App運行時前/后台切換是否影響正常功能 |
否 |
| App運行時撥打/接聽電話是否影響正常功能 |
否 |
| App運行時發送/接收信息是否影響正常功能 |
否 |
| App運行時切換網絡（3G、4G、wifi）是否影響正常功能 |
否 |
| App運行時瀏覽網絡是否影響正常功能 |
否 |
| App運行時使用藍牙傳送/接收數據是否影響正常功能 |
否 |
| App運行時使用相機、計算器等手機自帶設備是否影響正常功能 |
否 |
| App運行時充電是否影響正常功能 |
否 |
3.6. 兼容測試
| 測試內容 |
測試結果 |
| 與本地及主流App是否兼容 |
是 |
| 基於開發環境和生產環境的不同，檢驗在各種網絡連接下(WiFi、GSM、GPRS、EDGE、WCDMA、CDMA1x、CDMA2000、HSPDA等)，App的數據和運用是否正確 |
是（只測了3G、4G、wifi） |
| 不同操作系統的兼容性，是否適配 |
是（測了IOS9.0及以上、安卓4.0及以上） |
| 不同手機屏幕分辨率的兼容性 |
是（測了iPhone4s\5s\6\6p、小米4、華為榮耀4） |
| 不同手機品牌的兼容性 |
是（測了蘋果、華為、小米） |
3.7. 用戶體驗測試
| 測試內容 |
測試結果 |
| 是否有空數據界面設計，引導用戶去執行操作 |
否 |
| 是否濫用用戶引導 |
否 |
| 是否有不可點擊的效果，如：你的按鈕此時處於不可用狀態，那么一定要灰掉，或者拿掉按鈕，否則會給用戶誤導 |
否 |
| 菜單層次是否太深 |
否 |
| 交互流程分支是否太多 |
否 |
| 一次是否載入太多的數據 |
否 |
| 界面中按鈕可點擊范圍是否適中 |
否（回退和訂閱按鈕操作體驗不佳） |
| 標簽頁跟內容是否有從屬關系，當切換標簽的時候，內容跟着切換 |
是 |
| 操作應該有主次從屬關系 |
是 |
| 是否有橫屏模式的設計，應用一般需要支持橫屏模式，即自適應設計 |
否 |
4. 測試結果
根據測試組綜合評定，給與以下測試結果，僅供參考
| 序號 |
內容 |
結果 |
| 1 |
測試環境不具備，未完成測試 |
|
| 2 |
測試內容不完整，未完成測試 |
|
| 3 |
測試合格，允許上線 |
|
| 4 |
測試不合格，需做修改后上線 |
√ |
| 5 |
測試不合格，不允許上線 |