提交apk到小米應用商店,monkey測試未通過被拒


前情提要

因發布了兩次app到小米的應用商城都是報monkey測試不通過, 
但是看到問題貌似報的感覺都不應該啊,於是問題進行詳細分析。日志反應一直卡在第一個載入畫面,但是我們自己內部跑monkey各種沒有問題。

小米應用規則

monkey測試結果修改提示文檔:所有提交的應用都需要經過我們穩定性測試--非功能性測試。目的時為了確定應用在任何情況下可以穩定運行,不出現FC或者ANR情況。

測試monkey參數如下:

adb shell monkey -p  xxxxxx -v --throttle 300 --pct-touch 30 --pct-motion 20 --pct-nav 20 --pct-majornav 15 --pct-appswitch 5 --pct-anyevent 5 --pct-trackball 0 --pct-syskeys 0 -p '%s' 1000

注: 測試時把 *** 換成 自己的包名

monkey指令解釋說明

首先 -v參數,指定了輸出詳情的等級,-throttle 300,指定了事件間隔時間300毫秒,
其次–pct-xx xx 參數
–pct-touch 30 指定了 事件總量的百分之30是touch事件 ,以及后面連串的 –pct-xx xx 參數 ,翻譯過來就是,點擊事件30%,滑動事件20%,導航 20% , 主導航15%, 切換activity事件 5% 其他事件5%,軌跡球事件0%,系統按鍵0%.
算一下。 30 + 20 + 20 + 15 + 5 + 5 + 0 +0 = 95
即指定的總事件占比95%,還剩5%事件就是隨機分配給未指定的剩余事件。
最后 -p ‘%s’ 1000 ,-p參數是指定應用,那推測過去 ‘%s’就是占位變量,對應的就是提交給小米的應用包名。最后的1000就是說,總事件數1000

小米的壓力測試大概是遵循這個事件比例去執行,至於到底執行了多少次,就不重要了,我們只需要照着這個命令,在自己的模擬器或者手機上多跑一跑這1000個隨機事件,復現出FC/ANR等結果,通過日志就可以着手解決問題了。

monkey簡介

Monkey 就是SDK中附帶的一個工具。Monkey是Android中的一個命令行工具,可以運行在模擬器里或實際設備中。它向系統發送偽隨機的用戶事件流(如按鍵輸入、觸摸屏輸入、手勢輸入等),實現對正在開發的應用程序進行壓力測試。Monkey測試是一種為了測試軟件的穩定性、健壯性的快速有效的方法。

monkey參數解釋

C:\WINDOWS\system32>adb shell monkey -help
usage: monkey [-p ALLOWED_PACKAGE [-p ALLOWED_PACKAGE] ...]
[-c MAIN_CATEGORY [-c MAIN_CATEGORY] ...]
[--ignore-crashes] [--ignore-timeouts]
[--ignore-security-exceptions]
[--monitor-native-crashes] [--ignore-native-crashes]
[--kill-process-after-error] [--hprof]
[--pct-touch PERCENT] [--pct-motion PERCENT]
[--pct-trackball PERCENT] [--pct-syskeys PERCENT]
[--pct-nav PERCENT] [--pct-majornav PERCENT]
[--pct-appswitch PERCENT] [--pct-flip PERCENT]
[--pct-anyevent PERCENT] [--pct-pinchzoom PERCENT]
[--pct-permission PERCENT]
[--pkg-blacklist-file PACKAGE_BLACKLIST_FILE]
[--pkg-whitelist-file PACKAGE_WHITELIST_FILE]
[--wait-dbg] [--dbg-no-events]
[--setup scriptfile] [-f scriptfile [-f scriptfile] ...]
[--port port]
[-s SEED] [-v [-v] ...]
[--throttle MILLISEC] [--randomize-throttle]
[--profile-wait MILLISEC]
[--device-sleep-time MILLISEC]
[--randomize-script]
[--script-log]
[--bugreport]
[--periodic-bugreport]
[--permission-target-system]
COUNT

1 參數: -p

用於約束限制,用此參數指定一個或多個包(Package,即App)。指定包之后,monkey將只允許系統啟動指定的APP,如果不指定包,將允許系統啟動設備中的所有APP.

* 指定一個包: adb shell monkey -p cn.emoney.acg 10

* 指定多個包:adb shell monkey -p cn.emoney.acg –p cn.emoney.wea -p cn.emoney.acg 100

* 不指定包:adb shell monkey 100

 

2 參數: -v

用於指定反饋信息級別(信息級別就是日志的詳細程度),總共分3個級別,分別對應的參數如下表所示:

日志級別 Level0

示例 adb shell monkey -p cn.emoney.acg –v 100

說明缺省值,僅提供啟動提示、測試完成和最終結果等少量信息

 

日志級別 Level 1

示例 adb shell monkey -p cn.emoney.acg –v -v 100

說明提供較為詳細的日志,包括每個發送到Activity的事件信息

 

日志級別 Level 2

示例 adb shell monkey -p cn.emoney.acg –v -v –v 100

說明最詳細的日志,包括了測試中選中/未選中的Activity信息

3 參數: -s

用於指定偽隨機數生成器的seed值,如果seed相同,則兩次Monkey測試所產生的事件序列也相同的。

Monkey 測試1:adb shell monkey -p cn.emoney.acg -s 10  100

Monkey 測試2:adb shell monkey -p cn.emoney.acg –s 10 100

兩次測試的效果是相同的,因為模擬的用戶操作序列(每次操作按照一定的先后順序所組成的一系列操作,即一個序列)是一樣的。


4 參數: --throttle<毫秒>

用於指定用戶操作(即事件)間的時延,單位是毫秒;

adb shell monkey -p cn.emoney.acg --throttle 5000 100

5 參數: --ignore-crashes

用於指定當應用程序崩潰時(Force& Close錯誤),Monkey是否停止運行。如果使用此參數,即使應用程序崩潰,Monkey依然會發送事件,直到事件計數完成。

adb shellmonkey -p cn.emoney.acg --ignore-crashes 1000

測試過程中即使程序崩潰,Monkey依然會繼續發送事件直到事件數目達到1000為止

adb shellmonkey -p cn.emoney.acg 1000

測試過程中,如果acg程序崩潰,Monkey將會停止運行

 

6 參數: --ignore-timeouts

用於指定當應用程序發生ANR(Application No Responding)錯誤時,Monkey是否停止運行。如果使用此參數,即使應用程序發生ANR錯誤,Monkey依然會發送事件,直到事件計數完成。

adb shellmonkey -p cn.emoney.acg --ignore-timeouts 1000

 

7 參數: --ignore-security-exceptions

用於指定當應用程序發生許可錯誤時(如證書許可,網絡許可等),Monkey是否停止運行。如果使用此參數,即使應用程序發生許可錯誤,Monkey依然會發送事件,直到事件計數完成。

adb shellmonkey -p cn.emoney.acg --ignore-security-exception 1000

 


8 參數: --kill-process-after-error


用於指定當應用程序發生錯誤時,是否停止其運行。如果指定此參數,當應用程序發生錯誤時,應用程序停止運行並保持在當前狀態

(注意:應用程序僅是靜止在發生錯誤時的狀態,系統並不會結束該應用程序的進程)。

adb shellmonkey -p cn.emoney.acg --kill-process-after-error 1000

 


9 參數: --monitor-native-crashes

用於指定是否監視並報告應用程序發生崩潰的本地代碼。

adb shellmonkey -p cn.emoney.acg --monitor-native-crashes 1000

 

10 參數: --pct-{+事件類別}{+事件類別百分比}

用於指定每種類別事件的數目百分比(在Monkey事件序列中,該類事件數目占總事件數目的百分比)
示例:
--pct-touch{+百分比}
調整觸摸事件的百分比(觸摸事件是一個down-up事件,它發生在屏幕上的某單一位置)

adb shell monkey -p cn.emoney.acg --pct-touch 10 1000


--pct-motion {+百分比}
調整動作事件的百分比(動作事件由屏幕上某處的一個down事件、一系列的偽隨件機事和一個up事件組成)

adb shell monkey -p cn.emoney.acg --pct-motion 20 1000


--pct-trackball {+百分比}
調整軌跡事件的百分比(軌跡事件由一個或幾個隨機的移動組成,有時還伴隨有點擊)

adb shell monkey -p cn.emoney.acg --pct-trackball 30 1000


--pct-nav {+百分比}

調整“基本”導航事件的百分比(導航事件由來自方向輸入設備的up/down/left/right組成)

adb shell monkey -p cn.emoney.acg --pct-nav 40 1000


--pct-majornav {+百分比}
調整“主要”導航事件的百分比(這些導航事件通常引發圖形界面中的動作,如:5-way鍵盤的中間按鍵、回退按鍵、菜單按鍵)

adb shell monkey -p cn.emoney.acg --pct-majornav 50 1000

monkey測試結果分析

一. 初步分析方法:

Monkey測試出現錯誤后,一般的查錯步驟為以下幾步:

1、找到是monkey里面的哪個地方出錯

2、查看Monkey里面出錯前的一些事件動作,並手動執行該動作

3、若以上步驟還不能找出,可以使用之前執行的monkey命令再執行一遍,注意seed值要一樣--復現

一般的測試結果分析:

1、 ANR問題:在日志中搜索“ANR”

2、崩潰問題:在日志中搜索“Exception”  Force Close

二. 詳細分析monkey日志:

將執行Monkey生成的log,從手機中導出並打開查看該log;在log的最開始都會顯示Monkey執行的seed值、執行次數和測試的包名。

首先我們需要查看Monkey測試中是否出現了ANR或者異常,具體方法如上述。

然后我們要分析log中的具體信息,方法如下:

查看log中第一個Switch,主要是查看Monkey執行的是那一個Activity,譬如下面的log中,執行的是com.tencent.smtt.SplashActivity,在下一個swtich之間的,如果出現了崩潰或其他異常,可以在該Activity中查找問題的所在。

:Switch:#Intent;action=android.intent.action.MAIN;category=android.intent.category.LAUNCHER;launchFlags=0x10000000;component=com.tencent.smtt/.SplashActivity;end

  // Allowing start of Intent {act=android.intent.action.MAIN cat=[android.intent.category.LAUNCHER]cmp=com.tencent.smtt/.SplashActivity } in package com.tencent.smtt

在下面的log中,Sending Pointer ACTION_DOWN和Sending Pointer ACTION_UP代表當前執行了一個單擊的操作;

Sleeping for 500 milliseconds這句log是執行Monkey測試時,throttle設定的間隔時間,每出現一次,就代表一個事件。

SendKey(ACTION_DOWN) //KEYCODE_DPAD_DOWN 代表當前執行了一個點擊下導航鍵的操作;

Sending Pointer ACTION_MOVE 代表當前執行了一個滑動界面的操作。
:Sending Pointer ACTION_DOWN x=47.0 y=438.0
:Sending Pointer ACTION_MOVE x=-2.0 y=-4.0
ANR
如果Monkey測試順利執行完成,在log的最后,會打印出當前執行事件的次數和所花費的時間;// Monkey finished代表執行完成。Monkey執行中斷,在log的最后也能查看到當前已執行的次數。Monkey執行完成的log具體如下:

Events injected: 6000

:Dropped: keys=0 pointers=9 trackballs=0 flips=0

## Network stats: elapsed time=808384ms (0ms mobile, 808384ms wifi, 0msnot connected)

// Monkey finished

范例:

Monkey測試結果:

# monkey -p wfh.LessonTable -v -v -v 200

:Monkey: seed=0 count=200

:AllowPackage: wfh.LessonTable

:IncludeCategory: android.intent.category.LAUNCHER

:IncludeCategory: android.intent.category.MONKEY

// Selecting main activities from category android.intent.category.LAUNCHER

//   - NOT USING main activity com.android.browser.BrowserActivity (from package com.android.browser)

// Seeded: 0

// Event percentages:

//   0: 15.0%

//   1: 10.0%

//   2: 15.0%

//   3: 25.0%

//   4: 15.0%

//   5: 2.0%

//   6: 2.0%

//   7: 1.0%

//   8: 15.0%

 

:Switch: #Intent;action=android.intent.action.MAIN;category=android.intent.category.LAUNCHER;launchFlags=0x10000000;component=wfh.LessonTable/.MainTable;end

    // Allowing start of Intent { act=android.intent.action.MAIN cat=[android.intent.category.LAUNCHER] cmp=wfh.LessonTable/.MainTable } in package wfh.LessonTable

Sleeping for 0 milliseconds

:SendKey (ACTION_DOWN): 21    // KEYCODE_DPAD_LEFT

:SendKey (ACTION_UP): 21    // KEYCODE_DPAD_LEFT

Sleeping for 0 milliseconds  //------------------------------------用--throttle來設置一個起效的事件發生后時延時。

:Sending Pointer ACTION_DOWN x=0.0 y=0.0

:Sending Pointer ACTION_UP x=0.0 y=0.0

Sleeping for 0 milliseconds

:Sending Pointer ACTION_MOVE x=0.0 y=0.0

當測試到ACTION_MOVE x=0.0 y=0.0這個動作時,發生了FC(Force Close)錯誤,以下為輸出錯誤信息。同時在LogCat里面也有錯誤輸出,而且LogCat里面的錯誤信息更為詳細,在實際的測試中應該結合兩者輸出的信息進行調試程序。

// CRASH: wfh.LessonTable (pid 1973)

// Short Msg: java.lang.NullPointerException

// Long Msg: java.lang.NullPointerException

// Build Label: android:generic/sdk/generic/:2.1-update1/ECLAIR/35983:eng/test-keys

// Build Changelist: 35983

// Build Time: 1273161972

// ID:

// Tag: AndroidRuntime

// java.lang.NullPointerException:

//   at android.widget.TabHost.dispatchKeyEvent(TabHost.java:279)

//   at android.view.ViewGroup.dispatchKeyEvent(ViewGroup.java:748)

** Monkey aborted due to error.

Events injected: 190

:Dropped: keys=0 pointers=11 trackballs=0 flips=0

## Network stats: elapsed time=27954ms (27954ms mobile, 0ms wifi, 0ms not connected)

** System appears to have crashed at event 190 of 200 using seed 0

#

開始monkey測試時android的LogCat輸出的信息:

11-01 08:52:53.712: DEBUG/AndroidRuntime(2077): >>>>>>>>>>>>>> AndroidRuntime START <<<<<<<<<<<<<<

11-01 08:52:53.742: DEBUG/AndroidRuntime(2077): CheckJNI is ON

11-01 08:52:54.453: DEBUG/AndroidRuntime(2077): ---

以下為LogCat輸出的錯誤信息,在以下的信息中首先從自己的包中找錯誤,如果沒有自己的包的話就再找發生錯誤的包的第一個發生了異常。由錯誤提示可以看出很大的可能是因為TabHost引發的異常。經過查看代碼發現是由於TabHost的編寫不規范,TabHost與其中一個view放在了一起,在monkey測試做滾球上下滾動時當滾到TabHost時就發生了異常了。所以把TabHost與Activity分開寫就不會出現些問題了。

11-01 08:53:27.113: ERROR/AndroidRuntime(1973): Uncaught handler: thread main exiting due to uncaught exception

11-01 08:53:27.133: ERROR/AndroidRuntime(1973): java.lang.NullPointerException

11-01 08:53:27.133: ERROR/AndroidRuntime(1973):     at android.widget.TabHost.dispatchKeyEvent(TabHost.java:279)

11-01 08:53:27.133: ERROR/AndroidRuntime(1973):     at android.view.ViewGroup.dispatchKeyEvent(ViewGroup.java:748)

四、總結:

在monkey測試中常用的命令組合有:

1、monkey -p com.yourpackage -v 500//簡單的輸出測試的信息。

2、monkey -p com.yourpackage -v -v  500 //以深度為二級輸出測試信息。

4、monkey -p com.yourpackage -s 數字 -v 500//為隨機數的事件序列定一個值,若出現問題下次可以重復同樣的系列進行排錯。

5、monkey -p com.yourpackage -v --throttle 3000 500//為每一次執行一次有效的事件后休眠3000毫秒。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM