自動化測試框架 Totoro 是由螞蟻金服終端工程技術(shù)部實驗平臺技術(shù)組自主研發(fā)的一套自動化測試框架，支持 Android 、 iOS 、 HTML5 、 小程序 、 Weex 、 Cube 等移動端自動化測試場景。
創(chuàng)新互聯(lián)建站是一家專注于成都網(wǎng)站設計、成都網(wǎng)站制作與策劃設計,雙遼網(wǎng)站建設哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設十年,網(wǎng)設計領(lǐng)域的專業(yè)建站公司;建站業(yè)務涵蓋:雙遼等地區(qū)。雙遼做網(wǎng)站價格咨詢:18980820575
為了確保螞蟻金服移動測試平臺在集群環(huán)境下能夠穩(wěn)定、高效運行自動化任務，并靈活快速支持多場景域內(nèi)業(yè)務，Totoro 經(jīng)歷了從 0 到 1，從 1 到 2，并逐步演進到目前支撐阿里域內(nèi) 10+ BU 日常自動化測試及結(jié)合移動開發(fā)平臺 mPaaS 對外輸出，成為集團內(nèi)使用面最廣、性能最為穩(wěn)定的自動化測試框架之一。
本文將圍繞 Totoro 一路踩坑、迭代完善成熟的過程，從沉淀總結(jié)的一些方法論和解決方案展開分享：
螞蟻金服移動測試平臺最開始引用了 Appium 開源解決方案，但由于其部署復雜、接口不穩(wěn)定、設備掉線、多層服務鏈路、社區(qū)維護不夠迅速等種種問題，綜合評估業(yè)內(nèi)類似框架都有共性的痛點，因此我們決定重新設計一套適合云測集群環(huán)境、滿足域內(nèi)不同業(yè)務需求快速迭代更新的解決方案。
基于已有的痛點，我們認為 Totoro 從設計上需要滿足“調(diào)用鏈路盡可能短”、“項目結(jié)構(gòu)盡可能簡單透明”等特點，從而確保測試鏈路上的不穩(wěn)定因素盡可能少。同時，綜合考慮異常情況下，我們需要能夠快速定位問題，并具備一定的自修復能力。結(jié)合業(yè)內(nèi)多個框架普遍采用三層或多層的設計，Totoro 最終被設計成了 C/S 模型的兩層架構(gòu)。
兩層架構(gòu)的設計理念實際上為 Totoro 帶來很多優(yōu)點，比如：
面對螞蟻云測集群自動化嚴格的要求，穩(wěn)定性的問題依然浮出水面，成為 Totoro 不得不解決的一道難題。
在自動化任務的任何鏈路節(jié)點都有可能發(fā)生異常，所以穩(wěn)定性實際上覆蓋多個層面，比如：
接下來我們從以上 5 個方面闡述在整個調(diào)用鏈路上我們都做了那些努力。
1. 程序異常全面治理
Totoro 框架在前期開發(fā)中，日常維護需要投入極大精力，每日要面臨框架自身缺陷引起的異常和各種業(yè)務自身的異常問題。同時，各類異常問題要求人工篩選，從而推動框架自身及業(yè)務方去解決。由此帶來的結(jié)果是，大部分云測任務因為這類代碼問題而引起終止，導致測試開發(fā)不夠穩(wěn)定。
為了改善任務異常帶來的不穩(wěn)定因素，杜絕框架自身 SDK 問題，并且業(yè)務異常能夠做到智能分類，我們首先做了一次全類型異常堆棧的上報統(tǒng)計。根據(jù)后臺統(tǒng)計數(shù)據(jù)可以大概分為“業(yè)務層邏輯異常”和“SDK 層異?！?，針對發(fā)現(xiàn)問題，我們集中投入專項研發(fā)精力，修復框架邏輯不合理引起的異常，杜絕 SDK 自身問題；針對海量業(yè)務異常，我們做了一層抽象歸類，將業(yè)務異常邏輯歸類為明文提示并給予一定推動建議，并且添加檢測點狀態(tài)校驗；針對某些偶現(xiàn)異常，重腳步層做一次重試提示用例結(jié)果成功率。
在程序異常治理過程中，我們發(fā)現(xiàn)業(yè)務用例大多都需要在程序各個運行階段封裝一些業(yè)務邏輯，然而 SDK 層也會有一定的初始化過程，通過 JUnit run 起來的用例一旦業(yè)務封裝或SDK層接口調(diào)用實際不對，就有可能引起程序不穩(wěn)定現(xiàn)象。因此，Totoro 框架更加現(xiàn)有的業(yè)務需求現(xiàn)狀，及日常已發(fā)現(xiàn)的問題，自身定制了一套規(guī)范的 Totoro 用例生命周期，業(yè)務用例可以在鉤子方法中封裝各個節(jié)點的邏輯。
2. 手機宿主服務穩(wěn)定性保障
Totoro 框架在手機中的核心服務（TotoroUiautomator/TotoroWDA）在用例執(zhí)行過程中，會發(fā)現(xiàn)鏈接失敗、服務不可用等情況，這種不穩(wěn)定因素更多是系統(tǒng)限制造成的，能做的就是在恰當時候重啟服務，保障整個自動化流程正常進行。
3. 手機穩(wěn)定鏈接策略
手機掉線問題是自動化任務流程中必須面對的問題，Totoro 聯(lián)合螞蟻云測平臺采用了一套軟硬件全鏈路的設備在線保障服務。
Ⅰ. 軟件鏈路上的掉線恢復能力
軟件鏈路上的能力是指集成在 Totoro Client 端的一套設備恢復方案，嵌入在底層通信接口處，一旦發(fā)現(xiàn)設備掉線，可以通過遠程網(wǎng)絡服務，發(fā)送消息到手機中的核心服務，通過設備 owner 權(quán)限重啟手機 ADB，如果依舊失敗將進行 PC 端鏈路的 usbreset。
正常情況下，三次重啟內(nèi)手機 ADB 幾乎都能恢復。個別情況恢復失敗的，會有現(xiàn)場詳細信息上報，且會觸發(fā) changedevices 策略更換手機重新執(zhí)行測試任務，保障流程正常。如果根據(jù)歷史上報數(shù)據(jù)統(tǒng)計，分析老舊設備處于經(jīng)常掉線的不穩(wěn)定狀態(tài)，會采取降級措施，調(diào)換到對鏈接要求低的設備池中（如 monkey 池）或下線操作。
Ⅱ. 硬件鏈路上的設備鏈接護航能力
在硬件鏈路的穩(wěn)定性構(gòu)建中，大多云測平臺選擇購買質(zhì)量較好的 USB Hub。然而螞蟻云測平臺目前要面臨每日 7k+ 級別的自動化任務和 mPaaS 金融云級別的用例穩(wěn)定性挑戰(zhàn)，經(jīng)過實驗，市面上再好的設備也無法達到的所有工程需要的質(zhì)量標準，并且缺少智能控制模塊。因此螞蟻終端工程技術(shù)部實驗平臺組自研了一套 SmartHub，具備獨立穩(wěn)定的供電模塊，每個端口可遠程程序自動控制（電壓/電源/重置等）。目前為止 SmartHub 已經(jīng)全面量產(chǎn)并投入使用，效果圖如下：
4. 設備網(wǎng)絡穩(wěn)定性
設置網(wǎng)絡服務的穩(wěn)定提供，我們主要做了以下幾方面嘗試：
5. 多維度策略 提升用例成功率
在真實的用例構(gòu)建環(huán)境中，需要有很多細節(jié)策略點保障整個服務的穩(wěn)定運行，這里主要羅列幾條主要的方案：
螞蟻云測自動化執(zhí)行集群環(huán)境中，應用全自動智能安裝是最常見場景之一，然而 Android ROM 的碎片化和各個廠商的定制化，導致在安裝過程中需要適配各種各樣的彈窗；甚至部分廠商需要登錄態(tài)且要求輸入賬號密碼，導致在數(shù)以千計的機型集群環(huán)境中全自動智能安裝應用成了一個挑戰(zhàn)。如下圖部分安裝彈窗場景：
1. 技術(shù)選型
Totoro 框架的自動化服務能力是基于 Uiautomator2 深度定制的，因此整個服務會以 APK 形式安裝在手機端。要做到一套完整的全自動安裝方案，就必須拋棄在 Totoro 服務 APK 里實現(xiàn)。
最終，我們采用了可以獨立在手機中免安裝直接運行的 Uiautomator1 方案進行實現(xiàn)，作為獨立的安裝彈窗處理專項進行迭代更新。
針對國內(nèi)機型及云測機房全線機型，安裝彈窗專項項目，前期以全覆蓋的方式抽象彈窗點擊規(guī)律，dump 頁面控件信息，查找關(guān)鍵字，做了機型緯度的適配，并且在每個任務有安全失敗報警機制，研發(fā)人員能夠快速兼容問題機型，及 UI 變更。
最終實現(xiàn)了一套可以處理大部分 ROM 安裝彈窗場景的持續(xù)迭代的智能安裝彈窗處理方案。
2. 智能盲點
由于整個彈窗處理依賴與 dump 控件信息邏輯，某些廠商（華為、vivo、oppo 等）為了防止黑產(chǎn)及其他安全考量，部分安裝鏈路上的彈窗頁面會禁止 dump 功能，導致我們獲取不到頁面信息，而無法判斷應該點擊的頁面坐標信息。
針對該場景，我們對機房的手機做了大量的安裝調(diào)研，發(fā)現(xiàn)彈窗的 button 出現(xiàn)的位置區(qū)域和意義是有一定規(guī)律的，有些需要服務重啟才能 dump 控件信息，有些是按照版本及機型呈現(xiàn)規(guī)律的 UI 樣式，有些需要特殊的手機 Action 才能獲取相應事件。我們將這些規(guī)律進一步抽象分類，做了一套智能盲點邏輯，針對無法 dump 到的場景具備拓展兼容的能力。
3. 算法輔助實踐
智能盲點在個別規(guī)律沒有考慮周全的場景下仍然會出現(xiàn)失敗的情況，那么，如何構(gòu)建一套自適應的能力呢？
因此，我們在思考是否可以結(jié)合 AI 能力來智能分析頁面信息，由算法結(jié)果提供具體的點擊路徑方案，從而快速兼容遺留場景。
目前結(jié)合 OCR 服務，Totoro 具備智能分析界面信息，精準獲取點擊目標坐標，完成彈窗處理的能力。后續(xù)將結(jié)合深度算法實踐，采用安裝場景模型數(shù)據(jù)，讓算法直接給出操作建議，完成整個場景的自適應兼容方法。
4. 云測效果視頻
目前自動化安裝組件經(jīng)過多緯度的場景兼容，已具備一定自適應能力，能夠完成日常自動化安裝任務，目前已處于極低成本的維護狀態(tài)。除了應用在日常自動化任務中，該功能也嵌入了云測平臺的遠程租用功能，以下是安裝效果：
移動自動化測試過程中的各種手機彈窗是影響用例穩(wěn)定性執(zhí)行的重要因素之一，面對各種類型及場景的彈窗，Totoro 框架中自研了一套全場景的彈窗治理方案：
1. 深度改造安卓 Watcher 接口
異常彈窗的處理中，安卓框架中給出了 UiDevice.registerWatcher 接口方案。但是我們實際使用中發(fā)現(xiàn)，這個接口回調(diào)不是穩(wěn)定的，更加官方解釋,當自動化過程中查找一個控件失敗時候才會觸發(fā)回調(diào)。
為了能夠構(gòu)建多場景的監(jiān)聽機制，必須要有一套頁面監(jiān)聽的穩(wěn)定回調(diào)接口。經(jīng)過翻看 UiWatcher 相關(guān)源碼發(fā)現(xiàn)，可以通過 hook，主動觸發(fā) runWatchers() 。而我們需要做的，還需要在頁面彈窗變化時，穩(wěn)定觸發(fā)該接口。
安卓 Accessibility 服務可以通過注冊，監(jiān)聽彈窗或者頁面甚至一個細微的控件變化，為了性能均衡，只需注冊彈窗變化回調(diào)事件即可。這樣一套穩(wěn)定的彈窗監(jiān)聽回調(diào)機制就構(gòu)建好了。
2. 多維度注冊監(jiān)聽
有了保障 registerWatcher 接口的回調(diào)穩(wěn)定性的機制，那個我們就可以依賴這個接口去監(jiān)聽頁面UI的變化，做到穩(wěn)定處理頁面彈窗。結(jié)合業(yè)務需求及日常用例場景，Totoro 框架中可以針對以下緯度來監(jiān)聽頁面變化，做到幾乎全場景的彈窗治理。
3. 機器學習圖像檢測方案
然后面對無法 dump 到控件信息的非 Native 頁面（H5 /小程序），就需要結(jié)合機器學習的方式，采用算法能力去分析頁面 UI 結(jié)構(gòu)，去處理頁面中可能的異常彈窗。
Totoro 算法同學自研了一套控件 dump 算法能力，脫離平臺及頁面渲染方式，可以將 App 截圖通過算法生產(chǎn)頁面原始控件圖，滿足非 native 場景的彈窗處理。
目前機器學習的分析能力仍然在快速迭代中，除了應用在彈窗頁面分析處理外，還應用在頁面異常類型檢測（包括加載失敗、控件截斷黑白屏等），已成功落地小程序日常準入和支付寶錢包日常兼容性等重要業(yè)務線中，后續(xù)會推廣到更多的業(yè)務中去，讓 AI 賦能不是一句空話。
Totoro自動化測試框架從立項到現(xiàn)在已經(jīng)走過近三個年頭，目前仍然處于快速迭代時期。最近一年，項目自身穩(wěn)定性質(zhì)量有了質(zhì)的提升，在與螞蟻云測平臺共同努力下，越來越多的域內(nèi) BU 選擇螞蟻云測和 Totoro 作為移動自動化云測方案。
規(guī)劃
為更好的支撐域內(nèi)及 mPaaS 移動自動化測試測試技術(shù)，高效輸出 Totoro 實驗 SDK ，我們還有很多事情可以完善。
未來，我們將從以下幾個場景發(fā)力，朝著 規(guī)范化 、 可擴展 、 多語言平臺 、 插件化方向 繼續(xù)努力發(fā)展。
重慶分公司
重慶分公司
