Testin徐琨 | APP測試是找Bug，不是找茬

作為一名APP測試工程師，許多人一定經歷過這樣尷尬的場景，欣喜的跟專案組彙報發現的Bug時，被開發說“這不是BUG，你操作有誤，就是這樣設計的”，被產品說“不懂業務”，被項目經理說：“馬上就要發版了，不要再關注這些無關緊要的問題”。上線後又被老闆指責“為什麼這麼多問題，怎麼在測試階段沒有發現”。

到底哪裡出錯了？Testin總裁徐琨曾指出，無論專案經理、產品經理、開發工程師或是測試工程師，做出好產品的目標是一致的，但為什麼會有隔閡呢？哪些Bug才是大家最關注的？哪些Bug是不應該被提出來的？做到什麼程度產品才能上線？一位做直播APP的CEO廉潔表示，在早期沒有測試團隊的時代，她的公司是通過運營人員、產品人員和使用者來完成APP的品質測試，但實際上，缺乏系統有效的測試經驗，測試的結果往往帶來困擾，一方面，運營人員和用戶提出了並不能稱之為Bug的回饋，這種低品質的Bug嚴重干擾致命級Bug的修復工作，另一方面，由於缺乏專業性，真正致命的Bug往往在上線之前沒有被發現。“這種模式，有時候不做測試反而比做了測試更好”。她表示。“如果我們組建測試團隊或者採用協力廠商測試服務，我們需要這種機制能提供更多重要的高品質有效Bug，並且有成體系的測試機制，能夠在專案整體的角度考慮APP的測試，幫助開發定位並修復問題，要具備強大的業務認知能力”。

徐琨認為，在APP的整個生命週期中，不同的階段對Bug有效性的定義完全不同。在專案初期和發展期，APP剛剛研發完成或上線一些重要功能模組，存在很多品質問題，專案組會集中全部資源優先解決核心業務功能的完整性和正確性等嚴重影響用戶使用的問題，對於APP易用性的、介面提示友好性的、極限操作時引發的與核心業務無關的Bug，是沒有足夠的精力和心情進行處理的。然而，到項目穩定期，僅一些小的版本反覆運算上線，之前被忽視的一些問題也會成為大家關注的焦點，因為這些問題極有可能會在他們真實的用戶身上發生。

找到APP有效Bug的手段有很多種，基於產品設計文檔進行功能用例編寫，然後進行逐一驗證，是最系統有效的方式。它可以精准的發現APP在核心業務上存在的缺陷。大多數有QA團隊的公司，測試人員主要精力都用於執行用例。正如它具備顯著的優點，它的不足也同樣明顯。這種測試方式受限於測試人員對業務的理解程度，與真實用戶的使用場景存在一定的差異，導致測試範圍存在盲區。很多企業，在上線前會動員產品、開發、市場等員工進行一輪自由測試，或者引入部分真實使用者進行灰度測試，來彌補這方面的缺失，然而，這樣獲得的Bug的全面性和可定位修復性存在嚴重的問題，徐琨表示。

Testin雲測一站式測試服務之Bug探索測試正是一種脫離用例，由大量專業測試者基於用戶使用角度進行的探索測試模式，可以很好的覆蓋內部測試無法觸及的思維盲區，同時提供精准的測試環境、測試前提、複現步驟、缺陷複現率、操作視頻、截圖和日誌等資料協助修復。Testin Bug探索測試服務是結合客戶APP所處的品質階段，使用最有效的測試方法找到客戶當前最關注的問題。整個測試不需要測試用例，由1名具備5年以上所屬行業測試經驗的測試專家，根據客戶APP所出的品質階段定制測試計畫，帶領15名3年以上測試經驗的測試工程師完成測試工作，廉潔說。幾經周轉，他們採用了Testin雲測一站式測試服務之Bug探索服務。

在APP發展到初期，Testin會建議Bug探索測試更多的發現核心功能業務問題，例如，由程式引起的死機、閃退、閉環和資料鎖死等問題，因錯誤操作導致的程式中斷問題和功能實現不完善問題，與資料庫連結錯誤、資料流程轉錯誤、資料計算錯誤和程式介面錯誤等問題，輸入限制未放在前臺控制、重點的刪除操作未給出提示等介面明顯問題，主流使用者機型的相容性問題等嚴重影響用戶使用的Bug。

當APP發展到一定階段後，Testin會建議客戶除了核心功能業務問題的發現，還需要使用邊界值、網路切換和極限操作等非常規性測試方式，對APP健壯性進行測試，同時找出顯示格式不正確和輸入不規範等介面一般性錯誤，更多小概率性Bug的發現和低配置機型情況下的相容性問題的覆蓋。

Testin Bug探索測試不是隨機找茬，是根據APP所處品質階段，發現更多隱藏缺陷，給出開發人員真正有用的Bug而不是一堆無關緊要的問題。

Testin是全球“一站式移動應用雲測試服務”領導者，為移動應用、遊戲、VR/AR、可穿戴、物聯網、人工智慧開發者提供必需的一站式應用測試服務和品質保證。Testin雲測通過深度機器學習的人工智慧自動化腳本完成移動應用在雲部署真機上的功能、相容性、回歸、安全的自動化測試、真機調試、A/B測試及Bug缺陷管理，Testin眾測通過遍佈全球的共用測試專家對應用進行功能、用戶體驗、場景和可用性測試，Testin Pro自動化測試私有雲集成相容、真機調試、功能測試、性能撥測、應用及測試管理進行私有化部署。Testin目前已經持續服務超過80萬開發者，為超過200萬個應用進行了超過1.5億次測試，累計3輪融資超過8000萬美元，與ARM、Intel、Google、IBM、微軟、阿裡、騰訊、360、小米以及全球眾多的移動互聯網生態企業建立了良好的合作與溝通關係，先後被評為清科2014年、2015年中國最具投資價值企業50強，德勤2015年、2016年中國高科技高成長50強，Red Herring紅鯡魚2014年亞洲100強和2015年全球100強。