淘新聞

一站式測試,Testin Bug探索如何快速發現Bug?

幾乎一夜間,唯快不破的互聯網思維成為眾多企業心中的痛,對於移動互聯網產品“反覆運算的速度就是生命”的說法更是又愛又恨。“快”、或者說是“快速反覆運算”成就了具備互聯網基因的滴滴、摩拜們,他們成功了;但“快”也成就了更多轉型移動互聯網+企業的失敗。有分析稱,這些失敗企業的共性只是披著互聯網思維的外衣,並沒有掌握其精髓,照貓畫虎,沒有從根本上轉變自己的思維及業務模式。“APP也做了”、“H5也玩了”、“新媒體也沒少做”,“但就是沒有成效”,所謂的“快”成了他們的負擔。

有調查顯示,近3年以來,大量的傳統企業試圖跟上移動互聯網的趨勢,著手了在移動互聯網方向轉型的工作,許多企業還沒踏入移動互聯網大門就死在了沙灘上。資料顯示,這些企業的移動應用(APP、H5應用、微信公眾號應用)往往倒在APP品質保障這第一道關卡。眾所周知,品質差,動輒出現閃退,卡頓,報錯這種Bug的APP不僅僅會受到用戶的大量差評,嚴重的甚至無法上架AppStore。而這恰恰是傳統企業轉型互聯網+進程中最不擅長的部分。

2017年3月17日微軟曾表示,由於3月份補丁中存在bug,會導致部分使用者電腦系統淩亂,出現無法啟動現象,同時經過仔細排查發現,非系統級Bug,僅是Get Office應用導致的。

強大如微軟,傳統的測試方法也無法確保其程式沒有問題,甚至帶來災難,那麼APP的品質保障如何做?如何投入最小的成本,用最少的測試時間提高測試效率,快速的測試APP應用的Bug則成為大量APP開發商急需解決的問題。

來自APP測試領域權威機構Testin的資料顯示,企業APP測試面臨如下難題:

時間緊,每次上線留給測試人員的時間不夠;

不專業,沒有成體系的測試經驗和人才儲備;

定位難,很難通過問題描述快速修復問題;

有遺漏,測試上線後發現仍然有很多用戶投訴;

針對以上難題,作為APP測試領域的全球領導者,Testin有自己的解決之道。Testin雲測一站式測試之Bug探索為2015年推出的APP測試服務,從第一個版本至目前已500天,累計服務數萬企業,説明客戶查出超過300萬個高品質的有效Bug。這其中就有互聯網領域的領頭羊秒拍,有道等;在傳統企業邁向互聯網+領域,國美、京客隆、永輝、百聯等大型零售企業也是其忠實用戶;而像中國日報、氣象局、鏈家、CCTV、解放軍報、恒大、紅星美凱龍等傳統巨頭也與時俱進的採用了這一高效的移動互聯網服務。

Testin雲測一站式測試之“Bug探索”服務,是一項高度適配移動互聯網應用產品的探索性測試服務,其有機整合了自由式探索式測試、場景的探索式測試、基於策略的探索式測試和基於回饋的探索式測試為一體,全方位解決APP的Bug。客戶提交了“Bug探索”測試需求以後,Testin雲測一站式測試服務平臺則會迅速組建一支位於雲端的15人專業測試團隊,通過成體系的測試業務流及專業技能,在24小時內説明客戶查找APP的Bug;

Testin雲測一站式測試服務之Bug探索服務擁有以下特點:

以需求為基準,以測試體系為規則

Testin Bug探索服務會深入瞭解相關需求並理解需求文檔內容。測試者基於用例測試,但不完全按照用例執行順序進行測試,通過將用例混合交叉進行操作發現潛在問題;“有專業測試體系的展開測試,這也是我們計畫用Testin Bug探索服務的初衷,用經過考驗的測試流程,通過專業的測試工程師而不是完全沒測試經驗的運營,查缺補漏,確保所有Bug都控制在一個可以讓用戶接受的範圍之內,正確的測試態度才有可能得到正確的測試結果”,某Bug探索客戶說。

由BAT測試工程師完成測試

Testin Bug探索服務平臺上囤積了超過16萬經過嚴格審核、考試、升級、評定的測試工程師來執行交付。這些人起點為5年APP測試經驗,大都來自一線IT公司的專業測試人員,如以及大量頂尖的專業外包公司人員。通過對這些測試工程能力經驗、專業方向、歷史專案以及客戶的點評,Testin的Bug探索2.0服務建立了一個基於Bigdata系統的龐大測試資源池,可以根據客戶APP的情況和需求,篩選匹配最為合適的測試工程師。“

24小時交付測試報告

從客戶提交測試需求到最終拿到完整的APP測試報告,Testin Bug探索的交付時間只需24小時;該測試報告會以非常清晰的邏輯展示該APP有多少Bug,分別是什麼Bug,並且以“致命”、“嚴重”“缺陷”、“瑕疵”、“建議”來區分Bug的嚴重程度,方便開發人員按需修復;同時報告還包含測試過程中所有的截圖、Log日誌以及操作視頻供。

為什麼是一隻15人的測試團隊來執行Testin Bug探索服務?Nielsen Norman 諮詢集團的董事Jakob Nielsen 博士在 2000 曾指出在一項有N個測試人員參與的測試中,能夠找到的相關問題的數量是:N(1-(1- L) ^n )其中,N是該產品的問題的總數,L 是測試單個測試人員所能發現的問題占通過他發現的問題總數的比例。通常,L 的值為 31%,這是研究大量項目後計算出的一個均值。如果取 L 為 31%,將上述公式表示成曲線,則如下圖:

上面的曲線明確顯示,83%的問題只需要5位測試人員, 15 位測試人員能夠發現幾乎100%Bug。

一位做旅遊APP的企業主表示,自己曾經為快速反覆運算付出沉重代價,“現在大家都追求快速反覆運算,但我覺得任何事情都有一個度。快速反覆運算不是蘿蔔快了不洗泥。快是相對的,帶著一堆Bug快速發佈APP明顯是找死的節奏。現在APP獲取用戶成本那麼高,我不認為給產品上加一個Beta的標誌,使用者就不會因為崩潰把我的APP卸載掉,過於高估用戶的耐心,也太不把用戶的時間成本當回事。我覺得這個是一個誤區。不要奢望用戶幫你試錯,憑什麼?大家都很忙,好產品那麼多,沒有人放著好的產品不用去玩一個一堆Bug的垃圾貨。不要試圖把自己的測試成本轉嫁給用戶,所有人都在追求極致用戶體驗,可是給用戶一堆使用成本,他不可能有好的體驗,所以我覺得快速反覆運算的真正含義是,沒毛病的快速反覆運算才有價值。” Testin的Bug探索服務則為這一觀點建立了切實可行的辦法,通過專業性確保在快速測試的前提下,Bug的有效率。

Testin是全球“一站式移動應用雲測試服務”領導者,為移動應用、遊戲、VR/AR、可穿戴、物聯網、人工智慧開發者提供必需的一站式應用測試服務和品質保證。Testin雲測通過深度機器學習的人工智慧自動化腳本完成移動應用在雲部署真機上的功能、相容性、回歸、安全的自動化測試、真機調試、A/B測試及Bug缺陷管理,Testin眾測通過遍佈全球的共用測試專家對應用進行功能、用戶體驗、場景和可用性測試,Testin Pro自動化測試私有雲集成相容、真機調試、功能測試、性能撥測、應用及測試管理進行私有化部署。Testin目前已經持續服務超過80萬開發者,為超過200萬個應用進行了超過1.5億次測試,累計3輪融資超過8000萬美元,與ARM、Intel、Google、IBM、微軟、阿裡、騰訊、360、小米以及全球眾多的移動互聯網生態企業建立了良好的合作與溝通關係,先後被評為清科2014年、2015年中國最具投資價值企業50強,德勤2015年、2016年中國高科技高成長50強,Red Herring紅鯡魚2014年亞洲100強和2015年全球100強。