Testin陳冠誠 | 讓用戶留下來是App的核心
怎麼讓用戶在你的網站/APP中留下來是互聯網企業的核心。
對比分析用戶進行過的行為可以幫助你發現高留存率的行為，尋找行為與留存的相關性，還可以通過維度、分群對比瞭解不同特徵的新使用者留存分佈情況，為你的決策提供資料支援。
A/B測試是一種相對比較新的解決方案，怎麼樣使它更好的融入一個企業內部，實際上需要有一套方法論，或者說有一套最佳實踐的流程，這套流程裡面核心是你要圍繞一個目標。
A/B測試最大的核心價值對於一個企業來講其實就兩點，第一點，用資料分析驅動產品反覆運算，為產品的優化獲得確定性的穩定增長。第二點，就是用A/B測試降低產品反覆運算的風險。
近日，北京移動一行訪問Testin雲測，TestinA/B測試首席顧問陳冠誠做了如下演講：
A/B測試針對留存問題發佈新功能
一般我們經常講到的留存率話題是指“新增用戶”在一段時間內“回訪網站/app”的比例。怎麼讓用戶在你的網站/APP中留下來是互聯網企業的核心。TestinA/B測試針對留存問題，在新的版本升級中開發了，以A/B測試為切入點的版本對比用戶留存，它可以更加直接的告訴你哪個設計版本留存率高。
目前TestinA/B測試提供常見的指標有次日留存、三日留存、七日留存。分析使用者回訪網站、App的留存情況，包括新使用者和所有用戶留存分析。通常情況下，使用者在早期流失現象非常嚴重。通過對各個試驗版本的對比試驗，瞭解到最優版本留存用戶與留存轉化率對企業具有重要影響。
產品需要讓使用者快速容易的體驗到產品價值。一旦使用者發現產品對自己的價值，繼續使用和探索產品新功能的概率就會增大很多。對比分析用戶進行過的行為可以幫助您發現高留存率的行為，尋找行為與留存的相關性，還可以通過維度、分群對比瞭解不同特徵的新使用者留存分佈情況，並為您的決策提供資料支援。如下圖一所示：
圖一：TestinA/B測試留存分析報告整體介面
TestinA/B測試留存優勢:
可以即時查詢各個試驗版本的留存率
提供新用戶留存與用戶留存率
提供次日、3日、7日留存
提供多版本對比圖
支援iOS、Android、Web（H5）
TestinA/B測試的用戶留存提供不同試驗版本的用戶留存率，幫助對比衡量核心指標，選出最優的版本。
TestinA/B測試產品如何吸引眾多使用者
A/B測試最大的核心價值對於一個企業來講其實就兩點，第一點，用資料分析驅動產品反覆運算，為產品的優化獲得確定性的穩定增長；第二點，降低產品決策風險。那麼，什麼時候適合做A/B測試，或者說什麼功能適合做AB測試呢？第一，這個產品/功能的決策很困難，某個按鈕到底是放左邊還是放右邊？到底是用藍色還是用深藍色？類似這樣的；第二，影響很大，比如搜尋引擎，搜索結果左移一個圖元，或者右移兩個圖元，點擊量可能高1%，最後收益都相差幾千萬美金。
上圖二是定向分流。什麼概念呢？比如說這幅圖裡邊，北方的用戶和南方的用戶同時訪問這個應用的時候，大家看到不同的頁面，原因是什麼呢？原因就是因為我們基於標籤，用戶是南方人或者北方人，會展示不同的頁面。因為北方比較寒冷，所以他買羽絨服，南方比較潮濕，所以買鞋和雨靴。針對不同的場景，分別發不同的產品給使用者。
上圖是買汽車保險的一個例子：產品在設計上為了使用者體驗好，用戶只需要輸入城市，車牌號和車主姓名，然後就可以點擊“查詢報價”。緊接著他會同協力廠商的資料供應商去查詢車輛識別碼，身份證號碼，發動機號，註冊日期這些資訊。這些資訊如果讓使用者自己去填的話，這個流失率非常高，因為這是網上買車險的流程，使用者如果說當時他手邊沒有這個行駛本，他可能就不買了。協力廠商去買資料有什麼問題呢？協力廠商提供這些資料的公司的準確率不一樣高。
我舉個例子，有的公司在北京是一手資料來源，有的公司他北京是二手資料來源，他為什麼要做A/B測試呢？比如說他把北京所有用戶，申請汽車保險查詢價格的請求，分別分配50%給兩個不同的廠商，回饋結果，我們看哪個準確率高。同時他的API調入次數，單價也是不一樣的，我們再看哪個單價低，最後綜合來評價哪個版本對於北京地區的請求性價比最高之後，再通過我們定向分發的功能，比如說北京地區的人，我就專門找這家供應商，把這個請求發給他，然後上海地區我是發給另一個供應商，就是用定向分發的功能去做。
A/B測試還有一個核心的應用場景：灰度發佈。我給大家講個真實的例子，比如說有個企業，他的APP有一些是H5，H5的話在某一些省市這個頁面會被流量劫持，流量劫持的話他需要做平滑的升級，把這個頁面的介面從http升級到https，要發生這個過程。他怎麼做的？他先選北京地區使用者的5%切到https，這是用標籤定向分流做的。然後觀察三天之後發現，回饋沒問題，然後緊接著把北京地區切到100%，就在北京地區上線了。完了以後再觀察幾天沒問題之後，再選南方，北方所有的地區全部都上線。按地域區分，上線之後沒問題，伺服器也做了調整，接下來全國同時上線。用用戶地域標籤來進行分佈的這種推動發佈，中間一旦有問題，他就可以隨時回滾，而且是即時生效。
上圖這本書是我們團隊的技術負責人剛剛出版的一本技術圖書。這本書介紹了一個新的架構，叫Druid，即時大資料分析的一套架構。為什麼它是一個新技術呢？因為它能做兩件事情：能做即時，並且還能做多維度組合查詢。這是原來傳統的，或者說一兩年前流行的大資料架構做不了的。
什麼叫即時分析多維度查詢？舉個例子，你想即時分析最近7天之內，北上廣深用iPhone7的用戶，你想對A版本，B版本查看點擊量轉化率的區別。所以剛剛這是很多組合條件形成了這樣一個組合查詢，同時你還要求即時能看到，而且你還要各種各樣的組合查詢，你今天看的是這個，明天你還想看最近三天之內，或者最近兩個小時之內，北京地區使用iPhone6的使用者A版本B版本轉化率的區別，那這種靈活的、多維度組合查詢就特別適合這種場景。
在國內，這個技術原來只有英文比較好的，像Testin技術總監，或者是騰訊，阿裡的，小米的人做。因為國內缺乏中文資料，原來資料第一手全是英文的，所以我們這幾年跟小米還有阿裡的總監，或者是工程師一塊寫了這本書，就為了把這個技術引到中國，這是技術先進性代表。
給大家看最後一張圖：這是我們整套企業內訓裡面的課程。我就拿出一頁來講，為什麼要拿出這一頁來講？實際上這就是一個最佳流程。因為我們講過A/B測試是一個相對比較新的東西，怎麼樣更好的融入一個企業內部，實際上需要有一套方法論，或者說有一套最佳實驗的流程，這套流程裡面核心是說你要圍繞一個目標，然後做四個動作：
分析問題
提出想法
重要性排序
A/B測試
這個課程裡面其實細節非常多，我就先講一個小點：比如說就講目標這一件事情，你要去做A/B測試，它的目標一定是可以量化的小目標。我舉個反例，什麼叫不適合A/B測試的目標？例如，“將移動手機營業廳的掌廳充話費交易額增加30%”，這是很好的目標，這是個大目標，但它不是可量化的小目標，也就是說它無法拆解成一個個可以落地的A/B測試實驗。
什麼是可以拆解的目標呢？比如，我現在就是想把我首頁裡面這個分享按紐小圖示做一個優化，讓它的新版本能夠把這個小圖示的分享按紐圖示點擊量提高20%，這個是可量化的小目標。那什麼叫不可量化的呢？我舉另外一個反例，我想讓我APP的用戶滿意度提高20%，這做不了一個A/B測試，因為這個是偏定性的目標，不太好量化。
Testin是全球“一站式移動應用雲測試服務”領導者，為移動應用、遊戲、VR/AR、可穿戴、物聯網、人工智慧開發者提供必需的一站式應用測試服務和品質保證。Testin雲測通過深度機器學習的人工智慧自動化腳本完成移動應用在雲部署真機上的功能、相容性、回歸、安全的自動化測試、真機調試、A/B測試及Bug缺陷管理，Testin眾測通過遍佈全球的共用測試專家對應用進行功能、用戶體驗、場景和可用性測試，TestinPro自動化測試私有雲集成相容、真機調試、功能測試、性能撥測、應用及測試管理進行私有化部署。Testin目前已經持續服務超過80萬開發者，為超過200萬個應用進行了超過1.5億次測試，累計3輪融資超過8000萬美元，與ARM、Intel、Google、IBM、微軟、阿裡、騰訊、360、小米以及全球眾多的移動互聯網生態企業建立了良好的合作與溝通關係，先後被評為清科2014年、2015年中國最具投資價值企業50強，德勤2015年、2016年中國高科技高成長50強，RedHerring紅鯡魚2014年亞洲100強和2015年全球100強。更多安全資訊與服務，請持續關注Testin安全，面向開發、QA團隊的持續滲透人工智慧機器學習安全測試驗證服務。