您的位置:首頁>手機>正文

八位滴滴工程師QCon七場演講精華大全

4月18日消息,全球頂級技術盛會QCon於4月16日-18日在北京舉行,滴滴派出了重要技術崗的8位工程師現場發表了7場主題演講,小編在QCon現場認真仔細聽完了這7場演講,將這支豪華技術軍團的內容精華歸納總結出來,分享給大家。

滴滴出行技術專家 任玉剛

演講主題:VirtualAPK

VirtualAPK是我們推出的一款Android平臺上的外掛程式化方案,通過VirtualAPK,可以讓APP無需重新發版即可上線新功能。

之所以做這件事,是因為傳統的開發流程中,APP進行版本反覆運算的時候,有著嚴格的時間週期的要求,必須在規定的時間點完成功能開發,也必須在規定的時間點完成管道投放,這就讓APP的版本反覆運算有了一定的限制,無法做到APP的隨時更新,於是我們開發了VirtualAPK,通過VirtualAPK,APP發版將不再有時間點的限制,可以隨心所欲地按需更新。

為了實現這一功能,我們首先將一個APP拆成兩個部分,分別為宿主和外掛程式,其中宿主中沒有或者只有少量無需更新的邏輯,而所有的業務邏輯代碼則位於外掛程式中,每次APP更新的時候,我們只需要更新外掛程式即可。在技術上,通過Android的動態載入機制來載入外掛程式,並完成了對各個版本Android系統的攔截,使得外掛程式的開發和傳統的Android開發保持一致,支援外掛程式的代碼、資源訪問,並支援四大組件。

滴滴高級軟體工程師 劉建輝

演講主題:滴滴即時平臺架構實踐

我們構建了一套即時平臺,這套管理平臺幫助公司業務用戶快速進行即時業務開發。即時平臺使用者無需瞭解大資料相關元件的使用方式,關注具體的實現細節,借助於平臺的能力,就能快速的完成即時應用的開發部署。

起初,業務人員如果想推出一套即時業務,需要自己完成資料的採集、資料的傳輸、資料的ETL、資料的消費處理;需要自己處理各種細節,維護整個集群元件;開發門檻高、系統調試難,造成工作開發週期長;同時也造成了公司資源的浪費。

為了縮短使用者的開發週期,我們把資料的採集、資料的清洗和聚合、olap查詢、日誌檢索以服務的方式嵌入到即時平臺當中,遮罩了底層的細節處理,降低開發門檻;同時完善了整個資料連結流量和延遲的監控告警;業務人員無需關注中間資料的處理過程,只需要專注於自身的業務場景開發即可;通過構建資料地圖,提高資料的複用,減少資源消耗;同時我們總結了一套流式領域方面的最佳實踐,讓用戶更快、更輕便的完成即時化處理流程。

滴滴技術專家 楊明川

演講主題:全鏈路壓測在滴滴的實踐

滴滴全鏈路壓測實踐的主體思路是,在虛擬國家內,使用虛擬乘客/司機在完整的線上環境完成交易流程。

我們需要解決三大問題,包括虛擬資料構造:虛擬乘客/司機,虛擬場景,虛擬App;流量標記:http/thrift協定, mysql/codis/rockstable協定;存儲隔離/清理:持久化存儲,緩存。

關於虛擬資料構造的關鍵點是虛擬乘客/司機: 基礎資訊複製,ID編碼偏移;虛擬場景:地圖資訊複製,經緯度/城市ID偏移,真實國家的完全虛擬;虛擬App:完全的程式類比,構造成千上萬司機;

流量標記的關鍵則是:搭建trace通道,建設trace標識;分協議處理trace傳遞;

存儲隔離/清理的關鍵是:持久化存儲:影子表/影子TOPIC/影子KEY;緩存:過期時間控制。

滴滴出行品質部架構師 葉傑

演講主題:全鏈路壓測工具端介紹

為了檢測線上的抗壓能力,我們模擬了海量的“機器人”,他們具有類似實際用戶的位置分佈、行為,如發單、取消單、接單、完成訂單、支付等,在虛擬的中國形成一個生態,宏觀產出了接近線上真實比例的壓測流量。

在這一模擬過程中,核心技術亮點包括:動態可配置的狀態機控制機器人的行為;根據線上流量資訊控制各行為的比例配比;根據歷史訂單資訊控制各機器人的發單位置;兩級擴容及多ip綁定支撐了海量的機器人長連接。

滴滴品質部架構師 邢沛

演講主題:異構系統鏈路追蹤

我講的主題是異構系統鏈路追蹤(trace)在滴滴的實踐經驗。滴滴一直在做後端系統服務化改造,服務化改造給系統帶來各種好處,同時系統本身複雜性也在提高,跨進程調用增多,端到端的交互變的複雜,調用棧涉及的模組越來越多。

另外,我們追查和回溯badcase的難度也隨之增加,而問題的定位也會強依賴日誌記錄的內容和品質。在這樣的背景下我們實踐了業務日誌規範化和trace機制引入的工作,並進一步使得業務系統具有日誌檢索能力、鏈路追蹤能力和通用資訊透傳能力。具體我們做了以下三件事情:

1、日誌規範化:我們配套了多語言日誌元件,列印內容符合標準的業務日誌。 配套規範化業務日誌搭建流式處理和存儲、檢索系統。

2、將trace機制落地:在一個核心模組日升級量幾百的子系統,一個多語言、異構框架、缺少RPC中介軟體的複雜系統。將trace機制在複雜環境落地,進而如何提供一種有效的問題定位方法。

3、資料應用:在規範日誌和trace機制的基礎上, 提供調用鏈跟蹤,場景還原,專項分析等服務協助定位線上badcase。同時也借助資訊透傳通道,完成重要的業務和系統功能。

滴滴技術專家 張禾

演講主題:基於Docker的雲端?效研發之旅

研發雲是基於Docker的雲服務,服務于開發和測試人員。

首先,對於研發團隊而言,服務端開發和測試環境搭建困難是常見的痛點。伴隨著微服務架構的逐漸流行,這個痛點會愈發的明顯。

通過研發雲,我們為各個團隊了提供標準、可一鍵部署的服務端環境,使得:

1. 服務端環境的構成一目了然,易於管理和演進,不再是難以維護的黑盒狀態;

2. 極大的降低了服務端環境的搭建門檻,可以自助的獲得環境,不必瞭解細節;

3. 極大的縮短了服務端環境的準備時間,典型情況下能從天級別下降到分鐘級;

4. 有效的提高了服務端環境的一致性,可以避免很多由於環境差異導致的問題。

此外,伴隨著各種自動化驗證手段的不斷豐富,其運行效率也成為不少團隊的痛點。

通過研發雲,我們提供了以雲測為代表的服務。通過智慧分組、快速複製以及並存執行等手段,極大的提升了自動化測試的運行速度,為業務功能的快速反覆運算保駕護航。

滴滴新業務四部高級專家工程師 蔡嘯

演講主題:大規模路徑引擎集群的架構演化

滴滴的業務初期主要使用協力廠商的路線服務來滿足最基本的業務需求,但是隨著業務的發展,對於路線服務的請求量越來越大,性能要求越來越高,協力廠商服務已經無法滿足滴滴核心業務的需求。

為此我們結合自身的業務場景自建了路線服務來滿足我們核心場景的高併發,低延時需求。我們主要通過優化演算法,簡化模型的方法來對核心系統的性能進行了大幅的優化。

同時設計了一套多層的架構,使得業務流量無需感知訪問的具體服務,從而實現了業務流量的無縫遷移。通過建設業務限流系統,實現了各方業務流量之間的軟隔離,從而確保了基礎服務的穩定性。

滴滴資深開發工程師 梁秦楠

演講主題:資料驅動安全——滴滴安全基礎資料建設

資料是安全的基礎。我們從無到有啟動滴滴安全的基礎資料建設。實現了滴滴安全的資料的彙聚與管理,並提供一些基於資料的安全應用。

對於安全這個資料要求很高的場景,無論是資料規模,資料品質,資料安全還是資料門類的複雜度來說,我們都面臨到非常多的挑戰。

目前我們基於大資料的資料處理架構,每日完成海量資料的彙聚。通過對特定場景進行資料的建模,並結合安全的應用場景進行有效的資料組織,提升資料建設效率與使用效率。另外我們還從流和批量進行資料質檢,結合品質問題引入的原因,多環節有效把控資料的品質。最後我們對於最敏感的資料,也會結合特定場景通過從機器安全,存儲安全,傳輸安全,人員操作審計等多緯度進行資料安全管控。

本屆QCon大會由來自海外的Google、Facebook、Airbnb、LinkedIn及國內的百度、阿裡巴巴、騰訊、滴滴出行等公司的100余位技術專家,就專業領域的前沿技術進行了精彩演講,全方位解讀業界最新趨勢。

喜欢就按个赞吧!!!
点击关闭提示