本篇論文發表於 SIGGRAPH 2017，並入選 Technical Papers Preview Trailer。為便於非專業人士閱讀，以下介紹儘量不夾帶英文和公式，也儘量精簡扼要。
關鍵字：Face Modeling, Face Database, Deep Learning, Face Caricatures, Gestures, Sketch-Based Modeling
論文連結：
DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling
簡介
臉部建模一直是電腦圖像和視覺領域的熱門話題，包括卡通人物建模、人臉藝術設計、人臉即時重構等等，尤其是互動式人臉建模。我們構建了一個快速的、交互的、基於深度學習的人臉建模框架。通過簡單勾勒人臉圖畫（caricature），我們的模型可以迅速生成對應的三維人臉模型，並且可以同時擬合面部輪廓和細節表情。同時我們也提供了多種方式進行快速的模型修改。實驗證明我們的結果具有高精度和快速度。
框架
非常推薦大家通過視頻瞭解我們的框架：
Youtube:
DeepSketch2Face(SIGGRAPH2017) Youtube
騰訊視頻:
DeepSketch2Face(SIGGRAPH2017) 騰訊視頻
框架的流程如圖所示：
初始繪製模式（Initial Sketching Mode）
我們採用了卷積神經網路（CNN）來學習二維繪畫的人臉特徵。如圖所示，輸入是 256 乘 256 大小的繪畫圖片，通過卷積層提取特徵，結合每個圖元點的雙線性插值編碼，利用不同的全連接層，最終輸出一個 50 維的人臉向量和一個 16 維的表情向量。我們預設了 50 個人臉基底和 16 個表情基底，最終輸出的模型則是向量和基底的點乘。我們可以做到近乎即時的渲染，即用戶每勾勒一筆線條，迅速輸出對應的擬合三維模型。（對於卷積層，我們採用了較老的 AlexNet。我們也試驗了 Resnet 等更新的網路結構，在精度上沒有特別顯著的提升；同時考慮到即時繪製的速度要求，我們選擇了這樣一個折衷方案。）
以下是一些真實渲染結果：
連續繪製模式（Follow-up Sketching Mode）