人脸技术在时尚电商平台的应用实践

1、人脸技术在时尚电商平台的应用实践技术创新，变革未来2提纲电商中为什么需要图像算法人脸检测人脸特征点定位人脸识别总结3提纲概述：电商中为什么需要图像算法（5）人脸检测（25）人脸特征点定位（15）人脸识别（5）总结（2）PART 1:PART 2:5概述：电商中为什么需要图像算法（5）人脸检测（25）PART 11. 电商中的图像数据海量的图像数据商品信息的结构化： 类目+ 属性丰富的业务场景5人脸技术的业界现况基于深度学习的人脸技术日益流行，并取得显著成绩基于Faster-RCNN的人脸检测算法在FDDB上名列第一Google的FaceNet在LFW上取得了99.63%的人脸识别成绩Face+

2、基于CNN的人脸特征点定位算法，在公开数据集300W上取得第一名挑战：深度学习对大量计算资源的需求、复 杂的模型（几十MB到几百MB），使得上述技 术难以应用在移动端67人脸技术的业界现况传统算法的人脸技术效果上不及深度学习算法计算资源消耗少、模型简单，更适合应用在目前的移动设备上基于深度学习的人脸技术准确率高模型复杂度高，对存储资源、计算资源的要求较高势必更加普及：处理器的发展+深度学习的优化技术8人脸相关技术概述基于业界基础，我们进行了人脸技术的自主研发已完成人脸检测、人脸特征点定位、人脸识别等多种技 术的SDK主要服务于以下业务直播时尚内容电商应用支付金融9人脸相关技术概述根据技术种类划

3、分，有以下三类：人脸检测人脸特征点定位人脸识别根据应用场景划分，有以下三类：移动客户端：直播流移动客户端：拍照图片服务器端上：图片库处理2. 人脸检测技术人脸检测:定位图片中人脸的位置相对成熟的技术，广泛应用于移动端、服务器端、嵌入式端等设备。难点：保证检测准确率的同时，还需要有非常高的检测速度，以便留给后 续模块足够的处理时间。针对不同应用场景开发了两套人脸检测算法。Face Detection1011相关的前人工作基于Boosting的传统算法快速的特征计算(Harr 特征)：丰富的特征池Boosting(Adaboost)：特征选择Cascade(级联)：系统加速深度学习的方法无须人工构

4、造特征基于海量规模的样本数据更加准确的检测精度借鉴级联的思想(Cascade)人脸检测技术移动端参考实现的基础算法：PICOObject detection with pixel intensity comparisons organized in decision trees1Marku N, Frljak M, Pandi I S, et al. Object detection with pixel intensity comparisons organized in decision treesJ. arXiv:1305.4537, 2013.（/nenadmarkus/pico）整体

5、结构：cascade12人脸检测技术移动端图像特征：Normalized Pixel Difference (NPD) feature22 Liao S, Jain A K, Li S Z. A fast and accurate unconstrained face detectorJ. IEEE transactions on pattern analysis and machine intelligence, 2016, 38(2): 211-223.提高算法稳定性：光照鲁棒1314人脸检测技术移动端训练数据集：公开数据集合+自有数据集合添加公司自有人脸数据（约10万量级）作为训练样本H

6、ard positive sample mining迭代训练将难分的样本逐步增加，增加训练的轮数人脸检测技术移动端多姿态人脸检测通过缩放、旋转检测器，在不增加内存开销的前提下（不 需要建立图像金字塔、不需要旋转图像），可以进行多姿 态人脸检测。代码优化的示例：LUT优化方法针对移动端CPU，进行定点化LUT(look up table)：针对NPD特征的计算15人脸检测SDK移动端1.应用场景：设备计算能力较弱，实时性要求高的场景。2.SDK容量：约300kB3.速度：约100FPS(直播：960540)/30FPS（图片）4.适用范围：平面内30度，平面外45度（直播） 平面内60度，平面外

7、45度（图片）16人脸检测技术服务器端基于深度学习的人脸检测算法，利用多个CNN级联，效果比移动端SDK更好， 对人脸姿态变化更加鲁棒。参考实现了论文工作：cascade cnn人脸检测算法3在自建的测试集上，同样FPR下，TPR比移动端算法高约8%。速度：根据图片大小、检测参数等条件，运行时间在十毫秒到百毫秒之间。Input image12*12 CNNLayer-wise NMSNMS24*24 CNN48*48 CNNNMSresult0.750.80.850.90.950.010.03tpr0.05fprsoft cascadecascade cnn0.070.09183H. Li,

8、Z. Lin, X. Shen, J. Brandt , G. Hua, A convolutional neural network cascade for face detection, 2015 IEEEConference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, 2015, pp. 5325-5334.小结和讨论19根据应用场景，进行算法开发分别在移动端和服务器端，根据性能要求，开发不同的人脸检测算 法SDK和服务基于深度学习的检测技术走向了实用MTCNN(Joint Face Detect

9、ion and Alignment using Multi-task Cascaded Convolutional Networks)取得了很好的检测效果，能够实时运行（在GPU环境下）开源地址：/kpzhang93/MTCNN_face_detection_alignmentMTCNN方法结果的实例图19参考文献补充 (人脸检测)Object detection with pixel intensity comparisons organized in decision treesRobust object detection via soft cascadeRobust real-time

10、 object detectionA fast and accurate unconstrained face detectorWaldBoost Learning for Time Constrained Sequential DetectionFace and Landmark Detection by Using Cascade of ClassifiersJoint Cascade Face Detection and AlignmentA Convolutional Neural Network Cascade for Face DetectionFace Detection wit

11、h the Faster R-CNNJoint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks(MTCNN )图像算法蘑菇街研发方向：计算机视觉和深度学习为主203人脸特征点定位人脸识别总结PART 2:4PART 2人脸特征点定位（15）人脸识别（10）总结（2）3. 人脸特征点定位技术任务：检测出人脸上多个器官或明显轮廓部分人脸特征点定位后的结果有多种用途，例如：表情识别、人脸 特效以及其他面部属性的识别我们针对不同的应用场景，也开发了两套算法Face DetectionLandma

12、rk Localization56方法概述传统算法ASM(Active Shape Model)和AAM (Active Appearance Model)Stam开源包是ASM的一种实现方式，比较早期的工作基于级联形状回归的方法Ensemble of Regression Tress（ERT）是级联方法深度学习方法始于2013年：Tang Xiaoou教授研究组提出了DCNN的级联结构(Deep Convolutional Network Cascade for Facial Point Detection)，取得不错的效果Zhou Erjin等： Extensive Facial Land

13、mark Localization with Coarse-to-fine Convolutional Network Cascade一个从粗到精的人脸特征点定位方法首次利用卷积神经网络，实现了68个人脸特征点的高精度定位人脸特征点定位技术移动端Face ImageRegressor 1ResultInitial landmarksRegressor 2Landmarks Residue 1Landmarks Residue 2Regressor nLandmarks Residue n采用ERT4算法，参考实现了论文工作：One millisecond face alignment with

14、 an ensemble of regression trees基本思想：学习每个关键点的局部特征，将特征组合起来，使用线性回归检测关键点局部特征采用PD(piexl difference)dlib 库中(/)，有算法完整实现，包括训练和测试部分7ERT模型结构4 Kazemi V, Sullivan J. One millisecond face alignment with an ensemble of regression treesC. CVPR 2014: 1867-1874.人脸特征点定位技术移动端算法：Learning each repressor in the cascade8

15、4 Kazemi V, Sullivan J. One millisecond face alignment with an ensemble of regression treesC. CVPR 2014: 1867-1874.9人脸特征点定位技术移动端对ERT进行优化的工作并行计算使用OpenMP5并行技术对训练阶段进行了优化训练速度得到了成倍数（与线程数量有关）的提升特征将PD特征替换为NPD特征提高了算法对光照的鲁棒性实时直播利用视频中前后两帧关系修正特征点预测结果模型压缩通过参数定点化、huffman编码等方法对模型进行压缩压缩后的模型容量约为原始模型的35%5 训练过程：样本与迭代

16、特征点的定义：采用了83个点数据集：添加公司自有人脸数据（约10万量级）作为训练样本Hard positive sample mining:迭代训练，将复杂的样本逐步增加68个点105个点83个点人脸特征点定位技术移动端1.SDK容量：约4MB2.特征点数量:83点3.速度：约500FPS (直播分辨率：960540)/约200FPS（图片）4.适用范围：平面内30度，平面外45度（直播） 平面内60度，平面外45度（图片）11人脸特征点定位技术服务器端目前采用的是和移动端同样的算法模型更复杂精度更高下一步：开发基于深度学习的人脸特征点定位算法Face image83 landmarks CN

17、NLocal landmarks CNNLocal landmarks CNNLocal landmarks CNNResult12典型应用场景 (1)在特征点定位基础上直播中实时人脸特效13典型应用场景(3)基础版本15优化版本： 基于人脸 特征点在特征点定位基础上智能banner的合成电商的营销业务形成统一的画面风格16参考文献补充 (人脸特征点定位)One millisecond face alignment with an ensemble of regression treesFace Alignment by Explicit Shape RegressionSupervised

18、Descent Method and its Applications to Face AlignmentFace Alignment at 3000 FPS via Regressing Local Binary FeaturesAn Empirical Study of Recent Face Alignment MethodsCoarse-to-fine Face Alignment with Multi-Scale Local Patch RegressionDeep Cascaded Regression for Face AlignmentApproaching human lev

19、el facial landmark localization by deep learning4. 人脸识别技术人脸识别有着广泛的应用场景，在金融、安全、 社交和娱乐等领域都有相关应用研发了一套基于深度学习的人脸识别算法，并 结合开源数据集和公司内部数据进行训练Which picture is the same person？1718人脸识别技术:3个步骤1.样本预处理裁剪、对齐、相似变换等把人脸样本图像划分成子区域(patch)：不同尺度、不同位置2.基于CNN的特征提取目标函数可以定义为人脸分类或其它目标函数提取网络中最后一层（一般是fc层），作为特征向量多区域patch：训练多个CNN

20、网络，所有CNN获取的特征向量串接， 获得一个超长的特征向量（一般几万到几十万维）。3.特征匹配对超长特征向量降维，压缩到低维特征向量利用低维向量，训练匹配模型人脸识别的基本流程19人脸识别技术针对DeepId26算法进行了工程上的修改和优化，使其更加实用。基于googlenet结构训练原始CNN网络利用Siamese Network将1024维向量降维到256维利用300万数据对网络进行fine tuning通过不同策略训练了三个模型，在LFW上最好结果为98.2%。Lfw(fpr=1-tpr)base97.5%multi98.2%large98.0%206 Sun Y, Chen Y, W

21、ang X, et al. Deep learning face representation by joint identification- verificationC.Advances in Neural Information Processing Systems(NIPS). 2014: 1988-1996.人脸识别的应用场景(1)人脸/身份证对比21total face num:2 face location: left:1708.36 top:2134.64width:234.51 height:234.51left:616.74 top:599.89 width:1716.08

22、 height:1716.08landmark position:0 th landmark:1782.03,2195.77similarity score: 0.817人脸识别的应用场景(2)输入：商品图像 输出：是否侵权特征比对：快速排序22广告侵权稽查（被动）给定商品图像，判定它是否侵犯明星肖像权人脸识别的应用场景(2)输入：明星图像输出：侵权商品列表特征搜索：Pq量化/倒排索引23广告侵权稽查（主动）给定明星图像，对全平台上的商品进行稽查，将侵权商品查找处理24参考文献(人脸识别)Eigenface For RecognitionFace Recognition with Local Binary PatternsBayesian Face Revisited- A Joint FormulationBlessing of Dimen