模型压缩与技术小结来自github

1、模型压缩与对于AI应用端而言，由于设备普遍没有模型训练端的性能那么给力，因此如何压缩模型，节省计算的时间和空间就成为一个重要的课题。此外，对于一些较大的模型（如VGG），即使 再给力， 时间内能处理的图像数量，往往也无法达到实际应用的要求。这点在自动驾驶和 处理领域显得尤为突出。这里首先提到的是 的相关课程：CS 217: Hardware Accelerators for Machine Learning其次是 的两篇 ：Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization

2、and Huffman CodingLearning both Weights and Connections for Efficient Neural Networks，清华本科（2012）+Stanford博士（2017）。MIT AP（from 2018）。个人主页：也是SqueezeNet的二作。参数的选择，相对比较简单。参数的绝对值越接近零，它对结果的贡献就越小。这一点和稀疏矩阵有些类似。 结点和层的选择，相对麻烦一些，需要通过算法得到不重要的层。比如可以逐个将每一层50%的参数置零，查看模型性能。对性能影响不大的层就是不重要的。虽然这些参数、结点和层相对不重要，但是去掉之后，仍然会

3、对准确度有所影响。这时可以对精简之后的模型，用训练样本进行re-train，通过残差对模型进行一定程度 的 ，以提高准确度。还 图森科技的 ：如何评价图森科技连发的三篇关于深度模型压缩的文章？图森的思路比较有意思。其中的方法之一，是利用L1规则化会导致结果的稀疏化的特性， 出一批接近0的参数。从而达到去除不重要的参数的目的。除此之外，矩阵量化、Kronecker内积、 编码、模型剪枝等也是常见的模型压缩方法。当然最系统的做法还属Geoffrey Hinton的 ：Distilling the Knowledge in a Neural Network可以被固定（正如在精炼过程中）或 优化，甚至

4、同时训练多个不同大小的学生 。上图是另一篇 的图：Object detection at 200 Frames Per Second该 的中文版：又快又准确，新目标检测器速度可达每秒200帧图森科技的后两篇 也是在Hinton 的基础上改进的。：Articulatory and Spectrum Features Integration using Generalized Distillation Framework参考：深度压缩之蒸馏模型神经 压缩：Deep CompressionDistilling the Knowledge in a Neural Network阅读笔记笔记 Disti

5、lling the Knowledge in a Neural Network蒸馏神经如何理解soft target这一做法？用于压缩的滤波器级别剪枝算法ThiNet为模型减减肥：谈谈移动端的深度学习深度压缩：较大程度减少了参数问题神经模型压缩技术模型压缩与算法综述处理移动端传感器时序数据的深度学习框架：DeepSense上交大ICCV：精度保证下的新型深度压缩框架支付宝中的深度学习引擎：xNN简单聊聊压缩面向卷积神经的卷积核冗余消除策略：面向深度学习的高效方法与硬件当前深度神经模型压缩和方法速览普林斯顿新算法自动生成高性能神经，同时超高效压缩深度梯度压缩：降低分布式训练的通信带宽中大商汤等提

6、出深度新方法，具有强大兼容能力三星提出移动端神经模型框架DeepRebirth阿里提出新神经算法，压缩掉最后一个比特神经修剪最新研究进展英特尔 2/54-25-Deep_Learning_40.markdown at 1368f18c2a98423f5fcb175c66d52428ab0f3d8c · antkillerfarm/Hinton胶囊后最新研究：用“蒸馏”训练大规模分布式神经当前深度神经模型压缩和都有哪些方法？极致的优化：智能是如何处理大型神经的中星微夺冠国际人工智能算法竞赛，目标检测一步法精度速度双赢面向卷积神经的卷积核冗余消除策略深度神经CVPR 2018 高效小探密

7、（上）CVPR 2018 高效小探密（下）再生神经：利用知识蒸馏收敛到更优的模型从ISCA看AI硬件的新技巧支付宝如何优化移动端深度学习引擎？深度学习高效计算与处理器设计基于交错组卷积的高效深度神经让跑得更快，腾讯优图提出全局和动态过滤器剪枝纪荣嵘：深度神经压缩及应用计算成本降低35倍！谷歌发布端自动设计神经MnasNetMnasNet：终端轻量化模型新思路谷歌大脑用强化学习为移动设备量身定做最好最快的模型这么Deep且又轻量的Network，实时目标检测OCR概述光学字符识别（Optical Character Recognition, OCR），是指对文本资料的图像文件进行分析识别处理，获

8、取文字及版面信息的过程。华大教授的算是目前国内OCR做的比较好的了。 3/5的2个01人8主/8/页22：/2018-4-25-Deep_Learning_40.markdown at 1368f18c2a98423f5fcb175c66d52428ab0f3d8c · antkillerfarm/该主页上有一个OCR方面的综述，是入门的最好资料。这是一个OCR方面的blog。对的，几乎都有阅读笔记。tesseractlinux下可以使用tesseract作为OCR工具。安装方法：sudo apt install tesseract-ocr libt

9、esseract-dev使用方法：tesseract ./111.png 1 -l chi_sim+engCRNNCRNN是：小组的。An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition代码：ASTERASTER也是小组的。ASTER: An Attentional Scene Text Recognizer with Flexible Rectification代码：参考：阅读笔记参考字符识别(OCR)相

10、关工具/库/等整理证件全文本OCR技术，了解一下端到端的OCR：识别(LSTM+CTC)端到端的OCR：基于的实现端到端的OCR：LSTMCTC的实现Tesseract-OCR 3.0.1训练的语言库之图像文字识别文档扫描：深度神经在移动端的实践华技大学提出多向文本检测方法：基于角与区域分割 4/5eep_Learning_40.markdown at 1368f18c2a98423f5fcb175c66d52428ab0f3d8c · antkillerfarm/tensorflow LSTM+CTC/warpCTC使用详解阿里提出IncepText：全新多向场景文本检测模块图像OCR年度进展深度学习在OCR中的应用场景文字检测CTPN原理与实现开源OCR文字识别软件Cari快准狠！Intel揭示自家车牌识别算PRNet华科深度学习图像识别决赛代码OpenCV深度学习文本检测示例程序（EAST text detector）AdvancedEAST高效场景文本检测Spatial Transformer Networks：Spatial Transformer Network