DVS3XX高清网络相机解决方案ppt课件

TIDM36xIPNC高清（智能）网络相机解决方案,刘睿liurui内部培训，请勿外泄如需提供给客户，可节选部分内容,1,2020/5/20,2,IPCamera网络相机入门,传统数字监控系统是模拟摄像机将视频通过同轴电缆传输到硬盘录像机（DVR），或视频服务器（DVS）编码后通过IP网络转发。这种方式视频信号会经历两次数模转换，细节损失较多。高清网络摄像机是直接将CMOS/CCD传感器采集的视频进行高清编码压缩并IP封装，然后利用IP网络来承载视频流，实现高清的实时监控、录像、回放、转发的工作。基本上百万像素（720p）以上的监控应用都会选用网络相机的方式实现IP相机的传感器将主要采用CMOS。CMOS具有功耗低、成本低、分辨率高、速度快的优点，而且随着技术发展，以前噪点高、低照度和宽动态性能差的问题也有极大提升。在采用CMOS为感光元器件的产品中，通过采用影像光源自动增益补强技术，自动亮度、白平衡控制技术，色饱和度、对比度、边缘增强以及伽马矫正等先进的影像控制技术，完全可以达到与CCD摄像头相媲美的效果。一般认为网络和价格是限制IP相机发展的瓶颈，事实上2M码率的1080P画面可以承载5倍于D1画面的信息量，所以在某些特定场景监控（比如公路多车道）中，IP相机在带宽和价格上都有优势。所以在智能交通领域高清网络相机已经逐渐成为主流，而在其他监控领域，随着成本下降，网络相机即将进入井喷增长阶段。,2020/5/20,3,TIDM36xIPNC方案提供资源,ApproIPNC方案是一套可以让客户快速设计甚至直接生产的高清网络相机解决方案。现在可支持Aptina、OV、SONY三大厂牌CMOS，支持1080P高清实时，支持人脸识别、越线检测、运动目标识别等智能分析算法。Appro相机由台湾欧普罗光电与TI合作设计生产，合众达是中国地区代理，TI也会不断维护Appro后续软件升级。提供的IPNC资料分为三部分Open_src开源的软件PrivatePackage需要NDA提供的资料文档Appro_2A（trial版）PrivatePackageApplication（LSP、DVSDK、IPNC应用程序）Utils（ubl、u-boot、diagnositc、nand）Hardware（BOM、Gerber、Schematic）Doclsp是linux内核源码，交叉编译环境需要从TI官网下载，wis-streamer的源码在/ipnc/ipnc_app/network/live/appro。可以确认用光盘提供的源码可以正确编译出全套IPNC应用程序,2020/5/20,4,TIDM36xFamily,2020/5/20,5,ApproIPNCRefDesignFamily,2020/5/20,6,IPCamera相机选型,TIDM36x（VA）系列是专门针对高清（智能）网络相机的完整解决方案，有相当强的市场竞争力。最明显的五大优势为：高品质图像，高性能编码，智能分析，功耗成本低，产品线完善,IPCamera,Centarus,Entry-Level,Mid-end,DM368,特点优势图像预处理ISP高性能编码：H.264720por1080p30fps可编程客户智能算法$60-$100eBOM,特点优势图像预处理ISP高性能编码：H.264D1or720p30fps入门级智能分析算法成本低廉$30-$60eBOM,DM6435,Advanced,特点优势H.264HP1080p60720MHzC674x定浮点DSP可实现多种高级分析算法eBOM待定不详,DM365,DMVA1/2,OR,TIDM36xIPNC方案优势一高品质图像,7,2020/5/20,8,TIDM36x方案优势高品质图像领先的ISP处理技术,DM36x的ISP处理器内部集成了自动曝光、白平衡控制，色彩平衡、饱和度、对比度、亮度调整，边缘增强、伽马矫正、镜头畸变校正、暗角校正等等大量先进影像控制技术。这些技术保证了CMOS传感器的图像质量完全不输于昂贵的CCD镜头模组，而成本只需要1/10ISP功能理论上没有分辨率限制。需要注意的是IPIPE每次最多处理2176px/行（即16:9图像最大分辨率2176x1224），所以处理3M以上图像时，需采用分次进入IPIPE的方式，详见FAQ,ISIFBlackClamp感光调整LSC镜头暗角校正,IPIPEDPC（坏点校正）NoiseFilter1&2WB,GICColorBalanceGBGC（对比/亮度）EdgeEnhancementLDC镜头畸变校正RGB2RGB,RGB2YUVGAMMA,H3A自动白平衡自动曝光自动对焦,Resizer,IPIPEIF,ISP,CCD/CMOSSensorUpto16bit,RawData,YCbCr-4:2:2YCbCr-4:2:0,2020/5/20,9,TIDM36x方案优势高品质图像ISP处理效果1,LensShadingCorrection（LSC）,2020/5/20,10,TIDM36x方案优势高品质图像ISP处理效果2,2020/5/20,11,TIDM36x方案优势高品质图像ISP处理效果3,TIAEWB色温范围：2800K6700K,2020/5/20,12,TIDM36x方案优势高品质图像ImageTuningTool,ImageTuningTool是专门为调试ISP开发的半自动调试工具PC独立运行，与网页调试工具相比，功能更多、性能更强、速度更快！购买IPNC开发套件后可免费提供，调整后参数可通过网络由PC与相机互传,2020/5/20,13,TIDM36x方案优势高品质图像ImageTuningTool,简单直观的调试界面，所见即所得,（色彩校正调试示例）,TIDM36xIPNC方案优势二高性能视频编码,14,2020/5/20,15,TIDM36x方案优势高性能视频编码集成高性能音视频编解码器,视频编解码器支持：H.264,MPEG4,MPEG2,JPEG下面链接提供最近更新（2010-4-23）http:/software-,音频/语音编解码器支持：AAC,MP3,WMA,G711,2020/5/20,16,TIDM36x方案优势高性能视频编码集成高性能音视频编解码器,H.2641080P30fps在低于2M码率时仍有极佳效果下图1080P视频实际截图（使用DM368IPNCv2.x程序，近期更新），码率约1400k,2020/5/20,17,TIDM36x方案优势高性能视频编码集成高性能音视频编解码器,DM368IPNC可实现的典型视频码流（除第一个以外都有例程）MJPEG5MegaPixel(2560 x1920)encode+packetization/storage/networking(10fps)MJPEG3MegaPixel(2048x1536)encode+packetization/storage/networking(15fps)H.264HP1080p(1920 x1080)encode2-12mbps+g711encode+motiondetect+packetization/storage/networkingH.264HP720pencode+MJPEG720pencode+g711encode+motiondetect+packetization/storage/networking（双码流）H.264HP1080pencode+H.264QVGAencode+g711encode+motiondetect+packetization/storage/networking（双码流）H.264HP720pencode+H.264HPQVGAencode+MJPEG30fpsVGAencode+g711encode+motiondetect+packetization/storage/networking（三码流）,2020/5/20,18,TIDM36x方案优势高性能视频编码SMARTCodec：ROI（重点区域）,标准Codec低码率编码，画面细节损失严重,TISmartCodec低码率编码，设置人脸为ROI区域，脸部细节保留完善,SMARTCodec,Original,TIDM36xIPNC方案优势三智能分析,19,2020/5/20,20,TIDM36x方案优势智能分析基础功能,VideoStabilization视频稳定化IPNC参考设计中有启动VS功能的代码FaceDetection人脸识别IPNC参考设计中有启动FD功能的程序注意带FaceDetection的芯片型号为TMS320DM365ZCEF、TMS320DM368ZCEF,2020/5/20,21,TIDM36x方案优势智能分析智能视频分析DMVA1&2,TI将于2010下半年推出两颗带视频分析功能的处理器DMVA1和DMVA2，可以简单理解为带了智能分析算法的DM365和DM368智能分析是刚刚兴起的热门概念，但是在网络相机上真正量产实现的很少，TI的DMVA将极大降低智能分析的进入门槛,Performance/features,VideocompressionH.264HP,D1-30fps,720p30,1080p30,Pin-to-pinandsoftwarecompatible,smartanalytics,2020/5/20,22,TIDMVAx将使视频分析功能成为网络相机的标准配置,DMVAxTargetmarket,HDVAIPNC,AnalogCamera模拟相机,SDIPCamera网络相机,HDIPCamera(720p),HDIPNC,TargetApplicationsAdvancedVideoAnalytics,VideoAnalyticspresentlyshippingin2%,监控产业已有广泛共识，视频分析是不可避免的趋势，问题是何时能广泛应用迄今仅有不足2%的监控相机中集成了视频分析功能，TIDMVA的出现将使VA从趋势变成主流,2020/5/20,23,TIDM36x方案优势智能分析智能视频分析DMVA1&2,所有网络相机都会有智能分析需求，其中90%以上需要基础智能算法，比如移动目标识别和越线检测相机客户集成智能算法主要通过外扩DM643x子板或在ARM/DSP开发两种方式，主要有以下困难,缺少标准接口,缺乏健壮性,集成开发周期长,成本高,调试、配置、集成都很困难,DMVA仅增加十几美元成本，远低于外扩子板和购买算法,DMVA集成算法，提供调用API和例程，客户可直接使用,DMVA算法遵循PSIA规范，客户可以方便的二次开发,客户可以完善程序健壮性,大幅缩短客户产品上市时间,DMVA优势,2020/5/20,24,TIDM36x方案优势智能分析智能分析DMVA1&2,4个智能算法：目标计数、智能运动检测、绊线检测、镜头干扰检测同时可以输出metadata数据流，供客户二次开发,2020/5/20,25,TIDM36x方案优势智能分析智能分析DMVA1&2,总结：DMVA给客户提供了一种新的入门级分析算法的选择。智能算法软件（ARM或DSP）*算法授权费每片约300-700元智能分析子卡（DM643x）*板卡带算法每块约700-1000元DMVA（编码分析一片解决)*仅增加成本约100元,IPCameraeBOM$40*,AnalyticsSW$50-$100/ch,AnalyticscardeBOM$40*,DMVA,TIDM36xIPNC方案优势四接口、功耗、成本,26,2020/5/20,27,TIDM36x方案优势接口丰富,DM36x与竞争对手相比，接口比较丰富，主要特色包括：2组UART串口：连接云台、雷达等设备2组SDIO接口：扩展SD卡，扩展802.11b无线网络模块6个Timer3组SPI4路PWM,DMAData&ConfigurationBus,Peripherals,NAND/ECCEMIF,MMC/SDIOx2,mDDR/DDR2EMIF,Program/DataStorage,System,PWMx4,Timerx6,Connectivity,SPIx3,I2C,SerialInterfaces,EDMA,WDT,UARTx2,HPI,VoiceCodec,RTC,Keyscan/ADC,2020/5/20,28,ChannelDensity/Performance,Time,720p30.,1080p30,Features,DaVinciDM368432MHz,Code/PinCompatible,TIDM36x方案优势功耗低,1080p30H.264Videoprocessing(1)+33%ARMMIPS(2)1000mW,(1):FaceDetection,VideoStabilization,NoiseFilters(2):FormorefeaturessuchasGUI,encryption,FullDuplex720p30,DaVinciDM365216MHz,D1-30fpsH.264VideoProcessing(1)400mW,DaVinciDM365270MHz,Basic720p30H.264NoVideoProcessingARMMIPS(2)600mW,DaVinciDM365300MHz,720p30H.264HPMulti-streamsupportVideoProcessing(1)+11%ARMMIPS(2)800mW,FullDuplexD130fps,2020/5/20,29,TIDM368IPNCBOM主要器件,DM368IPNC1K以上元器件BOM低于$50是当前最便宜的1080P高清相机解决方案,TIDM36xIPNC方案优势五清晰产品线，良好延续性,30,2020/5/20,31,TIIPNCRoadmap,High-EndSoCIPNC,Channels/Performance,EntryLevelIPNC,SmartCCTV,2xPerf.,4xPerf.,Time,Features,Features,H.264,DaVinci,MultipleSpins,CortexA8/Encryption,1080p,2020/5/20,32,TI在安防领域不断创新从IPNC到DVR/NVR，从视频编解码到智能分析，从处理器到模拟,SmartAnalyticsSD&HDIPCameras,DMVA1,DM365,HDIPCameras,Multi-ChannelHybridDVRwithAdvancedAnalyticsandVMS,AnalogCameras,DM6435,AdvancedAnalyticsCard,HDIPCameras,DMVA2,DM368,FAQ客户最常提出问题总结,33,2020/5/20,34,FAQ-1ApproIPNC基本常识,Q：ApproIPNC如何获得A：为降低网络相机开发难度，TI、Micron以及Appropho合作推出一系列网络相机解决方案。SEED是Appro在中国地区的代理，国内地区可以找我们订购。购买ApproIPNC，并且签署不扩散协议以后，就（才）能得到全套电路设计、软件开发资料（注意没有光盘，由SEED提供），及免费获得TIISPtuningtool。Q：是否有支持CCD的参考设计A：没有。根据SONY最新Roadmap，没有百万像素CCD产品推出计划。CMOS在低照度、低噪音、宽动态等方面已经不逊色CCD，同时在功耗、成本、采集速度方面具有数量级的绝对优势。Q：Appro相机订货型号，以及不同CMOS型号、分辨率，价格A：Appro相机现在支持Aptina、OV和SONY三家CMOS，对应型号参考前面ApproIPNCFamily列表。其中Aptina的是5百万像素9P031，提供设计文档，客户可以自己设计，如果使用Appro2A算法，需要每片交0.75美金授权费，由SEED代收。OV和SONY都不提供设计文档，客户需要买Appro的sensorboard，报价如下,2020/5/20,35,FAQ-1ApproIPNC基本常识,Q：是否支持双码流，怎么演示A：支持1路、2路、3路码流。具体参考前文编码介绍，更详细的资料时ApproIPNCdatasheet。多路码流时，每路视频都可以单独用网页客户端或VLC播放查看。Q：运动检测功能A：运动检测功能可以在网页客户端设置开启。可以在报警设置关联运动检测，这样就可以在检测到指定区域发生运动时，自动录像。Q：网页观看视频严重延迟是什么原因A：首先检查是否电脑配置太低，导致720p或1080p解码不流畅；网页端内嵌VLC播放器在缩放视频时效率较低，也会导致视频延迟，如果采用原始大小播放会比较流程TI推荐最佳的收看方式是直接使用VLC播放器（需新版本，可以直接从VLC网站下载），尤其是1080p，缩放到全屏显示相当流程。Q：ApproIPNCDM368是否支持POE网络供电A：TIFAE测试过，DM365和DM368IPNC都可以支持。,2020/5/20,36,FAQ-2DM36x相关,Q：芯片性能介绍，主频、编码性能等A：参考前文DM36xFamily列表Q：DM36x的功耗是多少A：DM365-216MHz，D1-30fpsH.264400mwDM365-270MHz，720p-30fpsH.264600mwDM365-300MHz，720p-30fpsH.264+MD+FD+Net+GUI800mwDM368-405MHz，1080p-30fpsH.264+MD+FD+Net+GUI1000mwQ：ISP介绍A：ISP即ImageSignalProcessing，是DM36x的特色协处理功能，主要包括ISIF（ImageSensorInterface）、IPIPE、H3A。ISIF用于直接连接CMOS/CCD传感器。IPIPE是ISP的最主要部分，又被称为HardwareImageSignalProcessor，它对ISIF传送的RAW数据进行多种图像处理，如色彩平衡、去噪、缩放等等，更多内容可参考前文。H3A针对自动白平衡、自动曝光和自动对焦算法提供数据支持。,2020/5/20,37,FAQ-2DM36x相关,Q：所有芯片都支持Facedetect功能吗A：不是。带有Facedetection功能的芯片型号是ZCEF结尾，DM368刚发布ZCEF版本，所以现在购买的IPNC368虽然软件带了Facedetection但不一定可以演示Q：DM368的datasheet写不支持H3A？A：所有DM368芯片都带有H3A功能，根据TI答复，TI不会对这个功能提供广泛的支持和文档材料。由于DM365的datasheet对H3A描述太详细，所以TI在DM368这样声明，以免客户对H3A的技术支持带有不切实际的期望。Q：配套的算法都有哪些，需要收费吗A：算法主要包括音视频编解码器和2A（自动白平衡自动曝光）编解码器全部免费提供，客户可在以下网址下载最新更新：http:/software-,2020/5/20,38,FAQ-3DM36xIPNC开发相关,Q：方案提供的源代码都有哪些A：MontaVistaLinux，Schematics/Gerber/BOMlist，驱动源码例程，内核源码，开发文档，ActiveX库，TICodec库，web服务器等等，保证可以实现demo功能。需要注意2点：1.解压需在linux环境下，2.交叉编译工具和DVSDK等需在ti网上下载：http:/software-,ISIF,IPIPE,DDR,DDR,1,2,1,2,2020/5/20,39,FAQ-3DM36xIPNC开发相关,Q：2A与H3A关系A：H3A是DM36x芯片中用于控制3A的硬件模块，提供3A所需的参数。客户开发2A算法时可以直接使用。Appro和TI的2A算法都要从H3A获取数据。Q：Imagetuningtool是什么，如何获得A：这是TI开发的用于调试ISP各种图像处理参数的PC工具，详细介绍见前文。客户只需购买ApproIPNC参考设计即可通过我们向TI免费申请这个工具。需要签不扩散协议。Imagetuningtool现在的版本是v1.0，支持IPNCv1.5版本软件。即将发布v2.0版，支持IPNCv2.0软件（尚未发布）。Q：能否不用仿真器烧写UBL、ubootA：可以。TI提供了Serialflashutilities工具，可以通过串口烧写。参考下面网址,2020/5/20,40,FAQ-4竞争对手方案,Q：安霸是什么公司，产品怎样？A：安霸（Ambarella）的核心产品是高清H.264/AVC多媒体编解码SOC芯片，因为早于TIDM36x进入市场，其专门针对IPC市场的A255、A288已经被一些厂商采用生产网络相机（D1和720P）。现在安霸主推的型号是A288（最新SDK4.0支持1080P30fps）。A288的主要优势是编解码性能不错，主要缺陷有：只有一个串口，OSD不能加到模拟输出，RTC有问题（必须启动休眠功能），没有ISP功能，不支持高分辨率MJPEG。因为有以上种种bug，客户会考虑换用DM368。需要注意的是，安霸下一步将推出针对安防领域的A5系列，这个系列比较强，包括ARM11CPU，HDMI接口，高分辨率JPEG，1080P+VGA双码流等，据说也修正了A2的bug，但客户对安霸前一代的怨言会影响后续选择，没有ISP也是极大缺陷。以下是对比表格,2020/5/20,41,FAQ-4竞争对手方案,Q：恩智浦NXP最近新推的一款高清相机方案好像很不错？A：NXP的PNX8850确实来势汹汹，主要体现在3点强项：1.外设强：千兆网、红外遥控、HDMI（待确认）、PCIE2.编码性能强：号称支持30fps1080pH.264+1080pMJPEG3.图像调整：imagesca