基于arm的视频音频处理系统设计-硬件与视频采集断层

基于arm的视频处理系统设计_硬件与视频采集摘要开发平台是GEC6818开发板，核心板使用了多层板相接的设计，能保证运行代码功能时稳定可靠。可以大量用于开发现代科技科技产品，例如高端平板电脑、POS机、互动平台机、智能监控设备等多种领域。开发板上搭载了八核处理器S5P6818，兼备着三星Cortex-A53系列高性能芯片的功能。使用时最高主频能够达到1.4GHz，可满足开发人员应用于嵌入式Linux操作系统的应用开发以及驱动开发。嵌入式系统是人们自由控制、实现某些功能的要求，集成相对应的os和功能软件计算机里面，让项目软件与硬件一体化。。现在已经被应用于多个场景，包括控制工业、农业融合过程、通讯设备、测试仪器、无人驾驶汽车、船、飞机、火箭、军事装备、消费类产品等多个场景。市面上有很多已经做好的摄像头和录制声音的仪器，它们并不能灵活地用到人们想用到的场景，不能完全做到自定义的监控、录制视频音频的情节。嵌入式的视频音频采集系统可用于国防、医疗器件、家庭安全等等的场景，自由度极高，可以方便个人自定义录制视频音频的情况。多媒体通信技术的快速发展为信息大爆炸的21世纪提供了丰富的信息传输方式，视频传输、音频采集及其传输系统是其中不可或缺的重要组成部分。关键词：GEC6818开发平台，软件与硬件一体化，视频、音频采集DesignofVideoProcessingSystemBasedonarmHardwareandVideoAcquisitionAbstractThedevelopmentplatformistheGEC6818developmentboard.Thecoreboardusesamulti-layerpanelconnectiondesigntoensurethatthecodefunctionisstableandreliable.Itcanbeusedtodevelopmoderntechnologyproducts,suchashigh-endtablets,POSmachines,interactiveplatformmachines,smartmonitoringdevicesandotherfields.Thedevelopmentboardisequippedwithaneight-coreprocessorS5P6818,whichalsofeaturesSamsungCortex-A53serieshigh-performancechips.Themaximumfrequencyusedcanreach1.4GHz,whichcanbeusedbydevelopersforapplicationdevelopmentanddrivedevelopmentofembeddedLinuxoperatingsystems.

Embeddedsystemsaretherequirementsforpeopletofreelycontrolandimplementcertainfunctions.TheyintegratethecorrespondingOSandfunctionalsoftwarecomputerstointegrateprojectsoftwareandhardware.And...Ithasnowbeenusedinmultiplescenarios,includingcontrolofindustry,agriculturalfusionprocesses,communicationsequipment,testinstruments,unmannedvehicles,ships,aircraft,rockets,militaryequipment,consumerproductsandmanyotherscenarios.Therearemanycamerasandrecordinginstrumentsthathavebeenmadeonthemarket.Theydonotflexiblyusethescenesthatpeoplewanttouse.Theycannotfullyimplementcustommonitoringandrecordingvideoandaudioplots.Theembeddedvideoaudiocollectionsystemcanbeusedforscenessuchasnationaldefense,medicaldevices,homesecurity,etc..Thedegreeoffreedomisextremelyhigh,anditisconvenientforindividualstocustomizetherecordingofvideoaudio.Therapiddevelopmentofmultimediacommunicationtechnologyhasprovidedrichinformationtransmissionmethodsforthe21stcenturyoftheinformationexplosion.Videotransmission,audioacquisitionanditstransmissionsystemareindispensablecomponents.

Keywords:GEC6818developmentplatform,softwareandhardwareintegration,video,audiocollection前言嵌入式系统是广泛存在于我们身边的专用计算机系统。嵌入式系统的起源要追朔到60年代晚期，最初被用于控制机电与电话交换机，现如今在军事国防领域、医疗仪器、工业控制、网络设备、电子商务、智能仪表、通讯交通、消费电子类产品等众多领域都有其身影。其为特定应用开发，完全嵌入至控制的设备之中，成为21世纪各种高新科技产品的重要组成部分。嵌入式设备在很长一段时间内没有操作系统，其主要原因是：第一，诸如电吹风、烤箱、煲水壶这样的设备所要求的控制程序比较简单，只需实现对少量的按钮、指示灯、蜂鸣器的管理，没有达到使用操作系统的必要行;第二，此类用电设备仅有的硬件资源，并不足以支持一个独立的操作系统的运行。随着科技的迅猛发展，产品进步也日新月异，嵌入式系统渐渐复杂化，功能逐渐多元化，许多传统的流程控制就像原始工具般亟待改进。终于，在70年代末期，嵌入式操作系统(EmbeddedOperatingSystems)出现了，嵌入式操作系统的出现实际上是一场技术上的“解放运动”，在应用开发上实现了简化，深化了软件质量以及大大提升了开发效率。美国IEEE(InstituteofElectricalandElectronicsEngineers，即电子技术与信息科学工程师协会)最早对嵌入式系统进行定义：“AnEmbeddedComputerSystemispartofalargersystemandperformssomeoftherequirementsofthatsystem;forexample,acomputersystemusedinanaircraftorrapidtransitsystem.”中文翻译是“嵌入式计算机系统是大型系统的一部分，是执行该大型系统的必要条件，例如，用于飞机快速运输系统的计算机系统。”对于本设计而言，为什么要把Linux系统移植烧写到嵌入式设备里面呢？因为。Linux植入嵌入式设备具有诸多优势，首先，Linux系统是开源的，对于有开发自己项目需求的广大人员而言，开发上非常便利。并且Linux系统与大部分的Unix系统互相兼容，这对于程序的开发移植无疑是极大的优势。由于具有很好的可移植性和可裁剪性，可以通过linux平台把相应的软硬件移植到每个行业的机械中，用以解决如工业控制、交通运营管理、信息家电管理、家庭智能监控系统、电子商务、环境监测和机器人控制等多个领域的各种问题。若把Linux系统移植烧写到嵌入式设备里面，能让开发者使用更好方便简洁，开发程序流程简便，减少烦恼。本设计采用的开发平台是GEC6818开发板，核心板使用了多层板相接的设计，能保证运行代码功能时稳定可靠。可以大量用于开发现代科技科技产品，例如高端平板电脑、POS机、互动平台机、智能监控设备等多种领域。开发板上搭载了八核处理器S5P6818，兼备着三星Cortex-A53系列高性能芯片的功能。使用的最高主频能够达到1.4GHz，可满足开发人员应用于嵌入式Linux操作系统的应用开发以及驱动开发。能进行ARM微处理器系统驱动的实验、嵌入式实时操作系统Linux开发、嵌入式Android系统开发、嵌入式Android应用开发、嵌入式系统项目实战开发等工程中。本项目硬件所要需要完成的事项：在CPU芯片的内部，整合进所需的外围器件。而软件上需要完成的事项是：将向定制的操作系统内核中载入应用后进行编译，编译完成后将得到的内核下载至ROM中。最后，将系统烧录到嵌入式系统硬件平台的ROM中得到成品。本设计的目的、意义及应达到的技术要求嵌入式音视频采集与传输系统需要实现的主要目的是在电脑的SecureCRT上启动对应的程序，当摄像头被启动后，可以看到开发板上的屏幕正在播放USB摄像头录制到清晰的视频，形成监控作用。当人对着音频设备说话时，通过PC端控制，外接上播放器后能清晰听到音频的播放，实现视频、音频录播功能。设计出优质的嵌入式的视频音频采集系统可用于国防、医疗器件、家庭安全等等的场景，自由度极高，可以方便个人自定义录制视频音频的情况。本设计研究的目标为gec6818开发板以及在市面上找到的ov9650USB式摄像头，以及开发板里自带的音频设备，linux内核自带的API接口。搭建好Linux系统并将采集到的数据，通过USB摄像头获取环境视频数据进行编码压缩生成数据流，并传输至开发板，在开发板上的显示屏显示图像数据。与此同时，拾音器把采集到的音频数据组成RTP包在终端播放音频数据。本设计应达到的技术要求有：熟悉相关硬件设备和开发板的使用工具的基本知识；熟悉相关的Linux内核以及内核API接口的运行机制；学习音视频编解码基本知识；熟悉嵌入式Linux环境搭建过程，能在开发板上搭建好适合用的linux平台；能通过开发板与PC端连接通信，数据传输；代码编程，设置好录制视频和音频的相应数据参数，交叉编译；了解流媒体相关知识，熟悉视频采集、音频采集的流程等。本设计在国内外的发展概况及存在的问题目前市面上有很多已经做好的摄像头和录制声音的仪器，它们并不能灵活地用到人们想用到的场景，不能完全做到自定义的监控、录制视频音频的情节。21世纪以来，智能化建设迅速发展，随着音视频编解码技术的不断完善，使得音视频采集系统深入到人们生活的方方面面。在公共安全领域，音视频监控系统是安全技术防范产业发展的重要基础，为相关人员处理突发事件提供直接证据；在家庭生活领域，音视频采集系统可以方便户主实时监测家庭环境，同时也使得父母时刻关注孩子状况变成可能；在科技发展与研究领域，视频监控技术是涵盖多学科知识的技术，是国际研究的热点，吸引了国内外多数工程技术研发者投入其中，他们做了许多好的研究并且取到了不错的成果。使得人们可以在不进入恶劣环境的情况下采集环境音视频数据参数并且为科技研究提供资料。随着时代发展，高科技电子产品的更新迭代如洪水猛兽般接踵而至，在很大程度上促进了中国安防产业与家庭环境监测技术发展，21世纪，安防行业领域仍将不断扩大，目前已经发展到了视频监控、音频录制长期保存、智能检测报警、防爆安全等多个种类。目前国内许多企业正在投入大量资源在推动监控系统的相关应用，例如：北京迪威泰克数码科技有限公司用在地铁安防反恐安全与系统工程里面开发投入的智能视频监控系统。本设计应解决的主要问题本设计当解决的核心问题就是将不能灵活地应用于理想场景的摄像头和录制声音的仪器，做到可以自定义的监控、录制视频音频。现在的市面上有很多已经做好的摄像头和录制声音的仪器，它们并不能灵活地用到人们想用到的场景，不能完全做到自定义的监控、录制视频音频的情节。而嵌入式的视频音频采集系统可用于国防、医疗器件、家庭安全等多个场景，自由度很高。目前，限制Linux嵌入式采集视频音频的问题主要有两个：1.对于初学开发者而言，底层应用的架构多而复杂，无法对大量存在的内核API接口作出全面仔细的分析并利用，无法选出合适的API接口进行编程。需要多加咨询相关开发人员并查询相关项目代码，经过长期的了解后才能选出合适的API接口进行编程。2.人们在生活中感受到的声音都是模拟信号，如果直接录制声音，然后直接播放出来的“数据”就并不能够让人们的耳机接受到。如果让音频播放能够让人们的耳朵接受到稳定、清晰的声音，需要解决的问题有：找到把录制到的音频转换成数字信号的方法，找到合适的采样频率、样本长度、通道数、采样率、播放周期、封装格式、量化位数等合适的音频文件格式，再通过代码调整、转化成人们能听到的声音。二、本设计本设计可以方便个人自定义录制视频音频的各种情景，即能广泛应用于在交通、银行、工业监控及视频会议等众多领域以及可用于国防、医疗器件、家庭安全等等的场景，提高其自由度。显示嵌入式的视频音频采集系统的实时性、稳定性以及优越的图像质量。主要内容：（一）把ov9650USB式摄像头插入到开发板上，内核自带的API把摄像头和开发板建立连接后，启动摄像头，嵌入式设备内核检测外接设备，加载摄像头设备，在PC端的Linux系统上获取摄像头的驱动，启动代码，通过摄像头持续拍照把一帧帧图片拍下来并存储好相关图片数据，再循环播放，以达到视频播放的功能。（二）gec6818开发板上自带音频录制器，PC端启动代码后，在开发板上录制现场声音，把录制到的数据通过信号转化和格式转化等步骤整理好格式后放入缓存区，整理文件格式再播放出来，以达到音频采集的功能。（一）设计原理1.原理简述GEC6818开发板板用视频采集设备驱动程序的一套规范(API)，支持嵌Linux开发声音构架提供的设备接口进行摄像头和音频设备相关硬件的数据处理。Linux内核用一个被称为V4L2的机制来管理摄像头图像信息，原理是使用了YUV颜色空间，将RGB信号进行了处理，抓住人们亮度越大感官反映越强这一点，将亮度信号增强，同时把颜色信号减少，以“欺骗”人眼的手段来节省空间。它的核心工作就像日本料理店常见的流转餐桌，大厨将美食不断放到空盘子里，客人不断拿来吃。像是客人在吃回转寿司，摄像头就像站在中间的厨师，在获取数据；转台就像是开发板的内核API、代码和各类硬件，在处理数据并放上转台等待数据的取走；而开发板上的屏幕就像是客人，取整理好的数据文件并在屏幕上显示相关视频。而在音频采集系统中，声音经过采样、量化和编码的过程后整理好，并把数据存在计算机里。通过信号转化和格式转化等步骤，使用函数库录制和回放音频数据，最后整理成文件格式。（1）启动摄像头成功后，嵌入式设备内核检测外接设备，加载摄像头设备，在PC端的Linux系统上获取摄像头的驱动，以拍照形式把一帧帧图片拍下来，再循环播放，以达到视频播放的功能。（2）gec6818开发板上自带音频录制器，把录制到的数据放入缓存区，达到一定条件后，整理好再播放出来，以达到音频播放的功能。GEC6818开发平台支持嵌入式实时操作系统Linux开发，运用开发视频采集设备驱动程序的一套规范(API)如图1所示：图1.Linux视频采集系统硬件框图2.开发平台简介（1）开发平台名称：GEC6818开发平台（2）GEC6818开发板简述：核心板使用了多层板相接的设计，能保证运行代码功能时稳定可靠。可以大量用于开发现代科技科技产品，例如高端平板电脑、POS机、互动平台机、智能监控设备等多种领域。开发板上搭载的处理器是S5P6818，它是一款兼备着三星Cortex-A53系列高性能芯片的功能的八核处理器。使用的最高主频能够达到1.4GHz，可满足开发者对应用于嵌入式Linux操作系统的应用开发以及驱动开发。开发板存在丰富的外接设备。开发板还支持使用千兆上互联网速度，接口有以太网接口、UART接口、USB接口、IIC接口、SPI接口、ADC接口、HDMI接口等。图2GEC6818开发板3.芯片特性GEC6818开发平台采用三星最新的64位八核Cortex-A53架构的S5P6818芯片设计，它和S5P4418芯片管脚完全兼容，唯一不同的就是ARM内核不一样。二者芯片差异对照表如下：型号：S5P4418、S5P6818。

型号S5P4418S5P6818上市时间2014年10月2014年工艺制程28nm28nmCPU主频1.4G1.4G+封装尺寸0.65mm

引脚间距，17*17mm2513-FCBGA封装0.65mm引脚间距，17*17mm2513-FCBGA封装CPU架构Cortex-A9四核Cortex-A53八核缓存容量32KB*4I/D缓存，1MB二级缓存32KB*4I/D缓存，1MB二级缓存DDR3接口单通道32位数据总线，高达800MHz工作频率单通道32

位数据总线，高达800MHz工作频率多媒体解码H.263，H.264，MPEG1，MPEG2

，

MPEG4

，

VC1

，

VP8

，Theora，AVS，RV8/9/10，

MJPEG(几乎全格式)H.263，H.264，MPEG1，MPEG2，MPEG4，VC1，VP8，Theora，AVS，RV8/9/10

，MJPEG(几乎全格式)多媒体编码H.263，H.264，MPEG4，MJPEGH.263，H.264，MPEG4，MJPEG显示接口RGB，MIPI，LVDSRGB，MIPI，LVDS最大显示分辨率2048*12802048*1280以太网接口需通过地址总线扩展集成千兆以太网控制器GPIO电平3.3V3.3VADC8路12bit0~1.8V8路12bit0~1.8VUSB接口1HOST，1HSIC，1OTG1

OTG芯片ID128BITID号支持128BIT唯一ID号表2芯片特性

4.硬件资源GEC6818开发板平台，主要包含核心板、开发板底板，下面对这两部分进行介绍，具体内容如下：（1）核心板资源核心板概述：S5P6818核心板PCB采用的制作工艺是10层沉金工艺设计，具有优异的电气特性以及抗干扰特性，具有十分优越的稳定性和可靠性。核心板板载了充电管理系统，能使S5P6818芯片正常工作，6818开发板可以应用在控制工业、农业融合过程、通讯设备、测试仪器、无人驾驶汽车、船、飞机、火箭、军事装备、消费类产品以及其他各种工控领域。6818开发板使用了纳米级的制作工艺，基于八核ARMCortex-A53处理器架构，在多媒体性能上，开发板能对音视频进行解码，同时，在LCD控制器上，芯片板载多路控制接口，最高分辨率能够达到2048*1280。同时，开发板里面有千兆级控制器，令许多对网络开发的研发人员渴望在这个平台上进行开发。GEC6818开发平台几乎不可挑剔的性能能够展现芯片的非常巨大的价值，可以减少开发人员的开发时间。一开始在设计GEC6818嵌入式开发系统时，开发人员考虑了S5P6818芯片特性和非常多的实际场景。考虑系统的软件硬件一体化，并且最大限度地节约了用料成本，将芯片的性价比发挥出来，展现出芯片的价值，不仅在开发商，对于初学者而言，开发板平台的性价比值得用户的学习与借鉴。图3图4B.核心板特性GEC-S5P6818核心板具有以下特性：a.最佳尺寸，即保证精悍的体积又保证足够的GPIO口，仅75mm*55mm；b.使用PMU电源管理设计，在保证开发板在启用代码程序稳定的同时节省成本；c.开发板兼容多种不同产品硬件和多种emmc；d.使用单通道设计，默认存在1GB容量；e.支持电源休眠唤醒；f.支持Linux、android5.1等操作系统；g.板载千兆有线以太网；h.板载MIPI接口。核心板特性参数结构参数核心板尺寸75mm*55mm引脚间距2.0mm特点易更换、易维护表3结构参数系统配置CPUS5P6818主频64位八核1.4+GHz内存标配1GB，可定制2GB存储器4GB/8GB/16GB/32GBemmc可选，标配8GB电源

IC使用

AXP228，支持动态调频，库仑计等以太网使用

RTL8211E千兆以太网PHY表4系统配置接口参数LCD

接口同时支持

TTL、LVDS、MIPI接口输出Touch

接口电容触摸，可使用USB或串口扩展电阻触摸音频接口AC97/IIS

接口，支持录放音SD

卡接口2路SDIO输出通道emmc

接口板载emmc接口，管脚不另外引出以太网接口支持千兆以太网USBHOST

接口一路HOST2.0，一路HSICUSBOTG

接口一路OTG2.0UART

接口6

路串口，支持带流控串口PWM

接口4

路PWM输出IIC

接口2

路IIC输出SPI

接口1

路SPI输出ADC

接口2

路ADC输出Camera

接口1路CIF，1路MIPI输出HDMI

接口高清音视频输出接口，音视频同步输出VGA

接口使用

LCD

输出接口扩展启动配置接口无需启动配置，核心板自动适配表5接口参数电气特性输入电压3.7~5.5V(推荐使用5V输入)输出电压3.3V/4.2V(可用于底板供电及电池充电)工作温度-40~80度储存温度-10~80度表6电气特性D.引脚定义核心板引脚定义1引脚编号信号引脚编号信号1LCD_PWM28LCD_CLK2LCD_EN29LCD_DE3LCD_RESET30LCD_HSYNC4LCD_R031LCD_VSYNC5LCD_R132GPIOE136LCD_R233MCU_SDA_07LCD_R334MCU_SCL_08LCD_R435MCU_HDMI_CEC9LCD_R536MCU_HDMI_HPD10LCD_R637MCU_HDMI_TXCN11LCD_R738MCU_HDMI_TXCP12LCD_G039MCU_HDMI_TX0N13LCD_G140MCU_HDMI_TX0P14LCD_G241MCU_HDMI_TX1N15LCD_G342MCU_HDMI_TX1P16LCD_G443MCU_HDMI_TX2N17LCD_G544MCU_HDMI_TX2P18LCD_G645GND19LCD_G746MCU_LVDS_CLKM20LCD_B047MCU_LVDS_CLKP21LCD_B148MCU_LVDS_Y3M22LCD_B249MCU_LVDS_Y3P23LCD_B350MCU_LVDS_Y2M24LCD_B451MCU_LVDS_Y2P25LCD_B552MCU_LVDS_Y1M26LCD_B653MCU_LVDS_Y1P27LCD_B754MCU_LVDS_Y0M表7核心板引脚定义1核心板引脚定义2引脚编号信号引脚编号信号55MCU_LVDS_Y0P73MIPICSI_DN056MIPIDSI_DP374MIPICSI_DP057MIPIDSI_DN375MIPICSI_DNCLK58MIPIDSI_DP276MIPICSI_DPCLK59MIPIDSI_DN277CAM_H60MIPIDSI_DP178CAM_V61MIPIDSI_DN179CAM_CLK62MIPIDSI_DP080CAM_D063MIPIDSI_DN081CAM_D164MIPIDSI_DPCLK82CAM_D265MIPIDSI_DNCLK83CAM_D366MIPIDSI_VREG84CAM_D467MIPICSI_DN385CAM_D568MIPICSI_DP386CAM_D669MIPICSI_DN287CAM_D770MIPICSI_DP288MCU_CAM1_MCLK71MIPICSI_DN189CAM_PN72MIPICSI_DP190CAM_RST表8核心板引脚定义2核心板引脚定义3引脚编号信号引脚编号信号91CAM_PD118UARTTXD192GPIOB8119UARTRXD093MCU_CAM1_D7120UARTTXD094MCU_CAM1_D4121GND95MCU_CAM1_D3122VBAT96MCU_CAM1_D2123VBAT97MCU_CAM1_D1124+5V_IN98MCU_CAM1_D0125+5V_IN99MCU_I2S_MCLK126VBAT_SYS100MCU_I2S_BCK127GND101MCU_I2S_SDIN128LINK_LED102MCU_I2S_SDOUT129SPEED_LED103MCU_I2S_LRCK130MDI0_P104MCU_HP_DET131MDI0_N105SPDIF_TX132MDI1_P106SPDIF_RX133MDI1_N107MCU_KEY_VOLDN134MDI2_P108MCU_KEY_VOLUP135MDI2_N109MCU_NRESETIN136MDI3_P表9核心板引脚定义3核心板引脚定义4引脚编号信号引脚编号信号145DC5V_OTG163MCU_SD1_D0146SEN0_INT164MCU_SD1_D1147MCU_OTG_PWRON165MCU_SD1_D2148GPIOC11166MCU_SD1_D3149GPIOC7167MCU_SD0_CD150GPIOC12168MCU_SD0_D3151ADC1169MCU_SD0_D2152ADC0170MCU_SD0_D1153PWM2171MCU_SD0_D0154SPI_WP172MCU_SD0_CMD155SPIFRM0173MCU_SD0_CLK156SPIRXD0174RTC157SPITXD0175VCC3P3_SYS158SPICLK0176MCU_SCL_2159IR177MCU_SDA_2160MCU_SD1_CD178MCU_SCL_1161MCU_SD1_CLK179MCU_SDA_1162MCU_SD1_CMD180TOUCH_INT表10核心板引脚定义4E.电路框图图5电路框图(2).开发板底板资源A.开发板底板简介B.平台硬件接口介绍硬件接口标号名称说明【1】UART4通用串口4，TTL电平【2】UART3通用串口3，TTL电平【3】UART2通用串口2，TTL电平【4】UART1通用串口1，RS232

电平【5】UART0调试串口0(默认调试口，RS232电平)【6】HDMI

接口HDMI输出接口【7】LVDS接口接LVDS接口的液晶屏【8】LCD

接口RGB输出接口【9】SD

卡，CH0SD卡，使用通道0【10】SD

卡，CH1SD卡，使用通道1【11】POWER开关电源控制开关，K5【12】按键，返回独立按键，K2【13】按键，音量减独立按键，K3【14】按键，音量加独立按键，K4【15】按键，菜单独立按键，K6【16】蜂鸣器支持有源蜂鸣器【17】硬复位按钮硬复位，K1【18】电池接口单节4.2V锂电池接口【19】5V电源接口直流电源输入口【20】USBOTGUSBOTG接口【21】USBHOST1HUB

芯片扩展，HOST【22】USBHOST2HUB

芯片扩展，HOST【23】千兆以太网接口RT8211E接口【24】GPIO

接口SPI、UART、ADC

设备扩展【25】摄相头接口标准24PIN并口摄相头接口【26】摄相头接口26PINMIPICSI摄相头接口【27】音频接口MIC输入接口、音频输出接口【28】锂电池座3V锂电电池【29】红外接收头HS0038红外一体化接收头【30】扩展板GPIOGPIO、LCD、总线等表12硬件接口C.常用接口说明a、电源接口 图7简述：开发平台总电源接口为CN1，如7图所示，提供的电源适配器的输出电压为DC5V。b.调试串口图8简述：开发板上的RS232串口，通过开发板附带的232串口线连接开发板和PC端，从而可以进行板子与电脑传输数据。3、USBOTG接口图9简述：这个接口的作用是实现程序烧写，一般烧写到板子上的方法为RS232线烧写。4、以太网接口图10简述：开发平台支持千兆有线以太网接口，板载RTL8211E，用户可以通过有线以太网上网，体验极速网络。5、HDMI接口图11简述：HDMIHDMI图12简述：该接口是针对不同型号的摄相头，只需按照摄相头的规格，调整一下输出电压就可以将视频投射在所连接的显示屏上。camera接口（MIPICSI接口）图13简述：可接摄像设备，用于视频的播放和录制。8、音频接口图14简述：可直接接耳机，用于音频的播放和录制。9、USBHOST接口图15简述：S5P6818USBHOSTHOST3USBHOST2.0接口，其2USBWIFI，USB个用于总线扩展。图16简述：40PINLCD接口（底板背部位置），RGB图17简述：电容触摸显示屏。方案选择在内核自带的所有API接口中，笔者选择了视频采集系统fmpeg的V4L2库以及音频采集系统中的ALSA库。以下是选择该方案的的说明：Video4Linux下USB摄像头驱动和视频采集的实现使用的内核自带API接口：Video4Linux（V4L2）。V4L2是linux系统开发视频采集驱动程序的规范代码。V4L2程序代码提供了非常多的接口，可以将视频采集系统里的驱动全部都放进内核源码的管理里。它可以给编程人员的程序工作带来便捷方便，容易使用、移植V4L2相关视频应用程序的编写和移植的代码。V4L2用于对I/O口的系统操作来采集数据，一般用于连续视频数据的采集，或者常用于静态图片数据的采集。字符设备编码核心--V4L2本来是字符设备，查看字符设备的设备号，取设备号并设置相应的功能和作用，并提供接口。V4L2驱动核心是构建一个内核中标准视频设备驱动的框架，为视频操作提供统一的接口函数。V4L2接口介绍V4L2有以下几种接口：（1）视频采集接口:V4L2一开始的设计者设计出来的就是应用于视频采集功能的内核自带代码。（2）视频输出接口:可以驱动外围视频图片数据设备，例如：输出电脑屏幕图像信号数据的设备。（3）直接传输接口:从视频采集而来的信号传输到输出设备里并显示出来，不需要经过计算机的处理器。2对摄像头的静态图片采集流程。往开发板上插摄像头，通过在USB接口上外接一个USB摄像头，会弹出相应提示，同时使用ls/dev/可以查看是否有vedio的驱动文件，如果有则说明有驱动。操作过程如下所示：打开设备文件；

（2）取得设备号，查看所有的功能，例如：是否具有视频输入输出，或者是视频交换数据的握手流程。

（3）初始化设备对应的设备号和设备参数，设备参数例如有图像的宽度、色彩等。向驱动申请帧缓冲，一般申请4个缓冲区已经足够。

（5）将申请到的帧缓冲区映射至用户空间，直接操作采集到的数据帧。

（6）将申请到的帧缓冲在视频采集输入队列排队，存放采集到的数据。

（7）开始视频的采集。

（8）出队列、取得一开始就采集到的视频图像数据。

（9）将被取掉数据的帧缓冲区重新列入队列尾，无限循环往复地采集，直至控制停止。

（10）停止视频的采集。

(11)关闭视频设备。Video4Linux下音频采集的实现采用ALSA的内核自带API接口。ALSA是Linux系统声音的架构，ALSA在Linux平台提供音频和设备相关的丰富的接口，开发人员在使用内核自带代码来编程、开发程序会更加方便，细节方面则可以留给函数库内部处理数据。ALSA不仅给程序编程带来非常大的便捷，方便了编程者的开发，也方便了应用程序的编写和移植。许多开发人员使用ALSA开发音频程序的原因是：ALSA是声音开发项目中的程序标准，在linux平台上可兼容于后面许多个平台版本，和其它软硬件能兼容，减少开发难度。关于音频采集系统的代码，需要用到各个linux系统调用来控制音频的输入、输出等操作，它为开发人员带来了实用简洁方便的音频库，在开发相关项目和程序的时候，整理、调节某些音频的问题可以留给音频库处理。2、使用ALSA开发音频程序

.要采集、录制视频，可以理解为将一帧帧图像在开发板上以极短的速度切换，通过快速连续地播放图片来“欺骗”人的眼睛，从而形成流畅的视频。可以申请多个帧缓冲区，录制图片放入缓冲区里，应用程序再采集循环的缓冲区，从而达到连续的图片流畅播放形成视频的目的。使用函数控制设备。V4L2程序提供了非常丰富的内核自带API接口来实现函数对视频采集系统的代码编程，ov9650式USB接口摄像头的程序中提供了的I/O操作函数，使用基本函数可以映射录制下来的数据到内存里，提供了简洁的开发编程方法。具体操作如下:打开设备。配赠设备。配赠内存映射。开始采集。读取缓存区。图像处理。停止采集。取消内存映射。关闭设备。

分析问题音频信号是模拟信号，他是连续多变的，而且处理器只能处理和存储二进制的数字信号，由音源得到的音频信号必须经过转化器的转化，变成数字音频信号后，才可以被储存在计算机里。声音属于模拟信号，在转换过程中需要分3步进行，分别是：1.采样；2.量化；3.编码。可以使用开发板自带的信号处理器来进行数字信号的处理，板载的芯片是处理音频信号的专用芯片。声卡使用它来转换模拟信号和数字信号。在从DSP设备读取数据时，从声卡输入的模拟信号经过转换器变成数字采样后的样本，保存在声卡驱动程序的内核缓冲区中，一旦程序通过调用从相关硬件读取数据时，保存在内核缓冲区中的数字采样结果将映射到代码所规定好的的缓冲区里面。在向设备写入已经处理好的音频数据的时候，数字信号会转化成模拟信号，能产生出人能听到的频率范围内的声音。通过内核ALSA库提供API接口函数，应用程序能够访问声卡驱动程序提供的音频设备接口。设计过程声音属于模拟信号，需要A/D转换器将其转换为数字信号后才可以被存储在计算机中。在我们需要实现这些操作时，ALSA库提供了大量的接口。在声音系统读取数据、声音系统写入数据的过程中，录制到的声音模拟信号数据有规定好的格式。如果录制到的一开始的默认值未达到我们人耳能听到的声音频率的要求，开发人员需要通过系统调用来改变声音的相关设备参数。打开音频设备文件，应该为音频设备文件设置合适的能听到声音的格式，然后才能从声卡读取或者写入数据。设置音频设备播放参数的时候，参数设置偏差会导致音频设备不能工作或不能正常工作运行。所以在设置参数前，我们需要熟悉各个录制音频系统参数的含义以及相关的我们能听到声音的频率和机器播放声音正常的参数概念。应用程序通过V4L2接口采集视频数据分为以下步骤：打开音频设备为设备设置读写参数向音频设备读/写音频数据关闭数据 作为依赖6818开发板的一个项目，需要把空白的开发板烧写相关的Linux系统进去开发板里，让开发板有根文件系统，以用来操作从PC端传输来的数据。开发板操作（1）.开发板的启动6818开发板硬件配置固定了开发板启动顺序如下：ATF卡启动BEMMC启动CUSB启动TFSD0SDSD0EMMC(SD2)EMMC中已经烧录USB启动。（2）.开发板的烧录出厂时会烧写或者固化其中一个操作系统在里面。SDUSBeMMC储存器中（ROM），以下简称为“‘刷机”。方法一：通过fastboot工具，USB下载方式方法二：通过SD卡方式fastbootLinuxandroiduboot（引导程序ubootfastboot功能，在板子不存在uboot时，使用SD卡烧写方式。fastbootusb与开发板，让电脑能够通过串口与开发板通信。这里使用上述的方法一，通过fastboot工具，USB下载方式，具体方案操作如下：使用fastboot烧写镜像一.终端仿真程序secureCRT的下载安装（一）secureCRT程序安装好之后，打开，如图18点击快速链接：图18将串口线连接好设备管理器，查看