基于qt的视频实时显示及图片处理课设报告

嵌入式系统课程设计报告 湖北汽车工业学院 Hubei Automotive Industrise Institute课程设计说明书课程名称 嵌入式系统课程设计 设计题目 于QT的视频实时显示 班号 T1123-1 专业 计科 学号 学生姓名 指导教师（签字） 起至日期 2014 年 9 月 23 日 2014 年 10 月 11 日 目 录一 目的与要求 11.1 课设目的 11.2 任务概要 11.3 基本要求 1二 设计的内容 22.1 系统功能描述 22.2 开发工具 22.3 基本原理 2 2.3.1 摄像头驱动 2 2.3.2 图像处理 3三 各功能实现方案 53.1 摄像功能 53.1.1 类定义 53.1.2 类实现 53.2 图片处理 5四 测试与调试 124.1 整体性能测试 124.2 各功能测试 12总结与体会14参考文献15 - 5 - 一、 目的与要求1.1课设目的本课程设计的目的是,通过本课程设计，提高学生的分析问题、解决问题的能力，巩固嵌入式系统的基本理论知识，进一步了解和掌握课程中所讲授的概念、方法。同时通过本课程设计，全面综合应用所学过的基础知识，建立一个完整的嵌入式系统的开发过程的概念，并掌握其中的主要原理和方法。本课程设计的目的是通过开发一个摄像头的驱动程序，使学生了解嵌入式产品开发的主要步骤，包括驱动程序的设计，从而培养学生独立完成比较复杂的实际系统设计的能力。1.2任务概要熟悉 V4L2 相关概念及编程方法；熟悉使用 Qt 与 V4L2 结合编程方法。使用QT与V4L2结合编程来开发一个摄像头的驱动实现视频实时显示功能，并实现相应的图形处理功能。1.3基本要求1）、完成摄像头驱动，实现视频的实时显示功能；2）、截取视频中的一帧，并对其进行任意图像变换，可选择拉伸、收缩、扭曲、旋转、灰度化、二值化、均值滤波、中值滤波、频域变换和直方图分析等。二 、总体设计2.1系统功能描述本系统采用QT与V4L2结合编程方法，实现的主要功能有： 1）、用外接的USB摄像设备来采取实时图像，并将其显示在开发板的LED屏幕上； 2）、通过点击LED屏幕来完成拍照（截取一帧图片），并显示图片； 3）、对照片（保存的图片）进行处理（包括放大、缩小、旋转、扭曲、灰度化、直方均衡化等）。2.2开发工具及开发环境 1）、计算机环境：XP系统，VM8.0，Linux系统（虚拟机）。2）、试验箱环境：DYV-1型嵌入式车载多媒体试验箱3）、其他工具： 串口线（连接计算机与试验箱）， 罗技C270摄像头（USB接口）。4）、相关资料： 摄像头驱动程序代码（camera.tar.gz）。2.3基本原理2.3.1 摄像头驱动 1）、video4linux简介： Video4linux（简称 V4L),是 linux 中关于视频设备的内核驱动,现在已有 Video4linux2，还未加入 linux 内核，使用需自己下载补丁。在 Linux 中，视频设备是设备文件，可以像访问普通文件一样对其进行读写，摄像头在/dev/video0 下。2）、Video4linux 下视频编程的流程 打开视频设备：l 读取设备信息l 进行视频采集，两种方法: n 内存映射n 直接从设备读取l 对采集的视频进行处理l 关闭视频设备。3）、摄像功能：帧率：每秒从视频设备中读取的次数，可以自行调整。分辨率：图像像素分布的密集程度，本系统中的分辨率初始值设置为320*240.拍照：从保存视频的缓存区中取出一帧，并将其显示并保存文件格式。本系统中的图片格式为*.JPG。2.3.2 图片处理1）、旋转 将图片往预定的方向旋转任意角度。 图像的旋转涉及到坐标系的变换： X轴Y轴 X轴 Y轴 图像的输出坐标系数学坐标系旋转过程中坐标系的变换：输出坐标系-数学坐标系-旋转-输出坐标系。旋转矩阵的推导：由此可得到旋转公式：其中num1和num2是与X和Y无关的变量。2）、放大 将图片的宽和高同比放大任意倍数。放大原理：将像素对应的灰度值放在原坐标系乘以放大系数得到的新坐标系中，从而实现图片的放大。图片的放大系数越大，得到的额放大图像越大，相应的新图像单位面积内的像素点就少，所以图像放大的越大，图像越模糊。3）、缩小将图片的宽和高同比缩小任意倍数。缩小原理：与放大正好相反，略。4）、灰度化 原理：图像上的像素都是有RGB 3位整形数据组成的灰度值。RGB分别对应色光三原色中的红绿蓝，每种颜色的范围都是0255。如果图像的R、G、B都为0，则图像只有单一的黑色，如果图像的R、G、B都是255，则图像只有单一的白色，如果图像中的每一个像素都有R=G=B，则图像就是灰色的，也就是我们要得到的灰度化图像。因此，图像的灰度化只要处理图像使其R=G=B即可。5）、扭曲 原理：原理与旋转类似，都是对像素的坐标进行变换，得到一个扭曲的坐标，从而实现图片的扭曲。三、各功能的实现方案3.1摄像功能3.1.1类定义 class VideoDevice : public QObject Q_OBJECTpublic: VideoDevice(QString dev_name);/初始化视频设备 int open_device();/打开设备 int close_device();/关闭设备 int init_device();/载入设备的参数信息 int start_capturing();/开始捕获图像 int stop_capturing();/停止捕获 int uninit_device();/卸载设备 int get_frame(void *, size_t*);/获取帧 int unget_frame();/停止获取private: int init_mmap();/将信息写入内存空间 struct buffer /定义缓存空间 void * start; size_t length; ; QString dev_name; int fd; buffer* buffers; unsigned int n_buffers; int index;signals: void display_error(QString);3.1.2类实现 祥见附件源代码。3.2图片处理 1）、拍照： if(i=0) label-close(); memcpy(qq, pp, 320 * 240/*QWidget:width()*QWidget:height()*/* 3 * sizeof(char);/从视频的缓存区中提取一帧 photo-loadFromData(uchar *)qq,/*len*/320 * 240 * 3 * sizeof(char);/将提取的帧提取为Qimage形式并放在指定的空间中 photo-save(123.jpg); /将图片保存为*.jpg格式 label1-setPixmap(QPixmap:fromImage(*photo,Qt:AutoColor);/用label控件显示图片 i=1; 2）、旋转：void ProcessImage:xuanzhuan() QImage image2;定义原始图片名 image2=QImage(123.jpg).scaled(320,240);/读取图片文件 int i,j; double seita,senta;/定义角度，弧度变量 int w=320,h=240,wnew=640,hnew=480;/设置原始图片的尺寸和新图片的尺寸 double x,y,x1,y1;定义坐标变量，x,y为原坐标，x1,y1为新坐标 seita=60;/定义旋转角度 senta=3.14159/180*seita;/度数转化为弧度数 QRgb rgb00;/返回值为整形的灰度值 int r1=0,g1=0,b1=0;/灰度值 QImage SouImage;/定义新图片 SouImage=QImage(640,480,QImage:Format_RGB888);初始化新图片 for(i=0;iwnew;i+)/遍历图片像素 for(j=0;j=0&ceil(x1)=0&ceil(y1)resize(SouImage.width(),SouImage.height(); label2-setPixmap(QPixmap:fromImage(SouImage);/显示图片3）、放大oid ProcessImage:ShowSouPic() QImage image2; image2=QImage(123.jpg); double x,y,r1,r2,g1,g2,b1,b2; int i,j; QRgb rgb00,rgb01,rgb10,rgb11; int r,g,b; QImage SouImage; SouImage=QImage(320/*width*/*1.2/*width_bi*/,240/*height*/*1.2/*height_bi*/,QImage:Format_ARGB32); for(i=0;i320*1.2;i+) for(j=0;jresize(SouImage.width(),SouImage.height(); label1-setPixmap(QPixmap:fromImage(SouImage);4）、缩小 方法同放大，祥见源代码。5）、灰度化 QImage image; image =QImage(123.jpg).scaled(320,240);/读取原图像文件 int w,h; w = image.width();/获取图片尺寸 h = image.height(); QImage iGray(w,h,QImage:Format_RGB32); for(int i=0; iw; i+)/遍历图像 for(int j=0;jsetPixmap(QPixmap:fromImage(iGray);/显示6）、直方均衡化QImage image1; image1=QImage(123.jpg); QImage ImageAverage; ImageAverage=QImage(320,240,QImage:Format_RGB888); int w,h; QRgb rgb; int r255,g255,b255;/原图各个灰度数量的统计 int rtmp,gtmp,btmp,rj,gj,bj; float rPro255,gPro255,bPro255;/原图各个灰度级的概率 float rTemp255,gTemp255,bTemp255;/均衡化后各个灰度级的概率 int rJun255,gJun255,bJun255;/均衡化后对应像素的值 memset(r,0,sizeof(r); memset(g,0,sizeof(g); memset(b,0,sizeof(b); /获取原图各个灰度的数量 for(w=0;w320;w+) for(h=0;h240;h+) rgb=image1.pixel(w,h); rqRed(rgb)+; gqGreen(rgb)+; bqBlue(rgb)+; /获取原图各个灰度级的概率 for(w=0;w=255;w+) rProw=(rw*1.0)/(320*240); gProw=(gw*1.0)/(320*240); bProw=(bw*1.0)/(320*240); /均衡化后各个灰度级的概率，同时获取均衡化后对应像素的值 for(w=0;w=255;w+) if(w=0) rTemp0=rPro0; gTemp0=gPro0; bTemp0=bPro0; else rTempw=rTempw-1+rProw; gTempw=gTempw-1+gProw; bTempw=bTempw-1+bProw; rJunw=(int)(255*rTempw+0.5); gJunw=(int)(255*gTempw+0.5); bJunw=(int)(255*bTempw+0.5); for(w=0;w320;w+) for(h=0;hresize(320,240); label1-setPixmap(QPixmap:fromImage(ImageAverage); 四、测试与调试4.1 整体性能测试系统运行良好，运行过程中没有出现意外退出和程序中断等其他BUG。内存占用方面，因为没有专业的测试手段，所以无法有效评价，但是没有出现内存溢出等状况。4.2各功能测试4.2.1拍照拍照功能正常实现，能正常完成拍照与保存图片的功能。图为保存的图片： 图2.1-14.2.2灰度 能正常实现图片的灰度化处理。图为对比图，左边的为原图： 图2.2-1 图2.2-24.2.3旋转 旋转功能正常实现，并且能完成任意角度的旋转功能。图为对比图，左边的为原图： 图3.1-1 图3.1-24.2.4放大缩小 放大缩小功能实现，图片从左到右依次为原图，放大，缩小。 图4.1-3图4.1-1 图4.1-24.2.5直方均衡化 直方均衡化实现，图为效果图： 图5.1-1五、总结与体会截止今日，本次的课程设计已经结束。在这次课程设计中我学到了很多，从对V4L2的一无所知，到能够熟练的使用V4L2对摄像头进行操作；从对图像构成的一无所知，到能够熟练的用自己所学的知识对图像进行非常有意思的处理。最开始对V4L2一无所知，对课设也充满了茫然，但是从我动手将摄像头接入开发板，从我从LED屏幕上看到头像的时候，我对此次的课设充满了兴趣，也有了做下去的动力。一次又一次的浏览网页，从海量的资源中找出一点对自己有用的东西，渐渐的，LED上的图像能够发生变化，我也在这个过程中学到了很多QT中对图像处理的函数，并能够用这些函数来对图像进行处理。然而，当我将我做出的东西给老师看的时候，老师又提出了新的要求，他让我将程序中调用的QT中的功能函数用代码实现。我懵了，因为我完全不了解图像是怎么保存的，也不知道所谓的操作和处理对图像中的什么元素进行了怎样的变换。于是我开始查找资料，了解到图像文件的存储方式，也学到了什么是像素，什么是灰度值等一些以前从未接触过的东西。为了明白灰度值对图像的影响，我玩了3天的Photoshops，明白了灰度的作用，同时也意外的完成了PS的入门。为了搞清楚图像旋转和放大缩小问题，我又复习了高数和线性代数，对已经放下的矩阵等又有了新的掌握，也成功的推导了旋转矩阵和旋转公式。在这里我要感谢吴老师不厌其烦的教导，几乎是手把手的教我推导旋转公式，细心的为我检查程序中的错误，当我成功的做出图片旋转的功能时，老师也为我感到开心。再次感谢老师。六、参考文献1、佚名 ，V4L2视频实时显示 CP,来源：CSDN论坛.2、佚名， 图像处理 OL,来源：清风飞扬的Blog. 3、佚名， 图像的旋转 OL，来源：百度文库，PPT附件：大学本科生毕业论文(设计)规范一、毕业论文（设计）格式规范一份完整的毕业论文（设计）材料一般应包括下列内容：（一）题目；（二）目录；（三）论文主体（包括中英文摘要及关键词；正文；致谢；参考文献等）；（四）附录。具体分述如下： （一）题目题目应力求简短、精确、有概括性，直接反映毕业论文（设计）的中心内容和学科特点。题目一般不超过20个汉字，如确有必要，可用副标题作补充。（二）目录毕业论文（设计）必须按其结构顺序编写目录，要求层次分明，体现文章展开的步骤和作者思路。目录格式是论文的结构层次，反映作者的逻辑思维能力，所用格式应全文统一，每一层次下的正文必须另起一行。目录独立成页，以章、节、小节来编排。(三) 论文主体1、中英文摘要及关键词摘要一般不分段，不用图表，以精炼的文字对毕业论文（设计）的内容、观点、方法、成果和结论进行高度概括，具有独立性和自含性，自成一篇短文，具有报导作用。中文摘要一般以200-300个字为宜。关键词是反映毕业论文（设计）内容主题的词或词组，一般35个。其中英文摘要与中文摘要基本对应，英文关键词之间用分号分开，最后一个关键词后不加任何标点。2、正文包括引言、正文、结论等部分。（1）引言引言也称前言、导论、导言、绪言、绪论等。它的作用是向读者初步介绍文章的背景和内容，通常包括以下几个方面：为什么写这篇文章，要解决什么问题；论文的主要观点；与课题相关的历史回顾；写作资料的来源、性质及其运用情况，论文的规划和简要内容；研究中的新发现；课题的意义等。（2）正文正文是论文的核心部分，是作者学术理论水平和创造性工作的综合体现，是作者运用掌握的材料与方法进行论证、得出结论的部分，其任务是分析问题和解决问题。根据不同论文研究的课题性质、研究方法的不同，理论型、实验型和描述型论文的正文格式和写法不尽相同，但他们的要求是一致的。即：主题明确：全文围绕主题展开讨论，不离题；论证充分：有观点、有思路、有材料、有说服力；结论清楚：研究导出的结论不含糊、易理解；逻辑严密：文字精炼流畅、条理清晰。（3）结论结论是论文要点的回顾和提高，是整个研究过程的结晶，是全篇论文的精髓。结论中应对本篇论文解决了什么问题，得出了什么规律，存在什么问题给出明确的回答。撰写结论时，要注意精炼准确、总结提高、前后呼应。3、致谢（无必要时可省略）以精练的文字，对在毕业论文（设计）工作中直接给予指导、帮助的人员表示谢意，言辞恳切，实事求是。4、参考文献毕业论文（设计）须在论文的最后列出参考文献。参考文献应以公开发表过的、作者真正阅读过的、与论文密切相关的或直接引用的为限，未发表过的论文、试验报告、内部资料等不宜列入。参考文献的列写必须严格按照毕业论文（设计）中引用的先后顺序依次列写。参考文献的列写格式，详见“毕业论文（设计）的书写规范与打印要求”。(四)附录（无附录时可省略）凡不宜收入正文中的、又有价值的内容可编入毕业论文的附录中。如：大号的设计图纸；篇幅较大的计算机程序（但以研究软件程序为主的毕业论文题目，其程序可作为正文的一部分）；过长的公式推演过程。其它内容如译文及原文、专题调研报告、文献综述等可另行装订成册。二、毕业论文（设计）的书写规范与打印要求（一）书写规范1、 引用有关政策、方针性内容务必正确无误，不得泄漏国家和单位机密。2、使用普通语体文写作，体例统一，文句通顺，无语法错误，简化字符合规范，标点符号使用正确，符号的上下角标和数码要写清楚且位置准确。3、采用中华人民共和国国家标准（GB31003102-93）规定的计量单位和符号，单位用正体，符号用斜体。4、使用外文缩写代替一术语时，首次出现的，应用括号注明其含义，如CPU(Central Processing Unit,中央处理器)。5、国内工厂、机关、单位的名称等应使用全名，如不得把“大学”简写成“衡阳师院”或“衡师院”。6、公式应另起一行并居中书写，一行写不完的长公式，最好在等号处或在运算符号处转行。公式编号用圆括号括起，示于公式所在行的行末右端。公式编序可以全文统一，依前后次序编排，也可以分章节编排，但二者不能混用。文中公式、表格、图的编排应统一。7、文中引用某一公式时，应写成：“由式（5）可知”。8、文中表格可以全文统一编序，也可以逐章独立排序，表序必须连续。文中引用表格时，“表”在前，序号在后，如：“见表8”。 表格格式可采用三线表，表格的名称和编号应居中，并位于表格上方，表序在前，表名在后，其中空一格，表名末不加标点符号。如： 9、文中插图都应有名称和序号，可以全文统一编序，也可以逐章独立排序，图序必须连续。文中引用插图时，“图”在前，序号在后，如：“见图12”。图的名称和编号应居中并写于图的下方，图序在前，图名在后，其中空一格，末尾不加标点。如： 插图应用Word文档绘制，或用CAD绘制后插入，不得用铅笔、钢笔、圆珠笔等绘制（特殊情况除外）。10、“正文”中如对某一术语或情况需加解释而又不宜写入正文时，应在此“术语”或“情况”后引入注释符号，置于右上角，有多个注释时，应依次编号，如：、。11、参考文献的书写格式：参考文献采用宋体5号字。正文引用参考文献依次编序，其序号用方括号括起上标注出。如“效率可提高25%2”,表示此结果援引自文献2。各类参考文献的编排格式及示例如下：a. 专著、论文集、学位论文、报告序号作者.文献题名文献类型标识.出版地:出版者,出版年.起止页码.1刘国钧,陈绍业,王凤翥.图书馆目录M.北京:高等教育出版社,1957,15-18.2辛希孟.信息技术与信息服务国际研讨会论文集:A集C.北京:中国社会科学出版社,19943张筑生.微分半动力系统的不变集D.北京:北京大学数学研究所,1983.4冯西桥.核反应堆压力管道与压力容器的LBB分析R.北京:清华大学核能技术设计研究院.1997.b. 期刊文章序号作者.文献题名J.刊名,年,卷(期):起止页码.5何龄修.读顾城南明史J.中国史研究,1998,(3):167-173.6金显贺,王昌长,王忠东,等.一种用于在线检测局部放电的数字滤波技术J.清华大学学报(自然科学版),1993,33(4):62-67.c. 论文集中的析出文献序号析出文献作者.析出文献题名A.原文献作者(任选).原文献题名C.出版地:出版者,出版年.析出文献起止页码.7钟文发.非线性规划在可燃毒物配置中的应用A.赵玮.运筹学的理论与应用中国运筹学会第五届大会论文集C.西安:西安电子科技大学出版社,1996.468-471.d. 报纸文章序号作者.文献题名N.报纸名,出版日期(版次).8谢希德.创造学习的新思路N.人民日报,1998-12-25(10).e. 国际、国家标准序号标准编号,标准名称S.9GB/T 16159-1996,汉语拼音正词法基本规则S.f. 专利序号专利所有者.专利题名P.专利国别:专利号,出版日期.10姜锡洲.一种温热外敷药制备方案P.中国专利:881056073,1989-07-26.g. 电子文献序号作者.电子文献题名电子文献及载体类型标识.电子文献的出处或可获得地址,发表或更新日期/引用日期(任选).11王明亮.关于中国学术期刊标准化数据库系统工程的进展EB/OL./pub/wml.txt/980810-2.html,1998-08-16/1998-10-04.12 万锦堃.中国大学党报论文文献(1983-1993).英文版DB/CD.北京:中国大百科全书出版社,1996.h. 各种未定义类型的文献序号作者.文献题名Z.出版地:出版者,出版年. 徐超.氧化锌的制备、改性及其光催化研究 学位论文硕士 2010:22-23贺敏强 表面分子印迹微/纳米复合材料的制备及其性能研究博士论文2012张邦文, 谢长生, 胡军辉, 王辉虎, 桂阳海. 金属纳米粒子在聚合物中的磁致排列实验及分子动力学模拟. 高等学校化学学报, 2006, 26(11): 2131-2134注：A-论文集中的文章；J期刊；C论文集；M书；N报刊；D学位论文；S标准；P专利；EB/OL电子文档参考文献与注释的区别参考文献是作者写作论文时所参考的文献书目,一般集中列表于文末；注释是对论文正文中某一特定内容的进一步解释或补充说明，按序列在文末参考文献前。参考文献序号用方括号标注，注释用数学加圆圈标注（如、）。（二）毕业论文（设计）打印要求1、毕业论文（设计）应按规定格式用激光打印机单面打印，纸张大小一律使用国际标准A4型复印纸。2、页面设置：版心为297210mm；上下页边距均为3cm，左页边距为2.5cm,右页边距为2cm，装订边0.5cm；页码居中；其余设置采取系统默认设置。 3、论文题目：使用三号黑体字，加粗，居中放置。4、系、专业、学号、作者姓名、指导教师姓名（小四号宋体字，加粗），依次排印在论文题目下（上空二行，居中）。系 专业（学号）（姓名）指导教师5、摘要（上空二行，缩进2个汉字字符）中文摘要采用宋体五号字，英文摘要采用五号“Time New Roman”字型；行距设置为固定值22磅。摘要（宋体，五号字，加粗）（宋体五号字）6、关键词中文关键词采用宋体五号字，英文关键词采用五号“Time New Roman”字型；行距设置为固定值22磅。关键词（宋体，五号字，加粗）；（宋体五号字）7、目录每章题目用黑体字，每节题目用宋体字，并注明各章节起始页码，题目和页码用“”相连，如下所示：目 录（黑体四号字）（自然空二行）1. （1）（黑体小四号字）1.1 （2） （宋体五号字） 1.1.1 （6） （宋体五号字） 2. （40） （黑体小四号字） 8、正文字体要求每章题目左顶边、黑体四号字；每节题目左顶边、黑体小四号字；每小节题目左顶边、黑体小四号字。正文文字用宋体小四号汉字和小四号“Times New Roman”英文字体，每自然段首行缩进2个汉字字符。9、行间距要求正文行距设置：设固定值22磅。每章题目与每节题目之间的行距设置：段前1行、段后1 行。 每节题目与小节题目之间的行距设置：段后0.5 行。10、正文章节序号编制章，编写为：1. ，2.， 3.，。节，编写为：1.1、1.2，2.1、2.2。小节，编写为：1.1.1, 1.1.2。小节以下层次，先以括号为序，如（1），（2）；再以圈圈为序，如, 。正文字体、行间距要求及章节序号编制如下所示：1 （黑体四号字，段前1行、段后1行）1.1 （黑体小四号字，段后0.5行）- - - - - - - -（内容省略）- - - - - - （宋体小四号字，首行缩进2个汉字字符） 1.2 （黑体小四号字，段前0.5行、段后0.5行）- - - - - - - - -（内容省略）- - - - - - - - - - - - - - - - - -1.2.1 （黑体小四号字） - - - - - - - - -（内容省略）- - - - - - - - - - - - - - - - - -1.2.2 - - - - - - - - -（内容省略）- - - - - - - - - - - - - - - - - - 22.1 - - - - - - - - -（内容省略） - - - - - - - - - - - - - - - - -2.2 - - - - - - - - -（内容省略）- - - - - - - - - - - - - - - - -11、毕业论文（设计）打印顺序依次为：论文题目 系、专业、学号、作者姓名、指导教师姓名 摘要 关键词 目录 正文 文后注（可省项）参考文献 英文题目、系、专业、学号、作者姓名、指导教师姓名、摘要、关键词。三、毕业论文（设计）文本装订规范1、毕业论文（设计）文本按如下次序装订成册：封面 (格式见附件1，可从大学网页下载)；毕业论文（设计）任务书(格式见附件2，可从大学网页下载)；毕业论文（设计）开题报告(格式见附件3，可从大学网页下载)；毕业论文（设计）成绩评定表(格式见附件4，可从大学网页下载)；毕业论文（设计）（包括毕业论文（设计）打印要求中第11项的所有内容）；附录（无附录时可省略）；封底。2、 附件另行装订毕业论文（设计）材料较多，且不宜收入正文中的有关材料，如