【《基于单片机控制的激光投影键盘设计与实现》13000字（论文）】

--图2-2整体设计仿真图2.4操作步骤设置好摄像机角度，使所有激光投射的虚拟键盘的位置都位于摄像机的图像区域。用户点击任意字符按钮，摄像机摄取的图像经过主机图像二值化，二值图像被发送到TFT彩色屏幕。每个像素从源交叉，并且原点作为第一像素的坐标被确定为像素坐标系中反射光斑像素点的坐标并存储在主机中。重复上述步骤，得到每个按键的坐标并存储在上位机中。如果系统工作，用户点击激光投影键盘字符键，重复这些步骤获得指尖的坐标，并与先前存储在上位机中的字符键坐标进行比较和求值，最后获取相应的按键输入信息。2.5项目制作步骤本次毕业设计分为五步来对基于STM32的激光投影键盘系统进行研究，分别描述如下，重点分析了软硬件技术的应用。1.熟悉课题和任务，查阅相关参考资料，进行市场调研和数据收集，了解激光投影键盘行业现状和发展现状，查阅相关文献，论证项目可行性，明确设计目的与意义、研究的内容、思路和软硬件技术路线，完成项目可行性研究报告和开发方案。2.完成各功能模块的工艺设计和实验，硬件焊接和软件编程的执行，对已摄取的图像进行初步处理，问题发现和设计解决方案。3.与建立的坐标系进行比较，使其达到默认值，完成功能模块的检查和改进，并进行相关实验。4.壳体设计焊接，完成系统集成和综合测试，进行数据分析和材料整理。5.为了验证虚拟键盘系统的可行性和可靠性，进行了普通键盘单键测试、按键二义性测试和多按键同时压力测试，并考虑了工程实践与可持续发展的关系。修改毕业设计论文，整理相关资料，准备参加毕业设计答辩。2.6本章小结本章主要概括了激光投影虚拟键盘的系统工作原理和其中的关键技术以及重难点，各模块的研究，用户使用的操作步骤和项目制作的简要流程。第3章硬件的设计与组装3.1硬件部分设计与研究硬件的设计和组装主要研究了各电路的焊接、摄像头和激光键盘图案发射器以及整体的组合，还有外壳孔洞与杜邦线的焊接与整体系统调试。电路原理图其中主要包括核心板电路图、摄像头原理图、键盘图案投射器及一字线激光器原理图等。各原理图简要研究如下：（1）核心板电路模块：STM32F103RBT6单片机的工作电压为3.3V，对应于ov7670和TFT屏幕的电压，有利于电路设计和模块连接。单片机的两端，分别连接复位引脚，还有3.3V的上拉电阻R3，具有限制电流的功能。设置单片机的复位方式，采用按键复位的方式。按键复位，按下时，电平变高，使单片机复位。当S1按键按下时，复位引脚将会变为低电平，按键松开时，复位引脚将会再变为高电平，这个过程复位引脚由高变低再变高，从而实现了硬件的复位；C5电容的作用为，过滤一些杂乱波形防止随机复位，除此之外还可以在单片机刚刚上电的时候，电容的充放电过程，电平由低变高，以此实现上电复位。一般情况下，我们使用的晶振模式都是如图所示。作为负载电容，其功能就是带通，在某段频率区间内可以使电信号通过。图3-1STM32F103RBT6单片机电路图图3-2核心板实物图键盘图案发射器及一字线激光器原理图:调整好的键盘图案发射器可以在平面上看到平整的激光键盘图案，手指放到键盘图案上，可以检测到这些手指上的反射光斑，并确定和计算这些光斑的位置。通过处理，可以识别出用户的“按键”操作，实现键盘功能。一字线激光器组装和使用方便。它可以安装在垂直的平面或者水平面上，以确保可见的激光标记线，从而出现可见和非接触的定位线，其优点是生产操作舒适，提高了生产效率，激光线可以随意设置在三维空间中，用来达到最佳效果。激光器发出的光需要尽可能靠近水平面，以确保用户接触水平面的事件能够被准确识别。如果发出的光线与其距离太大，处理软件会为没有按键动作的手指触发黏键事件，产生错误。如果发出的光线离水平面太近，会照亮水平面，干扰软件的正常运行。图3-3键盘图案发射器原理图和一字线激光器原理图图3-4键盘图案发射器图3-5一字线发射器（3）摄像头模块:在设计方案初期采用ov5640摄像机，但它的图像质量太高，图像数据太大，因此传输速度很慢，所以采用ov7670摄像机，ov7670采用FIFO模块，带缓冲存储器的模块，对于速度较慢的mcu也可以进行图像采集控制。这种摄像头具有3M以上的缓冲区，所收集的数据可以临时存储在该缓冲器中，并且在使用时可以读取存储的图像数据。满足单片机图像数据采集和mcu的速度要求。图3-6摄像头原理图图3-7ov7670摄像头摄像头和单片机接口分别为：GDN接地点SIO_CSCCB接口的控制时钟SIO_DSCCB接口的串行数据输入（出）端VSYNC帧同步信号（输出信号）HREF行同步信号（输出信号）PCLK像素时钟（输出信号）XCLCK时钟信号（输入信号）D0-D7数据端口（输出信号）RESTE复位端口（正常使用拉高）PWDN功耗选择模式（正常使用拉低）STROBE—拍照闪光控制端口（正常使用可以不需要）FIFO_RCKFIFO内存读取时钟控制端FIFO_WR_CTRFIFO写控制端(1为允许CMOS写入到FIFO，0为禁止)FIFO_OEFIFO关断控制FIFO_WRST—FIFO写指针服务端FIFO_RRST—FIFO读指针复位端摄像模块的主要作用是捕获反射的红外信号，然后将图像传输给单片机，在安装摄像模块时，必须选择与投影面的合理角度，因此，在设计过程中要进行简单的角度设计。将手指按下位置和水平面之间的角度设置为θ，用户通常使用键盘时的θ为60°~75°。将摄像头和水平面之间的角度设置为ɑ，通常摄像头距水平面高度约10厘米能捕捉到手指按下的画面。激光发射器与水平面的夹角设为β，距水平面高度约为15厘米，键盘有效范围与光源的线性距离为[D1~D2]（D2>D1）。当摄像机角度ɑ满足激光发射器在摄像头之间并符合公式的时候，摄像机可以正常捕获键盘区域反射的所有红外信号。根据已知条件可以得出ɑ为40°左右。因此可以得出上述部件的几何模型如图所示：图3-8各部件几何模型（4）TFT屏幕模块:TFT屏幕可以“激活”屏幕上任何一个独立的像素，可以显著提高响应时间，TFT屏幕的响应时间比较快，大约80ms，视角比较大，甚至可以达到130度，所以可以显示高速的屏幕信息，TFT是一种采用有源矩阵技术驱动的有源矩阵液晶显示器，包括使用薄层晶体管电极和使用扫描方法拉动“有源”来控制任何显示点的输入和输出。光源辐射时，先透过下偏光板向上穿透，利用液晶分子导光，通过遮光和光线传递达到显示的目的。在设计和连接时，利用TFT屏幕观察摄像头拍摄的图像，整体设计完毕后，TFT可以移除。图3-9TFT电路图图3-10TFT屏幕图3-11整体电路图蓝牙模块集成蓝牙模块Hc-05有两种操作模式：命令响应模式和自动连接模式。在自动连接模式下，模块可分为主、从、环回三个工作轮，当模块处于自动连接模式时，将按默认模式自动连接数据传输；如果模块处于命令响应模式，它可以执行所有命令。用户可以向模块发送不同的AT命令来设置控制参数或发出控制命令，通过控制模块外部引脚的输入电平，实现模块工作状态的动态转换。图3-12蓝牙组件图1、配置波特率上电后，Key拉高，进入AT指令，此时波特率为38400。2、配置为主模式AT+ROLE=1回车，成功返回OK3、设置为主模块的步骤：=1\*GB3①PIO11置高。=2\*GB3②上电，模块进入AT命令响应状态。=3\*GB3③超级终端或其他串口工具，设置波特率38400，数据位8位，停止位1位，无校验位，无流控制。=4\*GB3④串口发送字符“AT+ROLE=1\r\n”，成功返回“OK\r\n”，其中\r\n为回车换行。PIO置低，重新上电，模块为主模块，自动搜索从模块，建立连接。4、任意地址配置，这样可自动识别、自动连接AT+CMODE=1回车，成功返回OK3.2本章小结本章主要概述了各硬件部分的电路原理及连接方式，其中主要包括核心板电路模块、键盘图案发射器及一字线激光器、摄像头和蓝牙模块。下图为硬件部分核心组件设计连接图。图3-13硬件部分核心组件连接图第4章信号收集与处理第4章程序的编写程序的编写主要包括图像识别程序和上位机接口程序，中心点是对采集到的投影图像进行识别和处理，即对信号进行定位和编码，最后得到用户实际的手指输入信息，程序的主要部分是利用单片机强大的计算能力对采集到的信号进行图像处理，包括信号定位和灰度图转换为二值图等工作。第4章信号收集与处理图4-1程序流程图4.1摄像头程序图像处理需要图像，而图像是由摄像机获取的，因此摄像头是整个过程的起点。设置摄像头的通信方式为SCCB总线方式，SIDpin的用途是用作输入或输出，只需要将其配置为输入pin或输出pin就可以。FIFO读取数据复位。摄像头采集图像数据首先是将其存储在摄像头的FIFO芯片中。进入FIFO后，数据将被传输到MCU，每次FIFO复位后，下一幅图像将被存储和传输。SCCB启动命令。STM32用这个命令调用ov7670，它是数据传输的前导信号。停止命令，SCCB将停止信号，单片机通过此命令完成对ov7670摄像机的调用，一组数据传输过程完成。MCU通过命令符号查询数据发送是否成功，1成功，0失败。从ov7670摄像机读取一个字节的数据。另一行语句用于读取数组。数组的值由后半部分表示，前半部分是地址。此数组用于保存数据。将上述数组逐个写入ov7670寄存器。读取ov7670寄存器以读取指定地址的寄存器值。然后，初始化摄像头芯片，即配置阵列寄存器。成功配置返回1，失败返回0。4.2信号收集与处理4.2.1信号采集从图像中获取目标的坐标是建立在图像坐标系空间的，而投影的键盘图像是建立在世界坐标系空间的，需要进行坐标变换，将其映射到投影键盘的坐标系，才能将“单击”事件转换成键盘输入指令，变换过程如式(1)所示：(4-1)其中，A为2×2非奇异像素坐标旋转矩阵；t为2×1的像素坐标平移向量;A与t由原图像和变换后图像边缘角点坐标求解；x'为转换后像素坐标；x为转换前像素坐标。最后通过软件对图像中各键盘按键位置的坐标进行标注。当键盘区域发生“点击”事件时，确定“点击”事件坐标对应的键盘区域坐标，然后将按键信息传送给计算机，实现键盘输入。4.2.2位图转二值图单片机接收到图像后，通过四个步骤完成对采集到的图像的定位：位图到二值图、最大闭合区间定位、键盘编码、上位机接收。这四步骤的作用分别是进行图像压缩、按键的定位、坐标与按键代码交换、上位机接收与反馈。位图被转换成二值图。位图的四字节对齐是位图每行中像素的对齐。每行像素占用的字节数必须是4字节的整数倍。如果不够，就需要补足。此时，由于存储器分配单元是32位，也就是4字节，所以每行中的读取像素是连续的，不能与其他行共享存储器单元。当彩色图像转换为灰度图像时，RGB有256个灰度分量，即当R=G=B时，颜色是灰色的，因此可以用一个字节来表示。将彩色图像转换为灰度图像就是使真彩色图像的三个颜色分量相等。计算准确值的方法有很多种，如取三个分量的平均值，取三个分量的最大值或使其中两个分量等于另一个分量的值。另一种常用的方法是取加权平均值，Gray=R*0.299+G*0.587+b*0.114。将灰度图像转换为二值图像。二值图像只有两种颜色，黑色和白色，而灰色有256种颜色。将灰度图像转换为二值图像的方法是选择一个阈值。如果灰度值大于阈值，则设置为白色。否则，它将是黑色的。关于如何选择阈值及其作用范围的方法有很多，为了简单起见，本文在全局范围内选择了一个固定的阈值。二进制图只有两个索引，可以用1bit表示。将RGB图像转换为灰度图像。标准CCD采集的图像包含R、G、B通道的数据，即传统概念中的彩色图像。根据图像处理和目标识别的需要，将RGB彩色图像转换为灰度图像。Gray(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j)(4-2)其中，Gray(i,j)表示位置为(i,j)的像素点对应的灰度值，范围为(0~255),R(i,j),G(i,j),B(i,j)分别表示彩色图像中R,G,B通道(i,j)位置的像素值。4.2.3单片机图像处理根据以上步骤进行处理后，根据图像中每个元素的值是高于还是低于阈值而对其进行如下处理:（4-3）在公式中，Dst(i，j)是阈值化处理后的像素坐标，当满足条件src(i，j)≥th，也就是源图像像素点的值src(i，j)大于等于阈值时，该点的像素值设为255。如果不是，就把它设为0。定义A为图像矩阵，B为结构元素矩阵，A，B为Z2上的集合，图像A被结构B腐蚀的定义为:AΘB={x/(B)A}（4-4）其中x是表示集合平移的位移向量;Θ是腐蚀运算的运算符。设Φ为空集，那么图像A被结构元素B膨胀的定义为:AB={x(B^)x∩A≠Φ}（4-5）其中x是表示集合平移的位移向量;Θ是膨胀运算的运算符。在定义图像矩阵和结构元素矩阵的腐蚀与膨胀运算之后，将结构元素B对目标图像A的开运算定义为:A○B=(AΘB)B（4-6）其中○为开运算操作符。将结构元素B对目标图像A的闭运算定义为:AB=(AB)ΘB（4-7）其中为闭运算操作符。4.2.4光斑的提取与比对采用小功率红色激光发生器作为投射光源，将键盘字模覆盖于激光光源表面，激光透过字模将键盘图形投射到表面上，从而实现虚拟键盘的呈现工作。单片机对信号的采集拟采用摄像头和一字红外光源实现。主要做法是将一字红外光源置于投影装置底部，发射出的一字红外信号用于检测是否有手指按下。若有手指按下时，红外线就会以一定角度被反射，如图4-2所示。而摄像头则安置于一字红外光源上方，用于接收被反射的红外信号。手指按下的时候，将一字线激光器发射出来的红外线反射到摄像头里面，摄像头的图像通过液晶显示屏显示出来。带红外滤光片的摄像头，只有红外线才能进入，这样就有效避免可见光的干扰，清晰的得到手指的反射光斑，即手指反射的红外光斑，滤除可见光，最后得到手指按键信息。没有加红外滤光片的图像如图4-3所示。图4-2手指按下图像 图4-3未加红外滤光片的图像加了红外滤光片的效果如图所示：图4-4加了红外滤光片的图像得到了光斑后需要进行二值化和阈值调节，再把键盘上每个字符的坐标用测试函数找出来，然后将每个字符的坐标作为基准坐标并存放到软件中，系统运行的时候，当有按键事件发生时，系统在通过坐标测试函数提取坐标，提取出来的坐标与坐标进行比对，在误差允许的范围内输出基准坐标的对应字符。其工作流程图如图所示：图4-5软件部分工作示意图第5章程序的编写4.3阈值调节程序阈值调节是一个测试程序，主要是在前期用作寻找合适的光斑大小，如下图所示是一个比较合适的光斑大小，如果想获得合适的光斑就需要使用此测试程序来调节阈值。这个阈值调节功能就是一个输入的阀门，用这个阀门来控制获取图像的质量。图4-6调节过程图4.4键盘坐标程序与阈值测试程序一样，它们也是一个预先准备好的程序，将激光投影器固定在一字线性激光发射器和摄像头中间后，在投影模型上模拟按键。按下时，相机捕捉到红外线反射。二进制之后，在TFT上显示为白点。然后调用程序检查光斑的像素坐标。多次按下后，取坐标的平均值作为按键的固定坐标，在实际使用过程中，如果得到的点坐标是固定坐标，则确定按键被按下。每个按键的大体位置基本确定，以键盘第三行为例，如下为按键位置确定的坐标系程序：KeyBoard_SendData(177,10,x,y,detia_x,detia_y,'t');//tabKeyBoard_SendData(178,22,x,y,detia_x,detia_y,'Q');KeyBoard_SendData(178,44,x,y,detia_x,detia_y,'W');KeyBoard_SendData(180,66,x,y,detia_x,detia_y,'E');KeyBoard_SendData(178,94,x,y,detia_x,detia_y,'R');KeyBoard_SendData(179,116,x,y,detia_x,detia_y,'T');KeyBoard_SendData(179,142,x,y,detia_x,detia_y,'Y');KeyBoard_SendData(180,166,x,y,detia_x,detia_y,'U');KeyBoard_SendData(181,190,x,y,detia_x,detia_y,'I');KeyBoard_SendData(182,214,x,y,detia_x,detia_y,'O');KeyBoard_SendData(181,238,x,y,detia_x,detia_y,'P');KeyBoard_SendData(182,260,x,y,detia_x,detia_y,'[');KeyBoard_SendData(182,282,x,y,detia_x,detia_y,']');4.5其他程序（1）一配置一个单片机中断引脚，摄像头每完成一帧，传输数据给单片机，单片机便利用此中断引脚判定。（2）一个差值判定程序，比如一个按键固定坐标为（111，222）那么若使用时有（111±8，222±8）的所有坐标都可以被识别为此按键，既不会导致误触，也能增大识别效率。4.6本章小结本章主要讲述了软件部分程序的编写，其中主要包括摄像头和键盘坐标程序的设计与编写，图像信息的摄取与处理和阈值调节的程序。第5章连接调试与成品展示5.1连接调试与成品展示首先，根据原理图将主硬件连接到杜邦导线上，长方体盒中前中心轴的位置从下到上为0.1厘米；5.5厘米11厘米；在固定好由下到上三个硬件一字线发射器、键盘图案发射器和摄像头的位置后，选择适当的位置连接中央面板，然后将蓝牙模块连接到侧面，再进行固定。并将充电USB接口从侧面的孔中分离出来。用枪胶固定后，合上后盖，用螺丝固定四个角，这样就完成了硬件本体的构造，将蓝牙模块连接到PC机的USB端口，这样就可以进行无线通信。此外，PL2303驱动程序必须加载到PC上才能将USB传输到串行端口。在中期的调试阶段，设计连接一个TFT屏幕，这样有利于观察图像和调整角度的位置。设置完成后，可以去掉TFT屏幕，最大化简化硬件结构。分别检查各部件的功能，观察各部件是否能稳定工作，确保各部件整体工作流畅，不相互干扰。合理的进行布线校正，正确使用单片机的输入输出。检查虚拟激光键盘的实用性和可靠性，确保激光投影键盘功能稳定、输入和输出准确，能够在多种环境下正常工作。下面是硬件外壳设计和实物图。第6章连接调试图5-1硬件外壳设计图图5-2硬件外壳展示图图5-3各组件连接实物图图5-4成品展示图5.2按键测试为了验证激光投影虚拟键盘系统的精确度和功能性，在整体设计完成后进行了（1）正常按键测试，此时用户的手指处于按键的中心位置；（2）按键模糊测试，此时用户手指触摸两个按键的交界位置；（3）多键同时按压测试，此时用户用两个手指同时覆盖不同的按键。可以发现，当按下两个或多个按键时，软件严格定义每个按键范围的边界，不会有交集，以确保用户手指键入识别的准确性。三种测试结果如下图所示：序号测试条件测试次数准确率1正常按键测试100097.4%2按键模糊测试100095.8%3多键同时按压测试100094.2%表5-5按键测试结果参考文献5.3本章小结本章主要展示了硬件外壳的设计与焊接过程和整体组件连接，同时展示了最后的成品实物图，进行了三种按键测试，证明项目成品准确性和功能性良好。结论本次毕业设计主要通过硬件连接和软件程序编写结合的工作，完成了激光投影键盘的设计和制作。在毕业设计中的硬件研究与设计方面，主要包括STM32F103核心板、ov7670摄像头、一字线性发射器等连接电路部分，和外壳焊接设计制作部分。在软件程序设计与编写方面，包括了基于投影算法的图像处理程序和摄像头与键盘图案设计部分，该系统具有良好的处理速度，并且可以做到调节阈值、调节坐标的能力，并编写了组态程序，使单片机摄像头合理工作。经过一系列的不断测试，硬件电路、软件程序协同工作，完成了激光投影虚拟键盘的正常运行，调试结果显示准确性能与稳定性能良好，能够正常使用，本次毕业设计研制成功了功能齐全的激光投影键盘。以下将从三个方面简要概述本次设计激光投影虚拟键盘的优良性能和对工程实践与可持续发展的联系思考。1.先进性研究激光投影虚拟键盘采用不可见激光反射方式读取输入指令，突破了传统键盘需要实体按键反馈的局限性，很大程度上缩小了键盘的尺寸，解决了按键磨损和清洗困难的问题，同时减少了电路的规模，节省了电子元件的数量，降低了成本，减短了生产周期。除此之外这种激光器对人体皮肤没有热损伤，减小了激光辐射的范围和距离，在一定程度上降低了激光直射眼睛的可能性，对人体无害。2.实用性研究激光投影虚拟键盘具有良好的实用性。平时在室内环境中使用时，它在木地板、金属地板和塑料地板上都有很好的性能，也可以在深色大理石和不透明玻璃地板上使用，特别是在空间有限或出差时更能突出它的出色实用性，在狭窄的办公学习区和旅途中的列车上，激光投影键盘能以最小的空间提供一个舒适舒适的输入环境，易于携带和使用。3.经济性研究随着虚拟键盘技术的飞速发展，国内外很多厂商已经开发出了相应的产品，本项目设计的激光投影键盘具有相同的性能和精度，很大程度上降低了成本，在中国购买的国外品牌激光投影键盘价格在2000-5000元之间，而本项目设计的激光投影键盘成本更低，因此具有更广阔的市场和发展潜力，经济效益明显。参考文献[1]PatentIssuedforKeyboardInterfaceForEfficientlySelectingFromASetOfDataItems.RedcritterCorp,2012,2(8):875-878[2]DellProductsL.P.;PatentIssuedforUserIdentificationViaHandDetectionUsingAHoveringKeyboard.NanotechnologyWeekly,2016,40(4):32-37[3]段宗涛,沙爱民,张燕妮.高性能嵌入式图像处理系统研究[J].微电子学与计算机,2008,5(6):38-41[4]刘国宏,郭文明.改进的中值滤波去噪算法应用分析[J].计算机工程与应用,2010,46(10):187-189[5]陈玮君.家电通用遥控技术的研究与实现[J].电视技术,2019(4):9-10[6]SunJin,ZhangZhe,YangLiutaoetal.Multi‐viewhandgesturerecognitionviaparetooptimalfront[J].IETImageProcessing,2020,14(14):3-4[7]陈春雨,林国钧,王鹏飞.STM32F4DCMI驱动的低成本高速数据采集方案设计[J].单片机与嵌入式系统应用,2018,18(10):47-49[8]SahooJayaPrakash,AriSamit,GhoshDipakKumarHandgesturerecognitionusingDWTandF‐ratiobasedfeaturedescriptor[J].IETImageProcessing,2018,12(10):5-9[9]XuChi,JiangYunkai,ZhouJunetal.Semi-SupervisedJointLearningforHandGestureRecognitionfromaSingleColorImage[J].Sensors,2021,21(3):6-7[10]SEKim,JJJeon,IKEom.Imagecontrastenhancementusingentropyscalinginwaveletdomain[J].SignalProcessing.2016,127(1):1-11[11]HLi,CYSuen.AnovelNon-localmeansimagedenoisingmeth