智能家居人机交互方案0001

1、在智能家居实验室建设方案中， 人机交互系统是一个相对比较独立的 系统。但它的运行即需要其他子系统的支持， 同时也想高级服务提供 依据。其中的主要交互设备有家居机器人、智能手机、移动平板、智 能视机、健康设备、遥控器、计算机等。1家居机器人1.1人机交互技术 在终端机器人中主要提供触摸显示和语音交互方式，并提供摄像 头扩展接口，利于更高层次的开发。触摸显示交互是多媒体技术交互方式的一种， 其依托于 7寸触摸显 示屏进行操作界面的实现和用户触摸输入。目前，在手机、平板等电 子消费领域得到了非常广泛的应用。 其有一个缺陷是， 触摸显示屏安 放在机器人的机体结构中， 属于机器人的一部分， 具体的使用过

2、程不 是特别方便。语音交互是本设计中的重要部分，是终端机器人与其他家电设备 最大的却别。 通过自然语言交流， 一方面用户可以非常方便的使用机 器人进行家庭中各种设备的控制， 另一方面其还能与老人对话， 提供 心理慰藉， 或者用于幼龄儿童的教学。 终端机器人中语音交互的方案 采用科大讯飞语音云平台进行高效开发。 语音识别的过程为： 在本地 进行语音采集， 将采集的信息发送到语音云端， 本地接受来自云端的 识别结果在，然后进行智能处理；语音合成的过程为：将要合成的文 本发送到语音云端， 云端将语音信息返回到本地进行播放。 科大讯飞 云平台只是提供具体的识别和合成， 而怎么让语音识别更智能化则需 要

3、进一步的研究。1.2系统硬件1.2.1整体架构电子芯片技术的飞越发展， CPU处理核心的处理和运算性能越来 越强。基于最大化利用 CPU能力、减少成本和降低系统能耗的思想， 本设计采用单处理核心，由 Cortex-A8 （ S5PV210）统筹系统的所有 外设，进行设备控制和信息采集。对于外部设备，设备本身复杂程度 以及传输方式、 传输速率上均有不同， 因此在对系统设备进行选型时 尽量减少设备种类的复杂程度。 系统框架中定义了 2 种设备总线：USB 总线和 IO 数据总线。 USB总线用于数据传输量大、传输速率高的复 杂设备， IO 数据总线则对应传输速率低的简单设备。 USB总线采用 Hu

4、b的形式进行多设备扩展。 IO 数据总线则采用抽象化和模块化思想 设计，建立单独的底层扩展系统，规范相应设备接口。系统从总线的 角度出发，将硬件分为 2 部分：底层扩展系统和上层 Cortex-A8 平台。底层扩展系统主要用于传感器数据采集、机器人动力系统控制以 及情感控制， 设备的类型和控制较为简单。 而上层 Cortex-A8 平台则 是在核心控制器的基础上搭载触摸显示屏、 用户按键接口、 音频输出 以及 USB类的摄像头、 Wi-Fi 适配器、蓝牙适配器。整体的硬件架构如图 1图11.2.1 Cortex-A8 与 S5PV210ARMC ortex-A8 处理器是基于 ARMv7-A体

5、系结构，其设计主要面向高性能和低功耗。目前，其突出的优势已经得到了市场的认可，在智能手机、机顶盒、数字电视、打印机等终端设备中具有广泛的应用。Cortex-A8 处理器的主要特点如下：1)128 位SIMD 引擎支持高性能媒体处理 (NEO)N；2)优化的 1 级高速缓存和集成的 2 级高速缓存；4) Thumb-2 技术，提高性能并节省指令存储空间；5)动态分支预测，降低分支错误预测的危害；6)完整的内存管理单元( MM)U ；7) Jazelle-RCT 技术优化即时生产 (JIT) 和动态自适应编译 (DAC)；8)高功效和高性能的内存系统；Mini210s 开发板以 Cortex-A8

6、 的S5PV210为核心控制器。 S5VP210 是一款高效率、高性能、低功耗的 32为 RISC处理器，其适用于智能手 机和平板电脑等智能终端。S5PV210在Cortex-A8 的基础上拓展了多媒体方面的性能， 其包含 很多强大的硬件编解码功能，内置 MFC(Multi Format Codec )、高 性能PowerVR SGX540 3图D形引擎和 2D图形引擎、 IVA3硬件加速器、 HDMIv1.3等多媒体相关的处理模块。S5PV210采用584引脚的 FCFBG封A装，具有丰富的外围接口如 TFT LCD控制器、摄像头接口、 MIPI DSI 、ATA接口、 UART、 24通道

7、DMA、 定时器、 GPIO、USB Host 2.0 、USB 2.0 OTG等。 S5PV210同时具有丰 富的高质量的外部存储接口，其 DRA支M持LPDDR、1 DDR、2 LPDDR，2 Flash/ROM支持NAND Flash、NOR-Flash、SRAM等。S5PV210芯片结构图如图 2 所示图 2 S5PV210 芯片结构图1.2.2 Mini210s 开发平台Mini210s 是一款高性能高性价比的 Cortex-A8 开发板，搭载三星 S5PV210处理器，运行主频可高达 1GHz，同时集成 PowerVR SGX54高0 性能图形引擎。 Mini210s 开发板配备了

8、 512M DDR内2存和4G MLC NAND Flash ，其外部应用接口非常丰富如 WM896音0频芯片、 miniHDMI高清 输出、USB2.0、CMO摄S 像头、 SDIO、矩阵键盘等接口 （详见图 4-15 ）， 其电源电路也支持低功耗待机省电模式。该款开发板提供开源的 Android2.3.1 系统源码以及 Linux kernel 源码，方便用户进行二次开发。同时其还提供方便易使用的开发板烧写工具 Superboot ，缩短了 系统开发周期。根据终端系统功能设定要求， Mini210s 开发板的板载资源主要 使用电阻触摸显示、 USB OTG接口、音频接口三个部分。电阻触摸显

9、 示接口与 7 寸一线精准电阻触摸显示屏连接， 实现 Android 系统操作 界面的显示和触控操作的检测。 WiFi 、蓝牙、 USB摄像头等设备通过 与 USB HOST接口连接的 USB Hub完成基于 USB设备的设备扩展。音 频部分采用 I2S0 接口，外接 WM8960C ODEC解码芯片，提供声音输入 和 speaker 输出（内置 D 类功放，能直接连接 81W扬声器）功能。图 3 Mini210s 接口布局1.3 服务内容1.3.1机器人动作及情感表达图 4 小优机器人的动作和情感是其与其他家居设备的最重要的区别， 能够 实现更好的人机交互模式。机器人的动作主要包括 2类，机

10、器人的正常行走和头部运动。行 走控制是在 2轮轮系结构上通过控制直流电机实现，机器人可以灵活 地进行前进、后退、左右转等动作。头部运动主要包含了抬头和扭头 的动作， 2个自由度均通过直流电机实现。机器人相关动作作为服务 发布到智能家居服务网关， 其他终端可以通过网关或者直接网络连接 实现机器人的动作控制。机器人的情感表达是机器人智能性的核心体现。 其表现途径主要 有三个方面： LED情感输出、机械动作以及语音，通过三者的结合向 用户立体地呈现了具体情感。3.2.2网络接入网络是物联网的核心基础之一， 是物联网终端的基本特征。 物联 网终端工作的环境为一个家庭，其面积通常在几十到几百个平方米，

11、因此在选择通信介质时需要选择覆盖面积较大、 信号穿透力强的网络 通信方式。 再则该终端在家庭中大多数情况出于运动状态， 通信介质 应选取无线类型的。目前，消费市场流行的短距离无线通信方式主要有蓝牙和 WiFi 。 蓝牙和 WiFi技术都是工作在全球通用的 2.4GHz ISM频段，有效解决了 移动终端设备之间以及与 Internet 的通信。一般蓝牙技术的有效通信 距离为10m，新的蓝牙标准 4.0能够达到 100m以上的超长距离。 WiFi 的有效通信距离则在几十米，发射功率足够大的情况下能达到 100m 以上，足够覆盖整个家庭环境。另外，蓝牙的传输速率较低，如果处 理视频类的数据时会出现延

12、迟问题。 因此，设计中使用 WiFi 作为机器 人的网络通信介质， 连接局域网以及互联网。 为了方便 WiFi 模块的驱 动移植，设计中选择的 USB接口WiFi模块EDUP EP-8508G。S其采用 REALTEK8188cu芯s片，使用 802.11n无线传输技术，传输速率高达 150Mbps，内置高精密天线，传输稳定。另外，蓝牙通信在智能设备 如手机、医疗健康类设备等中应用广泛，为了支持此类设备，终端系 统使用 USB接口的蓝牙适配器提供蓝牙通信通道。3.2.3智能家居应用在具体的家居环境中，物联网终端一方面作为设备对外发布自己 的服务，如动作相关服务、 视频服务等（可以根据具体的需求

13、对其进 行扩展），其他终端设备可以通过网络方式对其进行服务调用，另一 方面终端能够通过网关调用其他设备所提供的服务， 例如家电控制的 实现。服务调用的实现依托于家庭环境中的网络环境， 主要有 2种模式： 服务器模式和直接连接模式。 具体的网络结构如图 3所示。服务器模式依托于现有的家居 PC网关，家居环境中的各种设备与 服务器网关进行连接， 网关对设备统一进行管理。 当需要控制其他设 备时，设备从网关获取控制方式并将控制请求发送到网关， 网关接受 到请求后先判断目标设备正常后将控制请求发送到目标设备， 目标设 备接收请求并依情况进行响应。 服务器模式优点是能够对设备进行统 一管理，设备可以动态

14、增减，但整体结构比较复杂，给家居环境增加 了额外的设备开销。直接连接模式中各设备通过网络直接通过物理通信方式发送控 制指令和数据直接到达被控设备。 由于直接连接模式没有网关对设备 进行统一管理， 所以在网络环境中必须对设备列表进行固化， 不能实 现设备的动态添加。但此种模式技术实现简单而且没有额外开销。图3智能家居网络结构图 物联网终端机器人对两种网络环境都提供支持。智能家居控制 时，终端通过 WebService协议与网关通信，实现具体设备的控制。同 时终端也可以通过 Wifi 与家电控制终端直接连接，终端机器人通过 socket 通信传递控制指令，家电控制终端通过 Wifi 转RS232模

15、块将 socket 信息转化为串口数据，处理模块接收控制指令后进行相应操 作。终端机器人作为设备时，建立网络监听，接受相应的控制信息即 可进行响应3.2.5 智能提醒及应用扩展人到老年后随着年龄的增加记忆力不断退化， 往往会出现遗忘需 要完成的事情或者是忘记吃药等现象。针对这一老年人的实际需求， 物联网终端机器人具有智能提醒的功能。 用户根据需要通过语音命令 或者设置界面进行事件的设定，设置内容主要包括时间和事件内容， 当到达预定时间时机器人将进行相关时间的语音提示并在 Android 系 统窗口推送时间提醒消息智能提醒服务主要是基于时间、 时间提醒的应用， 针对老人的心 理慰藉问题也可以开发

16、语音相关治疗软件。事实上， Android 系统拥 有非常庞大的应用 APP商店，涵盖了健康、保健、娱乐、教育等多个 方面，用户根据自身的需求对应用程序进行定制， 而且应用商店中的 绝大多数软件都是可以免费使用的。 对于一些专有性较强的应用， 开 发者根据具体的需求使用过 Android SDK以及相关工具即可开发。而 且其上层应用开发几乎完全与底层硬件相独立，大大缩小了开发难 度。也正是由于强大的应用商店库和高效开发性， 终端机器人实现选 择搭载 Android 操作系统。2智能手机2.1智能手机的人机交互方式智能手机作为物联网家居中的一个重要的智能终端， 在人机交互 上有多种体现方式。常见

17、的就有感应器、触摸屏、物理按键、加速度 感应器、环境光线感应器、距离感应器、陀螺仪、指南针、 GPS、摄 像头、时钟、录音以及常规的数据输入口（ 2/3/4G 数据、 WIFI、蓝 牙、数据线）。（1）触摸屏 触摸屏是大家所熟知的命令输入设备，已经发展出全套的多手指 手势，用于自然的命令输入。在智能手机上使用的最多的是点击、长 按、横滑、拖动，以单指手势为主。 两指以上的手势并不太适合手机， 因为常见的持机方式是单手持机。 多指手势比较适合平板电脑。（2）传感器 现在的移动操作系统都提供了对传感器的支持， 如果硬件设备提 供了这些传感器，目前支持的传感器有加速度传感器、光线传感器、 压力传感器

18、、方向传感器、磁场传感器、温度传感器等，通过这些传 感器，用户可以很方便的获得手机的运行状态、当前的摆放方向、外 界的磁场、温度和压力等。（3）GPS最直接的用途是在地图应用中调取当前位置，在 LBS 服务中获 得 POI 点名称。不过 Nike Running 将其用于记录跑步的路径，也是 一种比较有趣的拓展。（4）摄像头摄像头其实是一种非常强大的信息获得设备。 二维码在 O2O领域 的巨大潜力已经被微信搅起来了。之前一种颇为神奇的用途就是被 heart rate 通过拍摄手指血管来测量心律。其他的用途还有人脸身 份识别、计算机视觉的手势识别、物体追踪等等。（5）录音录音是一种长期被忽略的人

19、机交互方式， 发现它潜力的人则创造 了非常神奇的交互方式。比如Square 用它作为信用卡刷卡信息的输入口； 一些游戏用它模拟一些“吹一吹”的效果；Chirp 利用声音传递身份识别码， 用以在手机间传递文件；此外， 随着移动智能终端设备的发展， 人机交互的方式也日益多 元化。Mirage Table ：真人与虚拟影像的互动由微软推出的 Mirage Table （幻影桌面）是一项颇为神奇的技 术，它将两台 3D投影仪、 Kinect 体感监测仪、 3D眼镜以及人的动作 结合在一起，打造出一个真人和影像互动的效果。 通过 MirageTable ， 人们的所有动作都会被 Kinect 捕捉并转化

20、称 3D影像，然后和已有的 3D 物品进行交互，比如用手移动影像中的多米诺骨牌、皮球等。同 时一个实体物品可以通过虚拟影像复制出多个， 也可以将移动虚拟物 品到任何位置。用户只需要佩戴 3D眼镜就可以看到 MirageTable 上 3D投影的图 像。曲面设计可以让操作者通过投影仪来与虚拟画面实现互动交流， 就像打保龄球一样。“ MirageTable ”还可以实现人与人之间的双向 写作，通过 Miragetable ，两个操作者不仅可以看到对方并谈话，而 且一个人可以与视频中另一个人的虚拟对象进行互动交流， 甚至可以 “触摸”虚拟对象。还可以一起下象棋、搭积木，甚至研究一些比较 复杂的项目方

21、案等。如果说 AR（增强现实）技术可以在现实的基础上模拟出虚拟场 景，让人进入虚拟版的现实世界，那么 Mirage Table 则可以将用户 带入一个虚拟的世界， 想象一下， 如果未来所有的网络游戏都可以将 用户融入其中，在虚拟环境下直接操作，使用新奇的装备，实现惊艳 的特效，世界将会变得多么神奇！基于 Kinect 的操控创新微软推出的 Xbox 360 体感外设 Kinect 很受用户欢迎，但是它的 意义并不仅仅是游戏外设， 而在于对人机交互方式的探索和创新。 正 因为如此， Kinect 技术才能被广泛应用到其他创新产品之中，成为 智能人机交互的经典产品。国外一家专注于人机交互技术的创业

22、公司 3Gear Systems利用微 软 Kinect 技术，推出了 SDK包，能够帮助开发者将手势动作反馈到 应用软件之中。这套系统可以帮助 3D 建模人员更方便快捷地对模型 进行拼装操作， 操作过程可以在普通显示器之上呈现。 开发者只需要 购买 Kinect 传感器和固定装置就可以在这款 SDK包的基础上，设计 新的 APP产品。Kinect 的作用还不止于此。 Oblong 实验室近期公布了一项科研 成果，它将 Kinect 与 Xbox 上的 IE 浏览器结合起来，脱离鼠标来操 作电脑屏幕，能够实现一系列复杂的操作，例如拖动、摆放屏幕上的 个体，对三维模型进行旋转、缩放，进行复杂的命

23、令操作，或者用手 机、平板或遥控器来控制大屏幕，甚至可以多人玩游戏、通过手势控 制飞行器，在多个屏幕之间进行无缝切换等。微软研究院联合华盛顿大学也研发出了一种名为SoundWave的系统，该系统可利用计算机内置的麦克风和扬声器，提供与 Kinect 类似的对象识别及手势识别功能。 SoundWave将计算机的内置扬声器 用做超声波( 18-22KHz)发射源，其频率会随着你的手或身体的位置 的变化而变化。然后，计算机的内置麦克风会测量这一频率变化，并 把参数告诉一套相当复杂的软件，由该软件计算出手势和动作。语音交互的行业应用苹果于 2010年花 2 亿美金亲自将 Siri 收购，并将其深度融入

24、到 iPhone 4S 中。 Siri 和手机紧密结合，可以极大提升设备的操作简 易性、环境适应性和真正意义上的智能性。实际上，不仅仅是 Apple 自己的 iPad 、 iTV 和车载设备，所有未来所谓的智能设备都将会使 用 Siri 的模式。但是智能人机交互技术在行业的应用中， 还存在一些不足。 以语 音交互为例，传统语音交互涉及的主要技术包括语音识别和语音合成 等都已经比较成熟。 在多年以前， IBM 的语音识别软件在 PC 上就有 不错的识别率了，而微软名为 Tellme 的项目也持续了多年。然而， 即使达到 100%的准确率，仅限于输入识别功用的语音识别不能代表 智能人机交互的真正意

25、义， 它并不是革命性的。 要实现完美的人机交 互，语音技术就必须跟人工智能技术结合起来。现在以语音方式为主的人机交互系统目前主要应用在如呼叫中 心的 IVR 系统、智能手机等终端中的语音拨号，短信朗读、车载语音 导航系统等。 但普遍存在交互模式比较机械固定 (以声控命令为主)、 用户体验一般、交互过程繁琐等问题。2.2智能手机的市场现状当前市场上主流的移动操作系统平台有 Andorid 、iOS、Windows Phone。互联网数据中心( International Data Corporation，IDC)近日公布了全球最新的智能手机市场份额数据， 从数据表格中我们可 以看到 Androi

26、d 开始占据超过大半的江山。 并且根据 IDC对未来 5 年 智能手机市场的预测，到 2016 年 Android 的市场份额仍将占到一半 以上，到时候 Microsoft 的市场份额( Windows Phone and Windows Mobile )将会有一个大幅度的提升，将占到 19.2%。智能手机操作系统2012 年2012 2016( Smartphone Operating System )市场份额2016 年市场份额复合年增长率Android61.0%52.9%9.5%Windows Phone 7/Windows Mobile5.2%19.2%46.2%iOS20.5%19.

27、0%10.9%BlackBerry OS6.0%5.9%12.1%Others7.2%3.0%-5.4%Total100.0%100.0%12.7%表1 智能手机操作系统 2012年2016年市场份额变化情况 2.2.1 iOS苹果 iOS是由苹果公司开发的手持设备操作系统， 2007年 1月 10 正式发布，最初是设计给 iPhone 使用的，后来陆续套用到 iPod touch 、 iPad 、以及 Apple TV等苹果产品上。它是以 Darwin 为基础的，因此 同样属于类 Unix 的商业操作系统。 iOS 的系统结构分为以下四个层 次：核心操作系统（ the Core OS lay

28、er ），核心服务层（ the Core Services layer ），媒体层（ the Media layer ），Cocoa 触摸框架层 （the Cocoa Touch layer ）。但 iOS 是一套封闭性很强的系统，不开 源，其他公司无法使用它的系统，并且在可以预见的将来，其也将始 终保持封闭的状态， 不支持第三方软件的运行， 在很大程度上限制了 各类软件在 iOS 上的开发、安装和使用，给用户带来极大的不便。优 点：（1）具有极高的稳定性和安全性；（2）Apple Store 中应用程序数量多；（3）操控性极高的点触式用户界面， 可以给带来很好的用户体验；（4）具有与其它操作

29、系统的高度协作性，支持多种磁盘卷格式， 符合各种现有和发展中的标准。缺点：（1）不支持第三方软件的运行；（2）不支持 Flash ，支持多媒体格式较少；2.2.2 Windows Phone2010年 10月 12日，微软正式发布 Windows Phone 7智能操作系 统。2012年 6月 21日，微软正式发布最新手机操作系统 WindowsP hone 8 , Windows Phone 8 将采用和 Windows 8相同的内核。作为微软重 新打造的新一代智能终端平台， WindowsP hone采用了与过去 Windows Mobile 完全不同的屏幕主页和用户界面，为用户带来全新的

30、操作体 验。WindowsP hone 的用户界面以及交互模式均是以广受好评的 Zune HD高清播放器为基础而设计的。在操作性能方面， WindowsP hone操 作系统重视用户的实际使用效率。 它的整个界面简洁实用， 使用了较 大的、图形化的字体，短信数量和未接来电数量都直接显示在主屏上。 在产品方面， Windows Phone与微软其他产品联系紧密，通过与各类 面向企业及消费者的产品进行整合， 丰富了自身的产品资源， 同时极 大地拓展了业务范围。在个人电脑世界，微软的 Windows 是独一无二的王者，在移动世 界，微软也一直有着称王的野心。从 WindowsC E到 Windows

31、M obile ， 再到今天的 Windows Phone，微软一直在努力，效果却不理想。非但 没用超越智能操作系统的老牌王者 Symbian，反而被 Android 、iOS 这些新星挤在身后。 WindowsP hone相对于微软以前的系统如 Windows CE和 Moblie ，可谓是做了彻底性的改变，摒弃了以前系统臃肿和多 层菜单操作的方式，采用了桌面定制、图标拖拽、滑动控制等方式。虽然上市较晚，市场占有率很低， 但是凭借微软强大的技术开发实力、 个人电脑世界庞大的用户群、 以及和老牌手机王者诺基亚的合作， 让 人对它的前景不敢小视。最近，诺基亚、三星、 HTC等主流手机厂商 也推出

32、了一些基于 WindowsP hone 的智能手机。说明各大手机制造商 还是对微软的技术实力看好， Windows Phone系统在未来的移动市场 中大有潜力。优点：（1）应用开发难度低， UI 界面友好；（2）预装软件丰富，便于熟悉个人电脑的用户操作；（3）云计算技术优势；缺点：（1）对硬件平台要求较高；（2）目前应用程序较少。2.2.3 AndroidAndroid 是由 Google 公司牵手 30 多家公司成立的“开放手机联 盟”共同研发的， 基于 Linux 平台的开源移动操作系统， 由操作系统、 中间件、用户界面和应用软件组成， 号称是首个为移动终端打造的真 正开放和完整的移动软件

33、。优点：（1）开放性。 Android 是由 Google 公司牵手 30多家公司成立的 “开放手机联盟” 共同研发的， 这些全球各地的手机制造商和移动运 营商都将基于该平台开发手机的新型业务， 应用之间的通用性和互联 性将在最大程度上得到保证， 而且开发商也会得到新的开放级别， 更 方便的进行协同合作。（2）应用程序无界限。 Android 上的应用程序可以通过标准 API 访问核心移动设备功能， 通过互联网， 应用程序可以声明它们的功能 可供其它应用程序使用。（3）应用程序是在平等的条件下创建的。 移动设备上的应用程序 可以被替换或者扩展，即使是拨号程序这样的核心组件。（4）应用程序可以轻

34、松的嵌入网络。应用程序可以轻松的嵌入 HTM、L JavaScript 和样式表，还可以通过 WebView显示 HTML文件或 是网络内容。（5）Google 网络服务的支持。拥有强大的 Google 的网络服务支 持，如 GoogleTalk 、Gmail 、Google Map等，基于这些服务和庞大客 户群的支持，大大扩展了开发者的设计空间。缺点：（1）Dalvik VM 对于硬件的配置要求较高，在进行应用程序开发 时硬件成本同其它开发环境相比还是比较高的。（2）Google 为了平台的安全性设置了较多的权限控制，导致任 务管理器、模拟按键、屏幕截图、短信防火墙等类似功能的实现都较 为困

35、难、步骤繁琐。移动操作系统iOSWindows PhoneAndroid发行商AppleMicrosoftGoogle应用商店App storeWindows PhoneMarketplaceGoogle Play应用程序数量500000+100000+450000+全球市场占有 率 2012 Q123%2.2%59%目前最新版本iOS 6Windows Phone8Android 4.1最初发布时间2007年6月2010年 10月2008年 9 月内核类型DarwinWindowsCE6.0R3/7.0Linux源码模式封闭式封闭式开放式开放者权限开放度低需要证书支持高度开发开发语言Obje

36、ct-CC#JavaNative 开发支持不支持支持地图支持第三方第三方Google Map表 2 2 移动操作系统的比较2.3移动平台开发技术 - 以 Android 为例2.3.1 Android 体系结构Android 体系结构分为四层，从高到低分别是应用层、应用程序框架层、函数库和运行时环境层、 Linux 内核层。如下图所示 :图 3.1 Android 体系结构 311）Linux 内核层Android 基于 Linux 核心提供安全、内存管理、进程管理、网络 协议栈、驱动模型等核心系统服务。 Linux Kernel 也是系统硬件和 软件叠层之间的抽象层， 隐藏了具体硬件细节，

37、并为上层提供统一的 服务。（2）函数库和运行时环境层函数库包含了一个运行于 Kernel 之上的 C/C+库的集合，供 Android 系统的各个组件使用，这些功能通过应用程序框架暴露给开 发者，这些函数库包括：系统 C 库：C语言的标准库，也是系统中一个最为底层的库，是 通过 Linux 的系统调用来实现的。多媒体框架 ：是 Android 多媒体的核心部分。SGL：2D图像引擎。SSL：即 Secure Socket Layer 位于 TCP/IP 协议与各种应用层协 议之间，为数据通讯提供安全支持。OpenGL ES1.0：提供对 3D的支持。界面管理工具（ Surface Manage

38、ment ）：提供对管理显示子系统等功 能。SQlite ：一个通用的嵌入式数据库。WebKit：网络浏览器的核心。FreeType：位图和矢量字体的功能。Android 运行时由两部分组成 ：Android 核心库和 Dalvik 虚拟机。 其中核心库提供了 Java 语言核心库所能使用的绝大部分功能，而虚 拟机则负责运行 Android 应用程序。 Dalvik 是基于寄存器的虚拟机， 它经过了优化，使得一个设备可以高效地运行多个实例， 因此 Android 系统可以方便地实现对应用程序进行隔离。（3）应用程序框架层应用程序框架提供用于创建 Android 应用的类。它还提供了一个 访问硬

39、件的通用抽象接口， 并能管理用户界面和应用程序资源。 通过 开放平台， Android 开发者能够编写极其丰富的应用程序。开发者可 以自由地利用设备硬件优势，访问位置信息、运行后台服务、设置闹 钟、向状态栏添加通知等。（4）应用层 应用层是和用户交互的一个层次，用户可以看得见的一些应用， 用户可以操作。这类应用基本都是通过 Java 语言编写的独立的能够 完成某些功能的应用程序。 Android 本身提供了桌面、联系人、拨打 电话、浏览器等很多基本的应用程序。软件运行时应用层向下调用应用程序框架层， 应用程序框架层又 要调用之下的库以及核心包和虚拟机，最后要交给底层操作系统 Linux Ker

40、nel 来和硬件进行交互。2.3.2 Android 应用程序组件要进行 Android 应用程序开发，我们必不可少的就是要了解 Android 平台的应用程序框架。 Android 应用程序主要是由 Activity 、 BroadcastReceiver 、 Service 、 ContentProvider 以及 Intent 五大 组件构成的。 在 Android 应用程序中， 开发人员可以根据实际项目需 要对这 5 个组件进行选择性的使用。( 1)活动( Activity )活动是 Android 应用程序中最基本的组件， 通常每个用户界面都 是一个活动。每个活动作为一个独立类都要从

41、活动的基类 Activity 继承而来， 它显示由视图空间组成的用户接口， 并对相应的事件做出 响应。大部分程序会有多个应用程序界面， 多个对应的活动。( 2)广播接收器( BroadcastReceiver )BroadcastReceiver 组件主要是让应用程序响应来自外部的事 件，可能是系统发出的广播，也可能是其他应用程序发出的。在使用 Android 系统的时候经常会遇到许多各式各样的广播，比如我们在玩 游戏时， 这时突然发现显示没电了或者显示有其他人打电话进来， 此 时系统就必须对当前应用程序进行中断并响应。 应用程序需要对某些广播事件进行响应，则需要注册对应的 Broadcast

42、Receiver 对象。（ 3）服务（ Service ）服务通常位于后台运行， 它一般不需要与用户交互， 因此 Service 组件没有图形用户界面。 Service 组件需要继承 Service 基类，一个 Service 组件被运行起来之后，它将拥有自己独立的生命周期， Service 组件通常用于为其他组件提供后台服务或监控其他组件的运 行状态。（ 4）内容提供者（ ContentProvider ）ContentProvider 的主要功能是在不同的应用程序之间实现数据 共享。 Android 每个应用程序都拥有自己独立的存储空间，可以将运 行过程中的数据保存到数据库或者文件中。 当

43、一个程序要访问其他程 序的数据或者向外部程序提供数据时， Content Provider 就发挥作 用了，它为应用程序提供了一组标准的访问方式， 用于在程序需要时 能够访问这些数据，实现数据共享。（ 5）意图（ Intent ）严格的说 Intent 并不是 Android 应用的组件，但它对于 Android 应用的作用非常大，它是 Android 应用内不同组件之间通信的载体。 当 Android 运行时需要连接不同的组件时， 通常就需要借助于 Intent 来实现。 Intent 可以启动应用中另一个 Activity ，也可以启动一个 Service ，还可以发送一条广播消息来触发系

44、统中的 Broadcast Receiver 。Intent 分为显示 Intent 和隐式 Intent ，其中封装了需要 启动或触发的目标组件的大量信息。从 Android 应用程序的角度，各个组件对外的联系是程序处理的一个关键性问题， 组件接口包括对用户的接口和对其他包的接口两 部分内容。 在对用户的接口的角度， 包括呈现给用户的界面和接受用 户的控制，主要由 Activity 及其中的 View对外提供， 其他组件可以 使用通知的方式和用户简单交互。 Android 应用程序包的组件接口关 系如图 5 所示。2.3 智能手机的接入方案手机平板电脑虚拟人FRFID卡3智能电视随着智能电视

45、功能的日渐丰富和强大， 人们需要、 也必须对电视 机的操控方式进行一点改变， 很显然，仅依靠一个简单的电视遥控器 已经满足不了智能电视的操控需求。 人们需要更加自然、 更加方便的 人机交互方式，诸如语音控制、动作识别、触摸控制、多屏互动等智 能化操控。3.1 、语音控制 语音识别技术就是让机器通过识别和理解过程把语音信号转变 为相应的文本或命令的高技术。语音识别技术主要包括特征提取技 术、模式匹配准则及模型训练技术三个方面。语音控制可以较好的解决功能控制复杂、记忆频率数量大的难 题，相对于手动控制来说更加快捷、方便。比如，我们需要打开电视 时，不需要满世界寻找遥控器，通过声音就能控制开机 ;

46、再如，当我 们忘记想看的频道是几号时，也不需要将十几个节目挨个搜索一遍， 直接说出想看的频道，就能直接切换。早在 2001 年，海尔就推出了采用语音识别、汉语语音分析、数 字声音信号处理、语音编码、说话人自适应、回声消除、抗干扰及消 噪声等七大高新技术的智能声控电视。 海尔智能声控电视， 不但可以 在挤满客人的大厅中， 辨认出“主人”的声音执行指令， 还可以寻找 你所喜欢的节目频道。用户只需把自己的声音及指令预先输入系统， 声控电视就会对他们“言听计从”。2011年 3月，TCL推出了“能听能说”的超级智能电视， “能听 能说”就是指引入基于云端的语音识别和语音合成技术， 电视不仅能 听懂用户

47、说话做出反应，而且还能说，比如打开 WEB浏览器，对着电 视喊声“新浪”， 通过云搜索，浏览器页面立刻呈现出新浪网站，比 如朗读时事新闻、读报、读杂志等。TCL 还推出了“小智语音管家”， 据悉，小智语音管家是应用 于云电视上的新一代语音识别工具， 与之前的智能识别不同， 它首次 应用了云计算技术， 带来更强大的智能语音识别、 更便捷的操控体验 与更人性化的人机交互。 通过它，云电视将成为一台一呼即应的智能 机器人，为电视的人工智能语音交互时代拉开序幕。在 2012 年国际消费电子展上三星发布了拥有语音控制功能的电 视产品。该款电视内置高清相机和麦克风， 用户只需对其喊一声“ Hi ， TV”

48、，就可以开启语音控制系统，比如你可以说“ Web Browser”， 然后你就可以上网冲浪， 动动手就可以浏览网页、 选择搜索结果或者 提高音量。除此之外，在 CES2012上，联想、 LG 等智能电视都搭载了语音 识别功能， 用户可直接用遥控器说出电影片名进行查询。 苹果电视机 也将内置 Siri 功能，允许用户对电视进行语音控制。2012 年 2 月，长虹中文版语音电视在国内首发。仅凭语音指令 完成换台、电视节目查询、网络浏览 / 搜索、文字输入等操作，甚至 能与人对话交流。语音控制与消费者实现了生动有趣的、 有情感的交谈， 并能针对 性的提供服务和帮助， 真正意义上拉近了电器与消费者的距

49、离， 实现 电器智能化的历史性跨越。 但是就目前来说， 语音控制还只是限于一 些基本的操作， 还不能完全取代按键操作， 语音控制技术还需要向更 高层次发展。3.2 动作识别动作识别技术是由手型、 身体动作辅以表情姿势为符号构成的动 作识别的一种技术，是人机交互模式识别领域的一项重要研究内容。 动作识别系统可以消除健全人与聋哑人之间交流的障碍， 作为人体语 言理解的一部分， 动作识别还可以更高效的实现人机交流。这项技术实际上也可以说是 XBOX360的 Kinect 上面的技术的引 用。 Kinect 可以通过外置的摄像头捕捉 RGB与红外图像，来侦测出 人体的动作，进而借助一系列的算法来识别出

50、具体的手势操作。在 2011 年，海信智能电视推出了智能感应触控电视 Hi-Touch ， 可以通过动作识别系统， 实现人与电视的互动和体感游戏等功能。 通过动作识别技术， 电视可以完全摆脱遥控器， 带来了智能互感虚拟触 摸的全新体验。TCL推出的超级智能电视也具备了动作识别功能，体现在智能手 势和姿态的识别与控制、 体感游戏及视频通讯功能上。 通过一个外接 的摄像头， 消费者可以用手势控制电视， 通过手势和身体姿态就可玩 转 3D 体感游戏。在 CES2012上，三星展出了采用了 CMOS图像传感器的动作侦测 系统，可以通过摄像头来侦测操作者的手部动作， 可以进行多种简单 的动作操作 ;LG

51、 的魔术运动遥控器 (Magic Motion remote control) 采用了红外感应的操作方式，也可以进行手势侦测。由于人体结构较为复杂， 动作识别技术要实现对对人体三维运动 的精确跟踪还有一定难度。 动作识别技术在电视领域应用前景十分广 阔，如果结合语音控制系统，基本可以完成所有的电视机操作，在进 行电视游戏时也会比传统意义上的体感游戏更有意思， 像水果忍者等 常见的游戏形式也可以不借助游戏主机直接游玩。 可以想象， 这种技 术对于酷爱游戏的用户来说，是一个不错的选择。3.3智能触控自苹果公司推出智能手机 iPhone 后，触控技术就成为了市场关 注的焦点，目前触控技术已经广泛应用

52、于中、 小尺寸电子产品， 例如， 智能手机、数码相机、平板电脑等个人随身设备，技术方面，电容式 技术和电阻式技术是目前应用最广泛的两种技术。早在 2009 年，海尔就推出了全球首款超大 LED屏之内触控模卡电视，该产品采用了先进的多点触控功能， 使用者可直接在屏幕上进 行书写以及绘画。可配备手写笔、无线鼠标以及键盘等设备，全方位 满足用户的多样化需求。 用户还可以根据需求自行调节画笔粗细及其 颜色，并且通过三角板、 量角器等各种内置辅助软件轻松完成各种文 字和图片的操作。2010 年夏普也展示了可以触控操作的裸眼 3D便携电视，该产品 采用视差栅栏裸眼 3D技术，屏幕尺寸由 10.6 寸和 3.8 寸两种尺寸， 分辨率分别为 1280*768 和 800*480。TCL超级智能电视、 海尔多点触 控体感电视等产品在动作识别、 触控等技