智能家居人机交互方案

在智能家居实验室建设方案中 人机交互系统是一个相对比较 独立的系统 但它的运行即需要其他子系统的支持 同时也想高级 服务提供依据 其中的主要交互设备有家居机器人 智能手机 移 动平板 智能视机 健康设备 遥控器 计算机等 1 1 家居机器人家居机器人 1 11 1 人机交互技术人机交互技术 在终端机器人中主要提供触摸显示和语音交互方式 并提供摄像 头扩展接口 利于更高层次的开发 触摸显示交互是多媒体技术交互方式的一种 其依托于7寸触摸 显示屏进行操作界面的实现和用户触摸输入 目前 在手机 平板 等电子消费领域得到了非常广泛的应用 其有一个缺陷是 触摸显 示屏安放在机器人的机体结构中 属于机器人的一部分 具体的使 用过程不是特别方便 语音交互是本设计中的重要部分 是终端机器人与其他家电设备 最大的却别 通过自然语言交流 一方面用户可以非常方便的使用 机器人进行家庭中各种设备的控制 另一方面其还能与老人对话 提供心理慰藉 或者用于幼龄儿童的教学 终端机器人中语音交互 的方案采用科大讯飞语音云平台进行高效开发 语音识别的过程为 在本地进行语音采集 将采集的信息发送到语音云端 本地接受来 自云端的识别结果在 然后进行智能处理 语音合成的过程为 将 要合成的文本发送到语音云端 云端将语音信息返回到本地进行播 放 科大讯飞云平台只是提供具体的识别和合成 而怎么让语音识 别更智能化则需要进一步的研究 1 21 2 系统硬件系统硬件 1 2 1 整体架构 电子芯片技术的飞越发展 CPU 处理核心的处理和运算性能越来 越强 基于最大化利用 CPU 能力 减少成本和降低系统能耗的思想 本设计采用单处理核心 由 Cortex A8 S5PV210 统筹系统的所有 外设 进行设备控制和信息采集 对于外部设备 设备本身复杂程 度以及传输方式 传输速率上均有不同 因此在对系统设备进行选 型时尽量减少设备种类的复杂程度 系统框架中定义了 2 种设备总 线 USB 总线和 IO 数据总线 手持终端USB 总线用于数据 传输量大 传输速率高的复杂设备 IO 数据总线则对应传输速率低 的简单设备 USB 总线采用 Hub 的形式进行多设备扩展 IO 数据总 线则采用抽象化和模块化思想设计 建立单独的底层扩展系统 规 范相应设备接口 系统从总线的角度出发 将硬件分为 2 部分 底 层扩展系统和上层 Cortex A8 平台 底层扩展系统主要用于传感器数据采集 机器人动力系统控制以 及情感控制 设备的类型和控制较为简单 而上层 Cortex A8 平台 则是在核心控制器的基础上搭载触摸显示屏 用户按键接口 音频 输出以及 USB 类的摄像头 Wi Fi 适配器 蓝牙适配器 整体的硬件架构如图 1 图 1 1 2 1 Cortex A8 与 S5PV210 ARM Cortex A8 处理器是基于ARMv7 A体系结构 其设计主要面 向高性能和低功耗 目前 其突出的优势已经得到了市场的认可 在智能手机 机顶盒 数字电视 打印机等终端设备中具有广泛的 应用 Cortex A8处理器的主要特点如下 1 128 位SIMD 引擎支持高性能媒体处理 NEON 2 优化的1 级高速缓存和集成的2 级高速缓存 4 Thumb 2 技术 提高性能并节省指令存储空间 5 动态分支预测 降低分支错误预测的危害 6 完整的内存管理单元 MMU 7 Jazelle RCT技术优化即时生产 JIT 和动态自适应编译 DAC 8 高功效和高性能的内存系统 Mini210s开发板以Cortex A8的S5PV210为核心控制器 S5VP210 是一款高效率 高性能 低功耗的32为RISC处理器 其适用于智能 手机和平板电脑等智能终端 S5PV210在Cortex A8的基础上拓展了多媒体方面的性能 其包 含很多强大的硬件编解码功能 内置MFC Multi Format Codec 高性能PowerVR SGX540 3D图形引擎和2D图形引擎 IVA3硬件加速器 HDMIv1 3等多媒体相关的处理模块 S5PV210采用584引脚的FCFBGA封装 具有丰富的外围接口如TFT LCD控制器 摄像头接口 MIPI DSI ATA接口 UART 24通道DMA 定时器 手持机 GPIO USB Host 2 0 USB 2 0 OTG等 S5PV210同时具有丰富的高 质量的外部存储接口 其DRAM支持 LPDDR1 DDR2 LPDDR2 Flash ROM支持NAND Flash NOR Flash SRAM等 S5PV210 芯片结构图如图 2 所示 图 2 S5PV210 芯片结构图 1 2 2 Mini210s 开发平台 Mini210s是一款高性能高性价比的Cortex A8开发板 搭载三星 S5PV210处理器 运行主频可高达1GHz 同时集成PowerVR SGX540高 性能图形引擎 工业PDA Mini210s开发板配备了512M DDR2内存和4G MLC NAND Flash 其外 部应用接口非常丰富如WM8960音频芯片 miniHDMI高清输出 USB2 0 CMOS摄像头 SDIO 矩阵键盘等接口 详见图4 15 其 电源电路也支持低功耗待机省电模式 该款开发板提供开源的 Android2 3 1系统源码以及Linux kernel源码 方便用户进行二次 开发 同时其还提供方便易使用的开发板烧写工具Superboot 缩短 了系统开发周期 根据终端系统功能设定要求 Mini210s 开发板的板载资源主要 使用电阻触摸显示 USB OTG 接口 音频接口三个部分 电阻触摸 显示接口与 7 寸一线精准电阻触摸显示屏连接 实现 Android 系统 操作界面的显示和触控操作的检测 WiFi 蓝牙 USB 摄像头等设 备通过与 USB HOST 接口连接的 USB Hub 完成基于 USB 设备的设备扩 展 音频部分采用 I2S0 接口 外接 WM8960 CODEC 解码芯片 提供 声音输入和 speaker 输出 内置 D 类功放 能直接连接 8 1W 扬声 器 功能 图 3 Mini210s 接口布局 1 31 3 服务内容服务内容 1 3 1 机器人动作及情感表达 图 4 小优 机器人的动作和情感是其与其他家居设备的最重要的区别 能 够实现更好的人机交互模式 机器人的动作主要包括2类 机器人的正常行走和头部运动 行 走控制是在2轮轮系结构上通过控制直流电机实现 机器人可以灵活 地进行前进 后退 左右转等动作 头部运动主要包含了抬头和扭 头的动作 2个自由度均通过直流电机实现 机器人相关动作作为服 务发布到智能家居服务网关 其他终端可以通过网关或者直接网络 连接实现机器人的动作控制 机器人的情感表达是机器人智能性的核心体现 其表现途径主 要有三个方面 LED情感输出 机械动作以及语音 通过三者的结合 向用户立体地呈现了具体情感 3 2 23 2 2 网络接入 网络是物联网的核心基础之一 是物联网终端的基本特征 物 联网终端工作的环境为一个家庭 其面积通常在几十到几百个平方 米 因此在选择通信介质时需要选择覆盖面积较大 信号穿透力强 的网络通信方式 再则该终端在家庭中大多数情况出于运动状态 通信介质应选取无线类型的 目前 消费市场流行的短距离无线通信方式主要有蓝牙和 WiFi 蓝牙和WiFi技术都是工作在全球通用的2 4GHz ISM频段 有 效解决了移动终端设备之间以及与Internet的通信 一般蓝牙技术 的有效通信距离为10m 新的蓝牙标准4 0能够达到100m以上的超长 距离 WiFi的有效通信距离则在几十米 发射功率足够大的情况下 能达到100m以上 足够覆盖整个家庭环境 另外 蓝牙的传输速率 较低 如果处理视频类的数据时会出现延迟问题 因此 设计中使 用WiFi作为机器人的网络通信介质 连接局域网以及互联网 为了 方便WiFi模块的驱动移植 设计中选择的USB接口WiFi模块EDUP EP 8508GS 其采用REALTEK8188cus芯片 使用802 11n无线传输技术 传输速率高达150Mbps 内置高精密天线 传输稳定 另外 蓝牙通 信在智能设备如手机 医疗健康类设备等中应用广泛 为了支持此 类设备 终端系统使用USB接口的蓝牙适配器提供蓝牙通信通道 3 2 33 2 3 智能家居应用 在具体的家居环境中 物联网终端一方面作为设备对外发布自己 的服务 如动作相关服务 视频服务等 可以根据具体的需求对其 进行扩展 其他终端设备可以通过网络方式对其进行服务调用 另 一方面终端能够通过网关调用其他设备所提供的服务 例如家电控 制的实现 服务调用的实现依托于家庭环境中的网络环境 主要有2种模式 服务器模式和直接连接模式 具体的网络结构如图3所示 服务器模式依托于现有的家居PC网关 家居环境中的各种设备 与服务器网关进行连接 网关对设备统一进行管理 当需要控制其 他设备时 设备从网关获取控制方式并将控制请求发送到网关 网 关接受到请求后先判断目标设备正常后将控制请求发送到目标设备 目标设备接收请求并依情况进行响应 服务器模式优点是能够对设 备进行统一管理 设备可以动态增减 但整体结构比较复杂 给家 居环境增加了额外的设备开销 直接连接模式中各设备通过网络直接通过物理通信方式发送控 制指令和数据直接到达被控设备 由于直接连接模式没有网关对设 备进行统一管理 所以在网络环境中必须对设备列表进行固化 不 能实现设备的动态添加 但此种模式技术实现简单而且没有额外开 销 图3 3智能家居网络结构图 物联网终端机器人对两种网络环境都提供支持 智能家居控制 时 终端通过WebService协议与网关通信 实现具体设备的控制 同时终端也可以通过Wifi与家电控制终端直接连接 终端机器人通 过socket通信传递控制指令 家电控制终端通过Wifi转RS232模块将 socket信息转化为串口数据 处理模块接收控制指令后进行相应操 作 终端机器人作为设备时 建立网络监听 接受相应的控制信息 即可进行响应 3 2 53 2 5 智能提醒及应用扩展 人到老年后随着年龄的增加记忆力不断退化 往往会出现遗忘 需要完成的事情或者是忘记吃药等现象 针对这一老年人的实际需 求 物联网终端机器人具有智能提醒的功能 用户根据需要通过语 音命令或者设置界面进行事件的设定 设置内容主要包括时间和事 件内容 当到达预定时间时机器人将进行相关时间的语音提示并在 Android系统窗口推送时间提醒消息 智能提醒服务主要是基于时间 时间提醒的应用 针对老人的 心理慰藉问题也可以开发语音相关治疗软件 事实上 Android 系 统拥有非常庞大的应用 APP 商店 涵盖了健康 保健 娱乐 教育 等多个方面 用户根据自身的需求对应用程序进行定制 而且应用 商店中的绝大多数软件都是可以免费使用的 对于一些专有性较强 的应用 开发者根据具体的需求使用过 Android SDK 以及相关工具 即可开发 而且其上层应用开发几乎完全与底层硬件相独立 大大 缩小了开发难度 也正是由于强大的应用商店库和高效开发性 终 端机器人实现选择搭载 Android 操作系统 2 2 智能手机智能手机 2 12 1 智能手机的人机交互方式智能手机的人机交互方式 智能手机作为物联网家居中的一个重要的智能终端 在人机交 互上有多种体现方式 常见的就有感应器 触摸屏 物理按键 加 速度感应器 环境光线感应器 距离感应器 陀螺仪 指南针 GPS 摄像头 时钟 录音以及常规的数据输入口 2 3 4G 数据 WIFI 蓝牙 数据线 1 触摸屏 触摸屏是大家所熟知的命令输入设备 已经发展出全套的多手 指手势 用于自然的命令输入 在智能手机上使用的最多的是点击 长按 横滑 拖动 以单指手势为主 两指以上的手势并不太适合 手机 因为常见的持机方式是单手持机 多指手势比较适合平板电 脑 2 传感器 现在的移动操作系统都提供了对传感器的支持 如果硬件设备 提供了这些传感器 目前支持的传感器有加速度传感器 光线传感 器 压力传感器 方向传感器 磁场传感器 温度传感器等 通过 这些传感器 用户可以很方便的获得手机的运行状态 当前的摆放 方向 外界的磁场 温度和压力等 3 GPS 最直接的用途是在地图应用中调取当前位置 在 LBS 服务中获 得 POI 点名称 不过 Nike Running 将其用于记录跑步的路径 也是 一种比较有趣的拓展 4 摄像头 摄像头其实是一种非常强大的信息获得设备 二维码在 O2O 领域 的巨大潜力已经被微信搅起来了 之前一种颇为神奇的用途就是被 heart rate 通过拍摄手指血管来测量心律 其他的用途还有人脸身 份识别 计算机视觉的手势识别 物体追踪等等 5 录音 录音是一种长期被忽略的人机交互方式 发现它潜力的人则创造 了非常神奇的交互方式 比如 Square 用它作为信用卡刷卡信息的输入口 一些游戏用它模拟一些 吹一吹 的效果 Chirp 利用声音传递身份识别码 用以在手机间传递文件 此外 随着移动智能终端设备的发展 人机交互的方式也日益 多元化 MirageMirage TableTable 真人与虚拟影像的互动 真人与虚拟影像的互动 由微软推出的 Mirage Table 幻影桌面 是一项颇为神奇的技 术 它将两台 3D 投影仪 Kinect 体感监测仪 3D 眼镜以及人的动 作结合在一起 打造出一个真人和影像互动的效果 通过 MirageTable 人们的所有动作都会被 Kinect 捕捉并转化称 3D 影像 然后和已有的 3D 物品进行交互 比如用手移动影像中的多米诺骨牌 皮球等 同时一个实体物品可以通过虚拟影像复制出多个 也可以 将移动虚拟物品到任何位置 用户只需要佩戴 3D 眼镜就可以看到 MirageTable 上 3D 投影的 图像 曲面设计可以让操作者通过投影仪来与虚拟画面实现互动交 流 就像打保龄球一样 MirageTable 还可以实现人与人之间的 双向写作 通过 Miragetable 两个操作者不仅可以看到对方并谈 话 而且一个人可以与视频中另一个人的虚拟对象进行互动交流 甚至可以 触摸 虚拟对象 还可以一起下象棋 搭积木 甚至研 究一些比较复杂的项目方案等 如果说 AR 增强现实 技术可以在现实的基础上模拟出虚拟场 景 让人进入虚拟版的现实世界 那么 Mirage Table 则可以将用户 带入一个虚拟的世界 想象一下 如果未来所有的网络游戏都可以 将用户融入其中 在虚拟环境下直接操作 使用新奇的装备 实现 惊艳的特效 世界将会变得多么神奇 基于基于 KinectKinect 的操控创新的操控创新 微软推出的 Xbox 360 体感外设 Kinect 很受用户欢迎 但是它 的意义并不仅仅是游戏外设 而在于对人机交互方式的探索和创新 正因为如此 Kinect 技术才能被广泛应用到其他创新产品之中 成 为智能人机交互的经典产品 国外一家专注于人机交互技术的创业公司 3Gear Systems 利用 微软 Kinect 技术 推出了 SDK 包 能够帮助开发者将手势动作反馈 到应用软件之中 这套系统可以帮助 3D 建模人员更方便快捷地对模 型进行拼装操作 操作过程可以在普通显示器之上呈现 开发者只 需要购买 Kinect 传感器和固定装置就可以在这款 SDK 包的基础上 设计新的 APP 产品 Kinect 的作用还不止于此 Oblong 实验室近期公布了一项科研 成果 它将 Kinect 与 Xbox 上的 IE 浏览器结合起来 脱离鼠标来操 作电脑屏幕 能够实现一系列复杂的操作 例如拖动 摆放屏幕上 的个体 对三维模型进行旋转 缩放 进行复杂的命令操作 或者 用手机 平板或遥控器来控制大屏幕 甚至可以多人玩游戏 通过 手势控制飞行器 在多个屏幕之间进行无缝切换等 微软研究院联合华盛顿大学也研发出了一种名为 SoundWave 的 系统 该系统可利用计算机内置的麦克风和扬声器 提供与 Kinect 类似的对象识别及手势识别功能 SoundWave 将计算机的内置扬声 器用做超声波 18 22KHz 发射源 其频率会随着你的手或身体的 位置的变化而变化 然后 计算机的内置麦克风会测量这一频率变 化 并把参数告诉一套相当复杂的软件 由该软件计算出手势和动 作 语音交互的行业应用语音交互的行业应用 苹果于 2010 年花 2 亿美金亲自将 Siri 收购 并将其深度融入 到 iPhone 4S 中 Siri 和手机紧密结合 可以极大提升设备的操作 简易性 环境适应性和真正意义上的智能性 实际上 不仅仅是 Apple 自己的 iPad iTV 和车载设备 所有未来所谓的智能设备都 将会使用 Siri 的模式 但是智能人机交互技术在行业的应用中 还存在一些不足 以 语音交互为例 传统语音交互涉及的主要技术包括语音识别和语音 合成等都已经比较成熟 在多年以前 IBM 的语音识别软件在 PC 上就有不错的识别率了 而微软名为 Tellme 的项目也持续了多年 然而 即使达到 100 的准确率 仅限于输入识别功用的语音识别不 能代表智能人机交互的真正意义 它并不是革命性的 要实现完美 的人机交互 语音技术就必须跟人工智能技术结合起来 现在以语音方式为主的人机交互系统目前主要应用在如呼叫中 心的 IVR 系统 智能手机等终端中的语音拨号 短信朗读 车载语 音导航系统等 但普遍存在交互模式比较机械固定 以声控命令为 主 用户体验一般 交互过程繁琐等问题 2 22 2 智能手机的市场现状智能手机的市场现状 当前市场上主流的移动操作系统平台有 Andorid iOS Windows Phone 互联网数据中心 International Data Corporation IDC 近日公布了全球最新的智能手机市场份额 数据 从数据表格中我们可以看到 Android 开始占据超过大半的江 山 并且根据 IDC 对未来 5 年智能手机市场的预测 到 2016 年 Android 的市场份额仍将占到一半以上 到时候 Microsoft 的市场 份额 Windows Phone and Windows Mobile 将会有一个大幅度的 提升 将占到 19 2 智能手机操作系统智能手机操作系统 SmartphoneSmartphone OperatingOperating SystemSystem 20122012 年年 市场份额市场份额 20162016 年市场份额年市场份额 20122012 20162016 复合年增长率复合年增长率 Android61 0 52 9 9 5 Windows Phone 7 Windows Mobile5 2 19 2 46 2 iOS20 5 19 0 10 9 BlackBerry OS6 0 5 9 12 1 Others7 2 3 0 5 4 Total100 0 100 0 12 7 表 1 智能手机操作系统 2012 年 2016 年市场份额变化情况 2 2 1 iOS 苹果 iOS 是由苹果公司开发的手持设备操作系统 2007 年 1 月 10 正式发布 最初是设计给 iPhone 使用的 后来陆续套用到 iPod touch iPad 以及 Apple TV 等苹果产品上 它是以 Darwin 为基础 的 因此同样属于类 Unix 的商业操作系统 iOS 的系统结构分为以 下四个层次 核心操作系统 the Core OS layer 核心服务层 the Core Services layer 媒体层 the Media layer Cocoa 触摸框架层 the Cocoa Touch layer 但 iOS 是一套封闭性很强 的系统 不开源 其他公司无法使用它的系统 并且在可以预见的 将来 其也将始终保持封闭的状态 不支持第三方软件的运行 在 很大程度上限制了各类软件在 iOS 上的开发 安装和使用 给用户 带来极大的不便 优点 1 具有极高的稳定性和安全性 2 Apple Store 中应用程序数量多 3 操控性极高的点触式用户界面 可以给带来很好的用户体 验 4 具有与其它操作系统的高度协作性 支持多种磁盘卷格式 符合各种现有和发展中的标准 缺点 1 不支持第三方软件的运行 2 不支持 Flash 支持多媒体格式较少 2 2 2 Windows Phone 2010 年 10 月 12 日 微软正式发布 Windows Phone 7 智能操作 系统 2012 年 6 月 21 日 微软正式发布最新手机操作系统 Windows Phone 8 Windows Phone 8 将采用和 Windows 8 相同的内核 作 为微软重新打造的新一代智能终端平台 Windows Phone 采用了与 过去 Windows Mobile 完全不同的屏幕主页和用户界面 为用户带来 全新的操作体验 Windows Phone 的用户界面以及交互模式均是以 广受好评的 Zune HD 高清播放器为基础而设计的 在操作性能方面 Windows Phone 操作系统重视用户的实际使用效率 它的整个界面 简洁实用 使用了较大的 图形化的字体 短信数量和未接来电数 量都直接显示在主屏上 在产品方面 Windows Phone 与微软其他 产品联系紧密 通过与各类面向企业及消费者的产品进行整合 丰 富了自身的产品资源 同时极大地拓展了业务范围 在个人电脑世界 微软的 Windows 是独一无二的王者 在移动世 界 微软也一直有着称王的野心 从 Windows CE 到 Windows Mobile 再到今天的 Windows Phone 微软一直在努力 效果却不 理想 非但没用超越智能操作系统的老牌王者 Symbian 反而被 Android iOS 这些新星挤在身后 Windows Phone 相对于微软以前 的系统如 Windows CE 和 Moblie 可谓是做了彻底性的改变 摒弃 了以前系统臃肿和多层菜单操作的方式 采用了桌面定制 图标拖 拽 滑动控制等方式 虽然上市较晚 市场占有率很低 但是凭借 微软强大的技术开发实力 个人电脑世界庞大的用户群 以及和老 牌手机王者诺基亚的合作 让人对它的前景不敢小视 最近 诺基 亚 三星 HTC 等主流手机厂商也推出了一些基于 Windows Phone 的智能手机 说明各大手机制造商还是对微软的技术实力看好 Windows Phone 系统在未来的移动市场中大有潜力 优点 1 应用开发难度低 UI 界面友好 2 预装软件丰富 便于熟悉个人电脑的用户操作 3 云计算技术优势 缺点 1 对硬件平台要求较高 2 目前应用程序较少 2 2 3 Android Android 是由 Google 公司牵手 30 多家公司成立的 开放手机联 盟 共同研发的 基于 Linux 平台的开源移动操作系统 由操作系 统 中间件 用户界面和应用软件组成 号称是首个为移动终端打 造的真正开放和完整的移动软件 优点 1 开放性 Android 是由 Google 公司牵手 30 多家公司成立 的 开放手机联盟 共同研发的 这些全球各地的手机制造商和移 动运营商都将基于该平台开发手机的新型业务 应用之间的通用性 和互联性将在最大程度上得到保证 而且开发商也会得到新的开放 级别 更方便的进行协同合作 2 应用程序无界限 Android 上的应用程序可以通过标准 API 访问核心移动设备功能 通过互联网 应用程序可以声明它们的功 能可供其它应用程序使用 3 应用程序是在平等的条件下创建的 移动设备上的应用程 序可以被替换或者扩展 即使是拨号程序这样的核心组件 4 应用程序可以轻松的嵌入网络 应用程序可以轻松的嵌入 HTML JavaScript 和样式表 还可以通过 WebView 显示 HTML 文件 或是网络内容 5 Google 网络服务的支持 拥有强大的 Google 的网络服务 支持 如 GoogleTalk Gmail Google Map 等 基于这些服务和庞 大客户群的支持 大大扩展了开发者的设计空间 缺点 1 Dalvik VM 对于硬件的配置要求较高 在进行应用程序开 发时硬件成本同其它开发环境相比还是比较高的 2 Google 为了平台的安全性设置了较多的权限控制 导致任 务管理器 模拟按键 屏幕截图 短信防火墙等类似功能的实现都 较为困难 步骤繁琐 移动操作系统 iOSWindows PhoneAndroid 发行商 AppleMicrosoftGoogle 应用商店 App store Windows Phone Marketplace Google Play 应用程序数量 500000 100000 450000 全球市场占有 率 2012 Q1 23 2 2 59 目前最新版本 iOS 6 Windows Phone 8 Android 4 1 最初发布时间2007 年 6 月2010 年 10 月2008 年 9 月 内核类型 Darwin Windows CE6 0R3 7 0 Linux 源码模式封闭式封闭式开放式 开放者权限开放度低需要证书支持高度开发 开发语言 Object CC Java Native 开发支持不支持支持 地图支持第三方第三方 Google Map 表 2 移动操作系统的比较 2 3 移动平台开发技术 以 Android 为例 2 3 1 Android 体系结构 Android 体系结构分为四层 从高到低分别是应用层 应用程序 框架层 函数库和运行时环境层 Linux 内核层 如下图所示 图 3 1 Android 体系结构 31 1 Linux 内核层 Android 基于 Linux 核心提供安全 内存管理 进程管理 网 络协议栈 驱动模型等核心系统服务 Linux Kernel 也是系统硬件 和软件叠层之间的抽象层 隐藏了具体硬件细节 并为上层提供统 一的服务 2 函数库和运行时环境层 函数库包含了一个运行于 Kernel 之上的 C C 库的集合 供 Android 系统的各个组件使用 这些功能通过应用程序框架暴露给 开发者 这些函数库包括 系统系统 C C 库库 C 语言的标准库 也是系统中一个最为底层的库 是 通过 Linux 的系统调用来实现的 多媒体框架多媒体框架 是 Android 多媒体的核心部分 SGLSGL 2D 图像引擎 SSLSSL 即 Secure Socket Layer 位于 TCP IP 协议与各种应用层协 议之间 为数据通讯提供安全支持 OpenGLOpenGL ES1 0ES1 0 提供对 3D 的支持 界面管理工具 Surface Management 提供对管理显示子系统等 功能 SQliteSQlite 一个通用的嵌入式数据库 WebKitWebKit 网络浏览器的核心 FreeTypeFreeType 位图和矢量字体的功能 AndroidAndroid 运行时由两部分组成运行时由两部分组成 Android 核心库和 Dalvik 虚拟机 其中核心库提供了 Java 语言核心库所能使用的绝大部分功能 而虚 拟机则负责运行 Android 应用程序 Dalvik 是基于寄存器的虚拟机 它经过了优化 使得一个设备可以高效地运行多个实例 因此 Android 系统可以方便地实现对应用程序进行隔离 3 应用程序框架层 应用程序框架提供用于创建 Android 应用的类 它还提供了一 个访问硬件的通用抽象接口 并能管理用户界面和应用程序资源 通过开放平台 Android 开发者能够编写极其丰富的应用程序 开 发者可以自由地利用设备硬件优势 访问位置信息 运行后台服务 设置闹钟 向状态栏添加通知等 4 应用层 应用层是和用户交互的一个层次 用户可以看得见的一些应用 用户可以操作 这类应用基本都是通过 Java 语言编写的独立的能够 完成某些功能的应用程序 Android 本身提供了桌面 联系人 拨 打电话 浏览器等很多基本的应用程序 软件运行时应用层向下调用应用程序框架层 应用程序框架层 又要调用之下的库以及核心包和虚拟机 最后要交给底层操作系统 Linux Kernel 来和硬件进行交互 2 3 2 Android 应用程序组件 要进行 Android 应用程序开发 我们必不可少的就是要了解 Android 平台的应用程序框架 Android 应用程序主要是由 Activity BroadcastReceiver Service ContentProvider 以及 Intent 五大组件构成的 在 Android 应用程序中 开发人员可以根 据实际项目需要对这 5 个组件进行选择性的使用 1 活动 Activity 活动是 Android 应用程序中最基本的组件 通常每个用户界面 都是一个活动 每个活动作为一个独立类都要从活动的基类 Activity 继承而来 它显示由视图空间组成的用户接口 并对相应 的事件做出响应 大部分程序会有多个应用程序界面 多个对应的 活动 2 广播接收器 BroadcastReceiver BroadcastReceiver 组件主要是让应用程序响应来自外部的事 件 可能是系统发出的广播 也可能是其他应用程序发出的 在使 用 Android 系统的时候经常会遇到许多各式各样的广播 比如我们 在玩游戏时 这时突然发现显示没电了或者显示有其他人打电话进 来 此时系统就必须对当前应用程序进行中断并响应 应用程序需 要对某些广播事件进行响应 则需要注册对应的 BroadcastReceiver 对象 3 服务 Service 服务通常位于后台运行 它一般不需要与用户交互 因此 Service 组件没有图形用户界面 Service 组件需要继承 Service 基 类 一个 Service 组件被运行起来之后 它将拥有自己独立的生命 周期 Service 组件通常用于为其他组件提供后台服务或监控其他 组件的运行状态 4 内容提供者 ContentProvider ContentProvider 的主要功能是在不同的应用程序之间实现数 据共享 Android 每个应用程序都拥有自己独立的存储空间 可以 将运行过程中的数据保存到数据库或者文件中 当一个程序要访问 其他程序的数据或者向外部程序提供数据时 Content Provider 就 发挥作用了 它为应用程序提供了一组标准的访问方式 用于在程 序需要时能够访问这些数据 实现数据共享 5 意图 Intent 严格的说 Intent 并不是 Android 应用的组件 但它对于 Android 应用的作用非常大 它是 Android 应用内不同组件之间通 信的载体 当 Android 运行时需要连接不同的组件时 通常就需要 借助于 Intent 来实现 Intent 可以启动应用中另一个 Activity 也可以启动一个 Service 还可以发送一条广播消息来触发系统中 的 Broadcast Receiver Intent 分为显示 Intent 和隐式 Intent 其中封装了需要启动或触发的目标组件的大量信息 从 Android 应用程序的角度 各个组件对外的联系是程序处理 的一个关键性问题 组件接口包括对用户的接口和对其他包的接口 两部分内容 在对用户的接口的角度 包括呈现给用户的界面和接 受用户的控制 主要由 Activity 及其中的 View 对外提供 其他组 件可以使用通知的方式和用户简单交互 Android 应用程序包的组 件接口关系如图 5 所示 活动 Activity 服务 Service 广播接收器 BroadcastReceiver 活动 Activity UI相关的实现 空间 图形绘制 动画 UI无关的实现 逻辑 算法 数据存储 硬 件相关 可见部分 后台部分 A An nd dr ro oi id d应应用用 程程序序包包 Activity Context Intent Intent Intent Intent Start Start For Result Start stop bind unbind Send 查询 插入 更新 删除 对用户的界面Toast通知和状态栏通知 包内的组件 交互 对其他包的 接口 数据存储 URL 2 32 3 智能手机的接入方案智能手机的接入方案 人机交互 触 摸 交 互 语 音 交 互 视 觉 交 互 手 势 交 互 智能手机 平板 Android Windows 8 机器人 贝壳 娱乐影音 教学服务 智能定位 智能提醒 用户 WIFI 行走控制 电 机 控 制 传 感 避 障 头部控制 电 机 控 制 位 置 传 感 视频监控 情感表达 娱乐教学 HTTP WebService 智能家居 服务器 远程智能终端 健康设备 网络摄像头 RFID读卡器 手机 平板 电脑 虚拟人 BT WIFI FRFID卡 PLC 控制器 子网关 控制器 电 灯 智 能 电 表 传感器监测 Zigbee 万能遥控器 电 视 空 调 鱼 缸 温度传感器 光传感器 CO传感器 3 3 智能电视智能电视 随着智能电视功能的日渐丰富和强大 人们需要 也必须对电 视机的操控方式进行一点改变 很显然 仅依靠一个简单的电视遥 控器已经满足不了智能电视的操控需求 人们需要更加自然 更加 方便的人机交互方式 诸如语音控制 动作识别 触摸控制 多屏 互动等智能化操控 3 13 1 语音控制 语音控制 语音识别技术就是让机器通过识别和理解过程把语音信号转变 为相应的文本或命令的高技术 语音识别技术主要包括特征提取技 术 模式匹配准则及模型训练技术三个方面 语音控制可以较好的解决功能控制复杂 记忆频率数量大的难 题 相对于手动控制来说更加快捷 方便 比如 我们需要打开电 视时 不需要满世界寻找遥控器 通过声音就能控制开机 再如 当 我们忘记想看的频道是几号时 也不需要将十几个节目挨个搜索一 遍 直接说出想看的频道 就能直接切换 早在 2001 年 海尔就推出了采用语音识别 汉语语音分析 数 字声音信号处理 语音编码 说话人自适应 回声消除 抗干扰及 消噪声等七大高新技术的智能声控电视 海尔智能声控电视 不但 可以在挤满客人的大厅中 辨认出 主人 的声音执行指令 还可 以寻找你所喜欢的节目频道 用户只需把自己的声音及指令预先输 入系统 声控电视就会对他们 言听计从 2011 年 3 月 TCL 推出了 能听能说 的超级智能电视 能听 能说 就是指引入基于云端的语音识别和语音合成技术 电视不仅 能听懂用户说话做出反应 而且还能说 比如打开 WEB 浏览器 对 着电视喊声 新浪 通过云搜索 浏览器页面立刻呈现出新浪网站 比如朗读时事新闻 读报 读杂志等 TCL 还推出了 小智语音管家 据悉 小智语音管家是应用 于云电视上的新一代语音识别工具 与之前的智能识别不同 它首 次应用了云计算技术 带来更强大的智能语音识别 更便捷的操控 体验与更人性化的人机交互 通过它 云电视将成为一台一呼即应 的智能机器人 为电视的人工智能语音交互时代拉开序幕 在 2012 年国际消费电子展上三星发布了拥有语音控制功能的电 视产品 该款电视内置高清相机和麦克风 用户只需对其喊一声 Hi TV 就可以开启语音控制系统 比如你可以说 Web Browser 然后你就可以上网冲浪 动动手就可以浏览网页 选择 搜索结果或者提高音量 除此之外 在 CES2012 上 联想 LG 等智能电视都搭载了语音 识别功能 用户可直接用遥控器说出电影片名进行查询 苹果电视 机也将内置 Siri 功能 允许用户对电视进行语音控制 2012 年 2 月 长虹中文版语音电视在国内首发 仅凭语音指令 完成换台 电视节目查询 网络浏览 搜索 文字输入等操作 甚至 能与人对话交流 语音控制与消费者实现了生动有趣的 有情感的交谈 并能针 对性的提供服务和帮助 真正意义上拉近了电器与消费者的距离 实现电器智能化的历史性跨越 但是就目前来说 语音控制还只是 限于一些基本的操作 还不能完全取代按键操作 语音控制技术还 需要向更高层次发展 3 23 2 动作识别动作识别 动作识别技术是由手型 身体动作辅以表情姿势为符号构成的 动作识别的一种技术 是人机交互模式识别领域的一项重要研究内 容 动作识别系统可以消除健全人与聋哑人之间交流的障碍 作为 人体语言理解的一部分 动作识别还可以更高效的实现人机交流 这项技术实际上也可以说是 XBOX360 的 Kinect 上面的技术的引 用 Kinect 可以通过外置的摄像头捕捉 RGB 与红外图像 来侦测出 人体的动作 进而借助一系列的算法来识别出具体的手势操作 在 2011 年 海信智能电视推出了智能感应触控电视 Hi Touch 可以通过动作识别系统 实现人与电视的互动和体感游戏等 功能 通过动作识别技术 电视可以完全摆脱遥控器 带来了智能 互感虚拟触摸的全新体验 TCL 推出的超级智能电视也具备了动作识别功能 体现在智能 手势和姿态的识别与控制 体感游戏及视频通讯功能上 通过一个 外接的摄像头 消费者可以用手势控制电视 通过手势和身体姿态 就可玩转 3D 体感游戏 在 CES2012 上 三星展出了采用了 CMOS 图像传感器的动作侦测 系统 可以通过摄像头来侦测操作者的手部动作 可以进行多种简 单的动作操作 LG 的魔术运动遥控器 Magic Motion remote control 采用了红外感应的操作方式 也可以进行手势侦测 由于人体结构较为复杂 动作识别技术要实现对对人体三维运 动的精确跟踪还有一定难度 动作识别技术在电视领域应用前景十 分广阔 如果结合语音控制系统 基本可以完成所有的电视机操作 在进行电视游戏时也会比传统意义上的体感游戏更有意思 像水果 忍者等常见的游戏形式也可以不借助游戏主机直接游玩 可以想象 这种技术对于酷爱游戏的用户来说 是一个不错的选择 3 33 3 智能触控智能触控 自苹果公司推出智能手机 iPhone 后 触控技术就成为了市场关 注的焦点 目前触控技术已经广泛应用于中 小尺寸电子产品 例 如 智能手机 数码相机 平板电脑等个人随身设备 技术方面 电容式技术和电阻式技术是目前应用最广泛的两种技术