物联网基础架构：设备接入与大数据分析.pptx

物联网基础架构 设备接入与大数据分析 TableofContents 云服务面临大规模设备接入挑战 新的解决方案 EventHub服务 EventHub安全模型 云服务面临大规模设备接入挑战 可变速率可预测和不可预测的突发 事件流的特性千变万化 t InactivityPeriod Compute OnandoffOnandoffworkloads e g batchjob Overprovisionedcapacityiswasted t BurstsPeaksduetoperiodicincreaseddemandITcomplexityandwastedcapacity Halo4在线游戏数据 一周的统计数据 事件发生率各式各样 设备信息温控传感器每十五分钟上报一次数据智能汽车每分钟上报一次数据应用的信息应用的性能监测服务每秒钟上报数据到服务器移动应用捕获并上报你的每一次操作 应用和运维的信息Halo游戏引擎每秒要处理1 000 000消息 事件的来源种类繁多 数据来源 Gartner IDC StrategyAnalytics MachinaResearch Companyfilings BIIntelligence Accentureanalysis 盈利模式 内容设备 设备应用 设备应用与服务 垂直领域中的服务设备 IoT的影响力 智慧能源 智慧零售 智能移动 智慧物流 智慧工厂 智慧城市 智慧娱乐 智慧医疗 智能建筑 家居 对云服务的挑战 设备接入服务必须能够支持高并发性 如超过百万级的并发设备接入 高速率 如每秒超过百万事件 高吞吐量 如每100秒处理超过TB 同时还要支持事件缓冲来提高可用性持久性低处理延迟高安全性最后还要价格合理 新的解决方案 EventHub服务 EventHub是大规模数据接入服务 设备容量 通过HTTP AMQP可接收超过百万的数据源 设备 处理速度 每秒处理超百万的事件输入吞吐量 超过GB s输出 发布 订阅模型 可并发连接多个用户应用安全性 基于SAS 每个发布者有唯一的令牌事件缓冲 每个用户的应用拥有自己的指针和偏移量持久性 每个事件可保留1 7天处理时延 端到端50ms内价格 PaaS模式 按实际使用量计费 EventHub在物联网中的应用场景 展现与操作 数据改造 事件代理 永久性存储 事件采集 事件源 嵌入式设备 如RTOS 支持IP的设备 Windows Linux 用户处网关设备 EventHub 传统物联网 私有协议 协议转换网关 AMQP HTTPC NET Java MQTT COAP Custom 定制数据的保留时间 用户分组 接收者分区 检查点 分区分发API 低处理时延方便集成分析平台与服务 定制代码流分析Storm 存储适配器 可以配置的存储服务适配器 AMQP HTTP C NET Java 可根据吞吐量和并发数量扩展 EventHub如何采集事件 事件就是设备和应用上传的消息EventHub以 分区 Partition 为接收单元一个分区就是就是一个事件队列 一个EventHub服务包含多个分区分区之间相互独立 256KB EventHub事件采集的高扩展性 设备发送到EventHub服务的事件包含分区键值 Key EventHub通过静态哈希函数将事件分发到分区如果发布事件时未指定分区键 则会使用循环分配或者其他 如根据地理位置 属性分配 EventHub的流量控制 EventHub的流控通过流控单元实现输入流控 每个单元限定1MB s或1000events s输出流控 每个单元限定2MB s EventHub如何传递消息到使用者 从EventHub读取事件数据的任何实体称为事件使用者IoT场景下 事件使用者就是IoT应用的后台服务事件使用者通过使用者组中的分区读取事件流 AMQP1 0 EventHub如何支持故障转移和弹性 EventHub的分区支持偏移量 Offset 偏移量是事件的编号事件使用者可以在事件流中指定要从其开始读取事件的点 EventHub的分区支持检查点 Checkpointing 检查点记录分区中的事件处理的状态当一个使用者发生故障的时候 备份的使用者可以从检查点开始 继续处理未经处理的事件多个使用者可以并行处理同一分区内的不同事件 EventHub安全模型 EventHub发布者 发布者是设备接入EventHub服务的端点发布者具有接入控制和流控的功能每个设备都把消息发送给发布者每一个发布者有唯一的URL EventHub publisher dev 01 device dev 01 publisher dev 02 device dev 02 publisher dev n device dev n 基于令牌的安全模型 每一个设备都有自己的共享访问签名 SAS 令牌设备长期持有令牌设备在发送的每条消息里携带令牌发布者根据令牌授权设备接入设备通过下列方式之一获得令牌 离线获取