基于云平台的物联网支撑系统的设计与研究.doc

计算机科学与技术学院研究生学位论文情况中期检查报告 作者：江源单位：四川大学计算机学院制表时间：2011年11月研究生简况姓名 性别 年龄年级专业专业类型学术/专业联系电话导师开题时间是否延迟开题外出实习单位外出实习时间修课情况学位课总学分非学位课总学分是否完成所有规定学分？如无，具体说明原因及补救措施：成果情况（备注：成果第一单位为重邮）个人排序成果类型成果详细内容成果级别论文状态（打勾）是否论文相关该成果是否可获得毕业资格发表录用已投计划主要写1或2论文/专利/著作/软件登记/获奖/标准文档等学校、学院认可的可获得毕业资格的成果按参考文献的国家标准给出完整条目论文：公开/中文核心/国际期刊/国际会议等获奖：国家级/省部级其他参照执行。排名1或2（第一作者为导师、副导师）红色文字为填表示意，填写时请参照，填毕删除。对照开题报告进行论文进展自查自查项开题阶段（严格按开题报告填写）中期检查阶段论文题目基于云平台的物联网支撑系统的设计与研究论文题目符合开题阶段要求研究目标基于开源云计算系统Hadoop和物联网的RFID以及采集信息传感器，设计并实现一套适用于物联网的云支撑平台论文在研究过程中遵循开题阶段确定的研究目标研究内容1、研究物联网数据信息采集的技术，研究如何将物联网采集到的数据传输到云平台中。2、研究开源的Hadoop云计算系统，研究如何构建海量数据存储平台。3、对基于Hadoop平台的数据分析与应用进行研究。4、构建Hadoop为核心的应用程序开发环境，并编写程序实现相应功能目前，在理论上研究了物联网的信息采集技术，主要是基于RFID和EPC的数据采集流程，确定了将物联网数据传输到云计算平台的方案。在Linux下实现了对Hadoop的伪分布式部署。由于实现条件有限，利用VM虚拟机软件，在Redhat Linux Enterprise 5.0的环境下安装与部署了Hadoop的所有组件。构建了应用程序开发环境，在Windows环境下安装了Eclipse开发环境，并与后台虚拟机中的Hadoop连接，实现程序的开发、调试与部署技术关键和难点1、 物联网数据的分布式数据挖掘技术2、 分布式挖掘无缝集成到云计算平台3、 Hadoop数据存储环境的部署4、 MapReduce语言的设计与开发目前，在物联网数据的分布式数据挖掘技术和与云计算平台的无缝连接方面做了理论上的研究。基于安装在虚拟机中的Linux系统，完成了Hadoop数据存储环境的部署，并在Windows中安装了编程环境。创新点课题的创新点主要是研究了物联网数据利用云计算平台进行处理与存储的系统方案，并通过实际的仿真与部署证明该平台的有效性目前完成了仿真环境与程序编写、调试、部署环境的配置。明确了物联网数据的在云计算平台上的部署方案。正在研究物联网数据数据挖掘的具体实施方案，MapReduce语言的使用技巧。研究方法和技术路线1、资料查询。通过图书馆与网络，搜索相关的文字资料和视频资料，研究与课题相关内容的国内外研究情况，如物联网技术的发展现状、云计算平台的现状与趋势、物联网与云计算平台相结合的研究情况等。2、仿真实验。由于系统的研究要求利用开源的云计算数据存储与处理系统Hadoop，相比与Google公司等使用的商业云计算平台，该系统虽然在性能上稍显欠缺，但由于是开源项目，非常适合于学习和仿真。3、例程学习方法。通过网络查询与下载的方式，查找与Mapreduce语言设计与开发相关的例子程序，通过学习与实验学习其用法和功能。4、主要采用的技术路线是：Hadoop的部署基于Linux平台，由于条件所限，目前只能依靠虚拟机部署伪分布式处理系统。物联网数据的接入是通过分布式文件系统提供的CloudAPI来实现。通过对Hadoop系统的编程，使其具有数据分析和处理的能力，再通过应用程序接口实现系统的功能调用。1、通过资料查询，获取了大量的信息，下载了Hadoop 权威指南、Hadoop开发者等多个电子文档类教程，并下载了大量的相关邻域研究的论文，通过大量的阅读与学习，逐步理清了思路，了解了国内外在相关邻域的研究现状，弄清了存在的问题。2、通过安装虚拟机软件VMware 8，以及RedHat Linux Enterprise 5，构建了Hadoop的部署环境，按照通过网络查询学习到的安装步骤，搭建了基于一台Linux虚拟机的伪分布式Hadoop文件系统。为了能够对系统进行程序的编写与部署，同时考虑到一般用户的使用习惯，以宿主机(Windows 7操作)系统为客户端，通过安装Eclipse集成环境以及MapReduce开发语言插件，构建了开发环境。3、通过对MapReduce相关例子程序的学习，逐步了解和掌握其编程的方法和技术，并在实践中应用。4、严格按照技术路线的要求和目标，在具体的实现过程中，不断探索与解决问题，目前正按照进度执行。进度计划2010.7-2010.12：了解物联网感知层数据的采集和这些数据如何发送到网络层，初步了解开源云平台Hadoop，证明方案的可行性。2010.1-2010.3：搭建云平台，掌握Hadoop的工作原理和流程。2010.4-2010.6：设计出一个基于云平台的物联网支撑系统框架。2010.7-2010.11：找一个实际应用，并实现之，证明这个框架的可行性。2010.12-2011.6：完成毕业论文的写作和修改。目前实际的研究与开发进度与计划的相符合。学术指标在理论上构建一套利用开源的云计算平台Hadoop为后台核心的，处理物联网海量数据的方案。完成一篇具有一定学术价值和实用价值的论文目前在理论研究方面已经完成了大部分的工作，设计了物联网数据的采集方案以及将海量数据利用云计算平台进行处理的实现方案。论文的指定工作确定了总体目录框架和写作的思路。成果指标构建一套基于云计算平台的物联网支撑系统框架，并用以处理实际的案例Hadoop分布式文件系统已经基于Redhat Linux Enterprise5构建完成，利用Windows平台作为对其后台应用程序开发、部署、高度的客户端，其环境也构建完成，目前正在学习MapReduce语言。中期检查演示内容演示标题：Hadoop伪分布式环境的构建与编程开发环境的构建演示内容简介：本演示主要的内容是对Hadoop在Linux平台上的配置与运行结果，以及在Windows 7平台下，构建对Hadoop进行应用程序开发的环境平台。演示内容的必要细节和效果截图：Hadoop的安装包括三种模式，分别是单机模式、伪分布模式和完全分布模式。单机模式没有任何实用价值。伪分布模式主要是在一台机器上模拟namenode、datanode、jobtracker、tasktracker、secondaryname，而每一个存在的形式就是一个Java的进程。完全分布式模式是一个实际的Hadoop集群，由多台实际的电脑组成。一般的方式为：一台电脑作为master，其上运行namenode和jobtracker，另外的机器作为slave，上面运行datanode和tasktracker，而对于seconderyname，即可以运行于master电脑上，也可以运行在另一台电脑上。 由于实验条件所限，在仿真实验的过程中，通过VMware 8虚拟机软件构建了一台电脑，其上安装了RedHat Linux Enterprise 5 操作系统，并在其上安装和配置Hadoop的所有进程。第一步：实现Linux的ssh无密码验证配置，具体过程如下图所示（在RHEL 5中的终端中的运行结果）：完成后在/root/.ssh中出现了两个文件，一个是公钥（id_rsa.pub）,另一个是私钥（id_rsa）。为了使nameNode连接到后台的dataNode时不必重复输入确认信息，在创建密钥对的过程中没有添加密码。下一步执行”cp id_rsa.pub authorized_keys”，将公钥复制到授权Key集中。然后输入“ssh localhost”进行验证。第二步：安装jdk。（可根据情况加页，或以本报告附件方式提供。）中期检查附件清单根据情况对下面附件清单具体化：1. 有效的成果证明：复印件或打印件（上交，附录在本报告后）1. 原型系统技术报告（包含个人完成的关键源代码，打印附录在本报告后）2. 中期检查演示ppt（上交，检查时使用）3. 相关程序可执行文档和实物（不上交，检查时提供展示）自查总结1. 是否完全按开题报告执行：是的，按照开题报告所确定的方案与路线，结合实际开发过程中的要求，在理论上和仿真实验两个方面入手，同时展开研究。2. 对适当变更开题内容的说明：时间安排上，由于各个方面的原因需要延期。3. 后续进度安排：1、继续论文的撰写工作 2、着手利用MapReduce语言开发所需要的应用 3、选取一种高级语言开发前端的用户界面 4、完成对实际案例的仿真研究。4. 学位论文目录初稿：（给出全部章节的一级和二级标题）摘要第一章 绪论1.1 课题研究的背景和意义1.2 国内外研究现状与趋势1.3 研究的主要内容和结构安排第二章 相关理论与技术2.1 物联网相关理论(包括概念、数据采集过程、数据处理等)2.2 云计算相关理论（包括概念、主要技术、应用等）2.3 Hadoop分布式文件系统（包括组成、结构、适用邻域等）2.4数据挖掘与处理（包括数据挖掘的概念、过程等）2.5 本章小结第三章 基于云计算平台的物联网支撑系统设计3.1 系统需求分析3.2 系统设计的原则和目标3.3 系统的总体设计3.4 物联网海量数据处理模块设计（包括数据的采集、预处理、传输等）3.5 基于Hadoop的海量数据存储与处理模块设计（包括数据的存储方案和数据挖掘等处理的方案设计）3.6 用户应用模块设计3.7 本章小结第四章 基于云计算平台的物联网支撑系统实现4.1 系统开发与部署的软硬件环境4.2 物联网海量数据采集与传输中间件的实现4.3 云计算平台数据存储与处理的实现4.4 用户应用模块的实现4.5 本章小结第五章 系统测试与结果分析5.1 系统测试的案例描述5.2 系统测试过程5.3 测试结果分析5.4 本章小结第六章 总结与展望致谢参考文献学生签名： 日期：导师意见签字： 日期：（本页单独打印到一页内）检查组意见中期检查结论：（二选一） 通过 整改（填写整改