智慧图书馆项目解决方案说明书

智慧图书馆解决方案说明书XX科技股份有限公司编制

目录一、项目存在问题及需解决问题 21. 存在问题 22. 需解决问题 4二、解决方案 71.解决方案架构 72.核心技术 8（1）Hadoop 8（2）SpringMVC 8（3）MyBatis 8（4）Echarts 9（5）MySQL 9（6）Hive 9（7）HBASE 10（8）Zookeeper 10（9）Flume 10三、开发范围 111.数据生产 112.数据采集/消费 113.数据分析 124.数据展示 13项目存在问题及需解决问题存在问题1、服务质量有待提高目前,大多数图书馆的自动化水平得到提高，基本实现了自动借还书服务等基础业务的自助化,大大地提高了服务效率。但不可忽视的是我国仍有许多地方图书馆因为经济等诸多条件的限制,还在使用人工服务,这不仅造成用户体验差,服务效果欠佳,而且馆员工作效率不高,难以激发工作热情。图书馆所受限制不仅在于经济环境,地域条件和发展定位的限制也很常见。比如,高校图书馆主要服务对象是在校大学生,校外用户很难享受到高校图书馆的服务,城市的公共图书馆也只能对本地区服务,服务空间和方式受到限制。由于此类图书馆的服务落后,个性化服务资源缺乏,服务形式单一,文献检索方法繁琐等,各项服务囿于传统,缺乏创新,这不利于图书馆智慧化服务的开展。2、理论体系亟待完善目前,智慧图书馆建设成为当下图书馆界热衷的研究课题之一。智慧图书馆的理论研究成绩斐然,但仍没有成熟的理论基础,而且大部分人员集中于重点研究图书馆单一的智能化,并不能代表智慧图书馆的整体,且将智慧图书馆的建设停留在图书馆的智能服务方面。此外,科技力量仍是智慧图书馆建设的核心竞争力,绝不能把智慧图书馆简单地混同于物联网等新理论﹑新技术在图书馆的简单应用。智慧图书馆建设从理论和技术层面为其提供成熟的理论体系和构建方案,这需要智慧图书馆研究人员结合建设实践进行深度的理论研究。3、安全问题突出个人隐私的安全问题一直是当今社会人们最关心的话题之一,智慧图书馆的运行不仅涉及用户的相关信息,而且还涉及智慧图书馆本身的数据资源价值。用户的个人隐私﹑相关信息﹑图书馆珍藏的文献资源都是智慧图书馆的安全系统需要重视的内容,即信息安全问题是智慧图书馆建设的重心之一。智慧图书馆各部门之间的协调整合能力也是未来智慧图书馆建设中一个棘手的问题,智慧图书馆应努力实现图书馆各类智能化系统之间的高度集成与协调运作。4、人才缺乏传统图书馆的馆员多数素质要求不高,如上级主管单位分配的子女家属﹑单位引进的人才学历、学位较低,专业水平﹑科研能力一般,整体上进心不强,极大地制约了智慧图书馆的发展。智慧图书馆建设需要高层次的人才队伍,其馆员应具备利用现代信息技术和智能化设备及提供智慧化信息服务的能力,而当前智慧图书馆建设存在人才短板,图书馆必须从实际出发,早做谋划。需解决问题1、顶层设计智慧图书馆是科学技术发展的产物,在强调智慧图书馆发展的基础上,不能忽视人文因素,图书馆管理者要提出一整套智慧图书馆发展的解决方案。这就要求图书馆主管部门和图书馆管理者均需要转变思想观念,树立科学发展理念,大胆创新，从各个层次做好智慧图书馆的顶层设计。例如,智慧图书馆与智慧城市的融合,从资金、人才与技术等领域给予支持,积极融入智慧城市建设,培养智慧市民。同时,图书馆自身也要"虚心听取其他领域专家的意见,找出不足,弥补差距,及时解决智慧图书馆运行中可能出现的问题。智慧图书馆要突破原有的组织机构和管理制度,本着标准化、统一化、智能化的原则,把智慧、智能、互联互通、高效等要求充分融入其组织结构和各项规章制度,包括组织协同管理、人性化管理(指南、章程、用户须知、隐私保护等)技术标准、服务规范、业务规则、激励机制等在宏观、中观﹑微观层面的细化与实施,从而构建起科学、合理的智慧图书馆保障体系。2、资源整合资源整合是智慧图书馆发展的基础。图书馆资源往往呈分散、零星分布,包括纸质文献、电子资源、网络信息资源等,以不同的组织形式储存于图书馆。由图书馆上级部门牵头,以某一区域省级图书馆或高校图书馆为依托,搭建区域图书馆资源整合共享平台,利用元数据挖掘技术整合商业数据库﹑馆藏特色数据库﹑国研网、NSTL、中外专利数据库服务平台、EMIS数据(新兴市场资讯)等资源,通过馆际互借﹑文献传递等途径实现资源的共知与共享。3、信息技术智慧图书馆因信息技术而智能,信息技术是智慧图书馆发展的基础和保障。智慧图书馆融合了数字化、物联网、云计算、网络化、智能化、大数据等信息技术5,能够使用户在最短、最快、最方便的时间内享受智慧服务。4G手机、掌上电脑、阅读器、互联网协议电视技术(IPTV)等均可与智慧图书馆各种服务对接。智慧图书馆利用先进的信息技术成立很多智能共享服务平台,例如,中国科学院文献情报中心“中国科迅”——文献移动获取第一平台，经过用户注册登录后,可以使用期刊浏览、研究报告、科研助手、随易通数据库(常见数据库文献随时随地获取)等功能,即简单又方便。智慧图书馆也提供一些移动服务,包括短信提醒、微信.QQ.微博、博客咨询、图书借阅、图书荐购﹑新书通报﹑图书馆资讯等。另外,自助借还设备在智慧图书馆中得到广泛应用,主要利用射频识别技术(RFID),由智能标签和阅读设备两部分构成,通过整合、集成RFID技术、自动控制技术、多媒体技术等,实现信息实时交互并提供自助服务的智能图书馆系统,无人值守,使用便捷。4、隐私权智慧图书馆奉行开放获取、自由互动。随着各种信息技术的呈现,增大了用户隐私外泄的可能性。用户隐私主要包括用户资料、浏览与咨询痕迹、爱好与兴趣等。智慧图书馆的数据资源存放在云端%,容易成为各类型病毒攻击的目标,因此,需要智慧图书馆一方面采取积极的防范措施,从网络安全的防护、技术设施的安全性着手,强化网络安全保障体系建设;另一方面,从法律法规建设层面规范管理,建立严格的约束机制。2017年6月1日起,《中华人民共和国网络安全法》以及最新刑事司法解释正式施行,信息安全尤其是个人隐私保护、知识产权的问题将得到保护,这为智慧图书馆的运行提供了法律保障。5、智慧馆员智慧图书馆对馆员提出了更高的要求,包括馆员的职业操守、专业知识、服务能力、创新能力、沟通能力以及计算机技术与外语知识。馆员以用户为中心,面对不同层次的用户,以咨询专家的视野,组织﹑集成、重构新知识,反馈给用户,供用户选择。可见,智慧图书馆需要馆员不断更变角色,满足用户个性化、智能化的知识需求。在智慧图书馆建设实践中馆员的教育培训显得非常重要,可以鼓励馆员参加业务经验座谈会、专家讲座、学术会议等,提高馆员的认知能力与适应能力﹑服务能力与行动能力、协作能力与沟通能力、发展能力与拓新能力P、应变能力与反应能力。智慧图书馆要把好用人关,设置准入机制,如硕士学位.图书情报专业学历、工作经验、咨询能力等,合理配置馆员组成，适度引入竞争机制,奖惩分明,做到人尽其才,为智慧图书馆的持续发展做好人力资源储备。解决方案解决方案架构图SEQ图表\*ARABIC1智慧图书馆解决架构图系统开发平台使用Hadoop大数据开发平台。Hadoop是一个高度可扩展的存储平台，可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。能扩展到处理大量的数据，能提供成百上千TB的数据节点上运行的应用程序。Hadoop能够有效的在几分钟内处理TB级的数据。相比关系型数据库管理系统更具有优势。它适用于任何规模的非结构化数据持续增长的企业，将帮助用户持续提高用户体验。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法，形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。核心技术HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。SpringMVCSpringMVC：属于SpringFrameWork的后续产品，已经融合在SpringWebFlow里面。Spring框架提供了构建Web应用程序的全功能MVC模块。MyBatisMYBatis：是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs（PlainOldJavaObjects，普通的Java对象）映射成数据库中的记录。EchartsECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。MySQLMySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件之一。MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。HiveHive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称HiveSQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。HBASEHBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。FlumeFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。开发范围数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架flume和kafka的定位是什么。我们在此需要将实时数据通过flume采集到kafka然后供给给hbase消费。flume：cloudera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。kafka：linkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支持replication）；因此我们常用的一种模型是：线上数据-->flume-->kafka-->flume(根据情景增删该流程)-->HDFS线上数据-->flume-->k