智慧高校大数据一体机解决方案及应用

1、 智慧高校大数据一体机解决方案及应用大数据一体机助力山东农业大学建设大数据实验室 大数据一体机助力山东农业大学建设大数据实验室客户信息山东农业大学网站：/组织规模：行业：摘要浪潮基于客户需求，通过云海Insight大数据一体机产品，帮助客户搭建全新一代的高性能、高可用、安全性较高的大数据综合实验室。提供面向海量结构化、半结构化、非结构化数据混合架构的大数据采集、存储、计算、分析挖掘能力，为教学、科研、数据创新提供统一的大数据实战平台，涵盖离线计算、实时计算、流式计算、分析挖掘与机器学习方案，有效支撑学院的大数据处理流程。项目背景山东农业大学是一所具有百年历史的名校，目前已经发展成为一所以农业科

2、学为优势，生命科学为特色，融农、理、工、管、经、文、法、艺术学等于一体的多科性大学。学校的农业、林业、生命科学、水利等多个优势专业都是涉及国计民生的基础性专业，并且在大数据领域应用前景广阔。学校依托专业和专家优势，在大数据领域开展多方向的课题研究，例如农学院在示范区中建立包括土、肥、水、苗等20多个粮食生产关键因素的数据采集分析指标体系，基于物联网和互联网等技术手段进行采集，利用大数据处理技术进行挖掘分析、监测预警和决策服务，为示范区万余亩农田提供监测预警和生产决策服务等。然而在这些大数据课题开展过程中普遍存在着一些共性问题，包括：大数据处理没有稳定高效的工具和环境；数据处理的基础性工作缺乏统

3、一的标准和流程，自动化程度不高；缺乏多学科协作的统一平台和机制。方案概述潮云海Insight大数据一体机产品，可以快速为客户搭建起全新一代高性能、高可用、高安全性的大数据平台，提供面向海量结构化、半结构化、非结构化数据混合架构的大数据采集、存储、计算、分析挖掘、管理服务，为数据创新提供统一的数据整合及存储能力，涵盖离线计算、实时计算、流式计算、分析挖掘与机器学习方案，有效支撑全局大数据处理流程，从而提升各院系学科大数据集成、存储、计算、共享、综合分析与深度应用能力。详细解决方案浪潮基于客户需求，通过云海Insight大数据一体机产品，帮助客户搭建全新一代的高性能、高可用、高安全性的大数据综合实

4、验室。提供面向海量结构化、半结构化、非结构化数据混合架构的大数据采集、存储、计算、分析挖掘能力，为教学、科研、数据创新提供统一的大数据实战平台，涵盖离线计算、实时计算、流式计算、分析挖掘与机器学习方案，有效支撑学院的大数据处理流程。Insight大数据一体机的交付模式，将大数据软件与硬件平台进行预集成、预测试、预优化，加速了大数据实验室基础环境交付落地过程，降低了交付门槛。搭建大数据平台考虑大数据对计算及存储资源的需求，通过云海大数据一体机产品可以在很短时间内帮助客户搭建起分布式大数据平台，提供统一、高可用、高可靠、支持线性扩展能力的大数据基础环境。该环境具备数据集成、数据存储、多场景计算挖掘

5、能力，为数据资源提供安全保障，并且易于监测和管理。并且，平台支持水平扩展能力，可以应对GB-PB级的数据规模。各个学科、专业或课题的师生不必再自己搭建大数据环境，而是通过平台申请资源，利用平台资源、平台数据，结合自有数据进行专业化研究和分析。整合多源数据来自农业、林业、牧业、水利、生命科学等各个学科原有关系型数据库中的数据，可以通过数据传输引擎与大数据环境联通；各实验基地通过物联网手段收集来的数据，可以通过日志收集引擎输入到大数据平台，再通过数据总线进行缓存、汇集、预处理等，沉淀到HDFS分布式文件系统、HBase数据库。多场景数据计算和分析挖掘大数据平台提供了支撑离线计算(MapReduce

6、)、实时计算、流式计算等各类数据处理场景的企业级技术组件，各个学科、专业或课题的师生都可以通过平台申请相关计算资源。批量数据非实时处理类的场景可以申请MapReduce分布式离线计算组件；涉及统计类、BI类要求秒级响应的场景可以申请Spark内存计算组件；涉及结构化数据的实时查询场景可以申请HBase组件；涉及全文搜索的实时查询场景可以申请Solr查询组件；涉及不断流动变化的数据可以申请Storm、Spark Streaming流式计算组件；涉及海量数据的挖掘分析和机器学习可以申请Spark、Mahout等组件的相关类库。数据安全大数据平台为不同的使用者提供统一的大数据基础环境，然而资源的池化

7、和共享带来了数据安全与隐私保护的问题以及不同使用者间的资源争抢问题。大数据平台提供完善的数据安全和资源分配机制，通过一系列的认证授权和资源隔离机制等，保障数据资源的安全性、 可维护性、可用性、可信性。可视化平台管理大数据平台提供统一的可视化平台管理能力，支持大规模集群的部署、监测、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位、升级、补丁等。客户收益浪潮云海Insight大数据一体机产品，可以快速为客户搭建起全新一代高性能、高可用、高安全性的大数据平台，提供面向海量结构化、半结构化、非结构化数据混合架构的大数据采集、存储、计算、分析挖掘、管理服务，为数据创新提供统一的数据整合及存

8、储能力，涵盖离线计算、实时计算、流式计算、分析挖掘与机器学习方案，有效支撑全局大数据处理流程，从而提升各院系学科大数据集成、存储、计算、共享、综合分析与深度应用能力。降低广大师生对大数据主流技术体系的持续跟进成本浪潮云海Insight大数据一体机产品遵循国际主要的云计算和大数据相关技术标准和事实标准，并采用当前主流的技术架构体系，与关键技术的长期发展方向保持一致性。通过统一的平台建设，提供接口式、可视化的能力，大大降低大数据新生技术的使用门槛和落地成本，加速数据价值转化周期。缩短大数据环境交付周期浪潮云海Insight大数据一体机产品是成熟的企业级大数据产品，其一体化交付模式让众多的技术和组件在交付之前都完成了预集成、