混合云大数据平台基础设施建设需求

混合云大数据平台基础设施建设需求1、货物清单明细序号货物名称数量单位最高单项合计限价金额（元）所属行业备注1公有云11项2公有云21项3私有云11项4私有云21项5混合云11项6混合云21项2、具体技术要求序号名称技术要求1公有云11.资源规模需求：提供不小于20台4核CPU/8G内存/100GSSD硬盘/5MBGP公网带宽规格的云主机，每台云主机配置独立的公网IP地址；2.云主机资源所在的数据中心需达到国家A级建设标准规格；需满足等保三级要求；3.云主机操作系统:可提供WindowsServer、Linux、国产操作系统，按采购人需求预装，支持用户自定义镜像安装；支持集成MySQL、SQLServer、Redis等常规主流数据库的系统镜像一键自动化部署；4.支持多个虚拟网卡，1台云主机可以同时绑定不低于5个弹性公网IP，同时需支持自定义路由功能；5.单台云主机挂载的单盘云储存支持不低于2000GB的存储扩展，单台云主机可支持的云存储挂载不低于5个盘；6.云存储服务的安全要求，需具备不少于3副本冗余；7.支持基于多云硬盘一致性快照技术的备份服务，支撑手动备份和通过创建备份策略方式自动执行的周期性备份；8.互联网出口满足华南地区平均延迟≤15ms（其中深圳地区延迟≤5ms），华中地区平均延迟≤30ms，华北地区访问延迟≤45ms，华东地区访问延≤30ms，西南地区平均延迟≤40ms，西北地区平均延迟≤80ms，东北地区平均延迟≤60ms，港澳台地区平均延迟≤20ms；9.互联网出口支持弹性扩容，出口带宽量不低于2000Mbps；支持按需动态调整带宽量；10.互联网出口需有完善的安全防护，至少包括DDoS防火墙、Web应用防火墙；2公有云21.资源规模需求：提供不少于5个独立公网IP地址，1台不少于32核CPU/96G内存/2000GSSD硬盘/200MBGP公网带宽的云服务器，支持此云服务器作为所有虚拟主机的带宽出口；云服务器资源池完全独立；2.计算资源所在的数据中心需达到国家A级建设标准规格；需满足等保三级要求；3.云主机操作系统:可提供WindowsServer、Linux、国产操作系统，按采购人需求预装，支持用户自定义镜像安装；支持集成MySQL、SQLServer、Redis等常规主流数据库的系统镜像一键自动化部署；4.支持多个虚拟网卡，1台云主机可以同时绑定不低于5个弹性公网IP；5.所提供的互联网出口需与云主机、云存储服务在同一个数据中心内；6.互联网出口满足华南地区平均延迟≤15ms（其中深圳地区延迟≤5ms），华中地区平均延迟≤30ms，华北地区访问延迟≤45ms，华东地区访问延≤30ms，西南地区平均延迟≤40ms，西北地区平均延迟≤80ms，东北地区平均延迟≤60ms，港澳台地区平均延迟≤20ms；7.互联网出口支持弹性扩容，出口带宽量不低于1000Mbps；支持按需动态调整带宽量；8.互联网出口需有完善的安全防护，至少包括DDoS防火墙、Web应用防火墙；9、此主机能提供接口访问到混合云，允许大数据专业师生通过此ip访问到自己的虚拟机；3私有云1（一）私有云平台资源1.私有云的资源池需提供不低于150套2核2GB/100GSSD硬盘的实训虚拟化环境(或者cpu逻辑核心数≥512核心，主频≥2.25GHz；内存容量≥1536G，类型为DDR5；硬盘容量≥184T，sas固态硬盘；支持BOSS控制卡+with2M.2960GB(RAID1)，支持万兆连接，支持远程管理)；2、实训镜像仓库（1）官方镜像：要求提供镜像资源，包括不少于Hadoop、Hive、Spark、Python2.7、Python3.0等不同的应用组件；（2）自定义镜像：实训平台须支持自定义实训环境，通过浏览器编辑实训环境并制作快照，须支持配置实训环境系统参数，包括但不限于内存数、CPU个数，多网卡；（3）信创镜像：提供信创主流镜像资源，包信麒麟镜像；（4）实训环境系统支持Windows系列和Linux系列虚拟机；且支持教师可以独立用微软远程协助mstsc单独访问平台资源Linux类型虚拟机，如CentOS、Ubuntu等；（5）实训环境系统支持linux系列虚拟机；且支持在windows环境或linux环境中使用XShell软件，利用不同的端口号远程访问虚拟机；3.实训平台环境管理支持一键开启关闭教学与授课计划云虚拟机环境；支持一键开启和关闭考试中心/竞赛云虚拟机环境；支持查看系统硬件当前运行状态和详情；支持定时回收云实训虚拟机，可申请延长；支持查看系统硬件当前运行状态和详情；支持云虚拟机可以绑定多网卡实验，支持不低于8张网卡；（二）协助录制教学视频大数据专业教师需录制大数据教学平台的教学视频，对《Linux部署淘宝网站》与《淘宝数据库实战》两门课程录制教学视频，供应商需协助教师把录制的教学视频剪辑成片，需承担的工作任务如下：（1）授课视频（微课）剪辑制作：单个视频时长2-30分钟，课程总视频不少于300分钟；（2）录制视频人员需要运用互联网技术及大数据技术，制作出淘宝教学示例；制作数据库及其存储过程；（3）录制视频人员需要能用原生javascript语言及html技术制作出前端界面；（4）录制视频人员需要能通过nodejs语言开发出淘宝后端程序；（5）录制视频人员需要能把淘宝代码部署到公网；（6）屏幕分辨率：录制时屏幕分辨率不小于1920*1080；（7）录制时需要放大浏览器字体，以便学生能清晰看到浏览器中的文字；(8)封面：录制的视频需要视频封面；（9)封面要求：适配西瓜视频、哔哩哔哩视频、小红书视频封面要求；（10)字幕：字幕需要准确性、一致性、清晰性、音频的完整陈述、可读性、同等性、同步性、内容一致性；（11)断句与格式：根据语义而非简单按照字数断句，每行字幕不宜过长，建议不超过15个汉字，以保持良好的阅读节奏；（12)片尾：片尾5秒左右（项目特殊要求除外）；（13)课程宣传片定制：为每门课程定制响应的宣传片，一分钟内在课程简介的基础上提炼和升华的课程宣传用语，旨在推广本课程；要求语言生动、形象、有吸引力；（14)录制工具的选择，以下三款可选其一；屏幕录制软件“AQ”录制时选择高清，屏幕录制软件Bandicam，屏幕录制软件EV；也可选择其他便捷录屏工具；（15)剪辑工具：剪映电脑端；（16)声音处理软件：要求使用adobeaudition2020；（17)声音处理：要求降低杂音，降低噪音；（18)课程制作人员应与每个课程的教学团队进行深度沟通，为每门课程的建设提供个性化的设计和咨询服务；（19)维护更新：课程上线运行后三年内，中标供应商需保证提供必要的修改服务；当修改内容为字幕修改、课程封面图片、个别画面调整、个别视频片段的编辑修改、少量教学资源美化、课程章节调整等时，制作方提供免费修改；当采购方需对课程做大面积修改，如重新或增加课程拍摄、重新或增加视频编辑等，制作方提供有偿服务；4私有云2（一）私有云平台资源1.私有云的资源池需提供不低于400套2核2GB/100GSSD硬盘的实训虚拟化环境；（二）大数据项目实践私有云平台1、平台管理端功能(1)统一账户管理：提供统一的账户管理功能，支持用户分类添加、修改、删除；(2)信息管理功能：学校教学管理人员可以对系统中的所有用户进行管理，包括新增、删除、导入用户信息；支持管理学期、院系、专业、年级、班级、学生等信息，管理员可以对学生和教师账号进行信息修改、密码重置等操作；(3)班级测评BI：如提交人数、考试提交人数、及格人数、及格率、平均分等信息；(4)专业学习路径：系统提供专业的专业工程师岗位学习路径，院校管理员可以根据目前的专业体系给予专业学习路径展现；(5)支持松散的组织结构教学，管理员可以创建、管理教学组，每个教学组可以由任意院系，专业，班级，年级的学生进行学习，每个教学组可以由多个教师共同完成一门授课；(6)支持角色权限管理，角色权限根据实际需要自定义，每个账号可以关联角色，获得角色定义的权限；2、大数据实践项目Python程序设计需配套指导视频、PPT；内容需包含：模块一：语言基础模块二：运算符和优先级模块三：列表和元组模块四：字典模块五：程序的控制结构模块六：函数模块七：类和对象模块八：熟练操作字符串模块九：异常模块十：日期和时间模块十一：正则表达式模块十二：装饰器、生成器、迭代器模块十三：文件系统模块十四：线程和进程Linux操作系统介绍Linux环境下的基本操作，包括文件操作、软件使用、环境变量设置等，帮助了解Linux企业级开发常用技能；内容包括Linux环境的系统管理、用户和组的管理、存储管理、文件权限管理、软件包管理、计划任务管理等综合技能应用；知识点涵盖认识Linux、安装Linux、使用桌面应用、使用bash、使用vim编辑器、管理用户和组、管理文件权限、管理物理存储、管理逻辑卷、管理软件包、管理计划任务等；数据库原理及应用（MySQL）讲解MySQL数据库的使用，通过案例式教学方式帮助同学们掌握MySQL的日常操作和维护技能；内容包括数据库的安装、数据表的使用、SQL语句的使用、函数和运算符应用、多表查询、权限管理、数据库运维等知识；大数据技术原理与应用介绍大数据常用组件的使用，包括Hadoop、HDFS、NoSQL、Hive、Spark、HBase、Kafka、数据可视化等，涵盖大数据生态的基础知识；在Hadoop、HDFS、HBase、MapReduce、Hive、Spark和Flink等重要章节，安排入门级的实践操作；内容需包括大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、数据仓库Hive、基于内存的大数据处理架构Spark、流计算框架Flink、大数据在各个领域的应用；数据仓库技术基础（Hive）主要介绍Hive组件的使用，通过案例式教学综合提高同学们对大数据组件的运用能力；内容包括Hive、MySQL、Hadoop等软件及组件的安装、Hive数据技术、Hive数据查询、数据压缩等知识点，帮助同学们熟悉Hive的使用，能够通过Hive解决常见数据分析任务；Spark编程基础主要介绍Spark工具的应用和Spark基础编程，帮助同学们熟悉Spark编程，提升Spark解决常见数据问题的能力；内容需包括Spark的原理、Spark架构和特性、Spark的安装和配置、SparkRDD五大特征、SparkRDD的内核、spark的实际应用、SparkStreaming及内存调优等模块；NoSQL数据库（Hbase）需配套实验指导手册、视频、测评题库；模块化内容需包含：1.HBase基础概念与安装部署2.HBaseShell命令创建表，HBase存储方式3.HBase数据检索与数据存储4.HBaseJAVAAPI使用5.MapReduce与HBase6.HBase对表进行数据迁移7.实例分析之话单表8.Hbase对表深入剖析9.Hbase集群及表的管理10.Hbase与Hive集成使用（8）消息队列kafka需配套实验指导手册、视频、测评题库；模块化内容需包含：1.kafka介绍与实践2.使用Java操作Kafka3.Kafka事务4.Kafka集成Flume5.Kafka监控之KafkaEagle安装部署及使用（9）分布式一致性原理与Zookeeper需配套实验指导手册、视频、测评题库；模块化内容需包含：1.ZooKeeper的部署与运行2.ZooKeeper的基本操作3.JAVA客户端API使用4.ZooKeeper的典型应用场景5.ZooKeeper在hadoop中的应用6.RPC服务框架：Dubbo7轻量级分布式通用搜索平台：终搜8.构建高可用集群（10）大数据平台应用实战需配套实验指导手册、视频、测评题库；模块化内容需包含：1、cmdb数据库介绍与实践2、Hadoop集群配置规划优化3、Hadoop升级管理和风险4、HDFS的数据和元数据升级5、YARN升级配置6、Spark升级管理7、HiveSQL升级管理8、ZooKeeper升级管理9、服务资源管理（11）日志分析处理技术与应用需配套实验指导手册、视频、测评题库；模块化内容需包含：1.处理HDFS中的数据2.用ApacheFlume处理流数据3.FlumeAgent之间的相互通信4.Sink-to-Source通信5.针对HTTPSource写处理程序6.使用Deserializers读取自定义格式7.转换JMS消息为Flume事件8.事务工作流9.写入到HDFS：HDFSSink10.使用序列化器控制数据格式11.Sink处理器12.发送数据到Flume13.规划、部署和监控Flume（12）shell实战编程需配套实验指导手册、视频、测评题库；模块化内容需包含：1.Shell脚本的建立与执行2.自定义环境变量3.变量子串的生产场景应用案例4.变量的数值计算实践5.Shell脚本的条件测试6.shell测试表达式7..if条件语句的使用8.Shell函数的知识与实践9.case条件语句的应用实践10..while循环和until循环的应用实践11.for和select循环语句的应用实践12.循环控制及状态返回值的应用实践13.Shell数组的应用实践（13）ETL应用技术需配套实验指导手册、视频、测评题库；模块化内容需包含：1、ETL简介；2、ETL中数据结构；3、ETL之数据抽取；4、ETL之数据转换；5、ETL之数据加载；6、ETL工具kettle入门；（14）数据挖掘与分析（Python）需配套实验指导手册、视频、测评题库；模块化内容需包含：1.大数据与数据挖掘简介2.数据挖掘的类型界定3.常用的数据挖掘方法与技术4.数据与数据类型5.数据清理与集成6.数据归约与变换7.数据仓库与联机分析8.关联规则方法9.购物篮关联分析实验10.相关性分析11.相关性分析实验12.有效与有趣：模式评估方法13.分类预测方法及实现14.分类预测实验15.回归预测方法16.回归预测方法实验17.聚类方法及其实现18.聚类方法实验19.离群点的检测方法20.离群点检测实验21时间序列方法22.时间序列方法实验23.高级挖掘方法（可视化挖掘、启发式算法挖掘）24.非结构化数据挖掘（文本、语音、视频）25.数据挖掘与机器学习、深度学习、人工智能26.数据挖掘在银行信用评分、工业故障诊断中、生命科学中的应用27.综合实践：某电商平台数据挖掘与智能推荐系统设计及与实现（15）Scala程序设计需配套实验指导手册、视频、测评题库、考试题库；模块化内容需包含：1.起步Scala2.类和对象（一）3.基本数据类型及其操作4.类和对象（二）5.控制语句6.函数（一）7.函数（二）8.组合和继承（一）9.组合和继承（二）10.类层次关系和底层类型11.Trait12.使用Package（包）13.访问控制修饰符14、IO与正则表达式15、Scala并发程序设计（16）大数据可视化编程技术需配套视频、实验文档；涵盖内容有：HTML5技术响应式页面构建、canvas的画布系统构建、ajax异步交互技术、echarts动态数据表格技术、数据可视化渲染和展示技术等内容；具体章节如下：任务一：响应式技术入门任务二：Canvas入门任务三：Echarts柱状图设计任务四：Echart折线图设计任务五：Echart饼图设计任务六：AJAX技术使用任务七：大数据展示系统设计任务八：数据可视化框架——D3.JS任务九：基于D3.JS的疫情信息图设计Python爬虫开发与实战需配套实验指导手册、视频、测评题库；模块化内容需包含：1.概论与安装pycharm2.使用URLLIB模拟访问知乎3.Request库模拟浏览器操作4.熟悉HTML基础语法5.HTML解析6.爬取当当网Top500五星书籍7.MongoDB基础与应用8.了解HTTP协议9.动态爬虫10.爬取B站相关资料11.Scrapy框架的基础使用12.使用Python爬取表情包（18）数据分析基础1.网站用户购物行为分析案例需配套实验指导手册、数据集；案例需涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法；2.淘宝双11数据分析与预测案例需配套实验指导手册、数据集；案例需涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法；3.微博数据统计分析案例需涉及XML半结构化微博数据MapReduce清洗、统计、分析等数据典型操作，涵盖Linux、Hadoop、Eclipse软件的安装和使用方法；4.日志行为分析案例需涉及生成用户行为仿真数据、数据导入、大数据仓库设计、大数据仓库OLAP分析、数据导出和大数据可视化数据典型操作，涵盖Flume、LinuxShell、Hive、Sqoop、MySQL、Echars等软件的安装和使用方法；5.电影推荐实验案例案例需包含数据获取、环境搭建、创建推荐引擎、数据分析和数据可视化等流程，涵盖Linux、MySQL、Hadoop、Spark等系统和软件的安装与使用方法；6.电商产品推荐案例案例需模拟电商网站真实业务数据架构，构建协同过滤算法与内容推荐相结合的电商推荐系统；7.实时打车分析案例案例需涉及实验数据生成、数据预处理、统计、查询等流程所涉及的各种典型操作，涵盖Flume、Kafka、Hadoop、Storm等系统和软件的安装和使用方法；8.挖掘商品订单关联规则案例需涉及数据预处理、apriori算法的原理、使用python实现算法等内容；（三）私有云大数据实训功能1.教师端功能（1）独立的教学环境：不同教师拥有各自独立的操作界面；（2）备课功能：教师管理具体的内容，教师在同一界面查看实训名称、课时、关联视频，支持章节内容配置；（3）测评备考功能：老师可以发布实训测评计划，学生根据测评计划要求完成考试；支持客观题的自动评分，以及教师在线评分主观题，并自动统计成绩；（4）学情分析功能：支持教师查看班级整体概况、活跃度、章节数据、考试信息；支持统计并展示实训、测评教学过程中的实训报告，学习进度，平均分，任务正确率，及格率，资源概况等；支持对章节颗粒度细化，多次考试信息统计；（5）实训教学管理功能：支持老师查看教学计划学生每次实训和测评的提交结果信息，学生测评结果系统自动给出参考得分；（6）支持安全视频接入，防止常用软件工具非法盗链和下载教师发布的视频文件；（7）支持按学期统计并可视化展示实验数据、学期考试汇总数据，包含试卷提交率、考试通过率；（8）学生误操作，支持会恢复到初始化环境，又可恢复到教师自定义的环境恢复；（9）教师通过督导助手直接可以强制远程协助学生完成实验内容；（10）平台支持教师使用相同账号，可以BS纯浏览器和CS客户端两种模式访问各种实训环境，包括Windows系列和Linux系列虚拟机；（11）实训平台须支持教师通过工具菜单，上传本地文件到实训虚拟机环境，搜索并下载实训虚拟机中的文件到本地；2.学生端功能(1)自主学习功能：支持学生自主学习的相关知识，支持学生查看教师安排的教学计划，支持学生查看相关章节和课时总数，查看章节内容包括章节目录、章节详情、章节视频、章节完成进度等；(2)学生可查看岗位学习路径配置的基础教学内容、核心教学内容；(3)测评功能：系统支持单选题、多选题、填空题、问答题、程序题和实操题，学生完成测评题目后可保存答案或一键提交结果；支持客观题的自动评分，教师批阅后可查看测评成绩；(4)考试功能：支持学生进入考试，考试题型包括单项选择、多项选择、填空、操作题等，学生在规定考试时间内完成考试后，可保存答案或一键提交考试结果，教师批阅后可查看考试成绩；(5)支持考试、测评批阅后可查看试题及答案解析；3.院长端功能可以查看整个平台教师、学生的活跃情况，可以统计并查看每日开课、资源情况、师生活跃度、平台使用和成绩数据等；4.智能助教功能（1）可以分章节实时跟踪每个学生实训任务的完成情况，包含实验任务详情（实训配任务时展示）、测评详情、视频详情；（2）支持查看学生实训任务汇总视图、任务分解视图，可以查看实训任务的完成情况，包含已完成、进行中、未开始数据统计；（3）教师可以远程控制学生的实训环境，指导学生解决实训过程中遇到的问题；5.在线编程功能（1）支持构建C、C++、Python、HTML、JAVA、MySQL、PHP在线实训环境等）；（2）支持VSCODE在线编程环境集成；（3）支持在线编程应用于实训、考试、测评时，系统按照评分规则自动评分，给出参考得分；6.考试系统（1）老师可以发布考试计划，学生根据考试计划要求完成考试；（2）支持创建试题库，出卷模式支持手动组卷、自动组卷二种方式，方便教师节省出卷时间；支持客观题的自动评分，以及教师在线评分主