《大数据实验室》建设方案.doc

大数据实验室建设方案 金融大数据实验室建设方案1.建设目标通过建设教师研究生实验室,为本校信息管理学院计算机应用技术、管理科学与工程、情报学三个硕士专业在读研究生和全体教师提供开展人才培养、教学科研的平台、工具和工程实践项目软件。具体建设目标包括建立用于教师科研使用的大数据计算平台。平台提供满足BI和大数据科研计算要求的硬件和网络环境,同时提供业界主流的数据存储、分析、展现、管理及维护软件和工具。建立用于学生实战训练的软硬件环境。平台提供满足至少50人同时进行项目实战训练的能力建立用于学生实战训练的BI和大数据分析项目案例库。提供循序渐进的、不同难度层次、不同规模的项目软件建立用于网络和大数据安全的软硬件实训环境2.建设内容2.1.硬件建设硬件建设内容包括(1)用于大数据计算的服务器集群。应对50人左右的并发,建议采用1台管理服务器,1台控制服务器,4台计算/数据服务器构建的服务器集群。(2)用于网络安全实训环境的硬件和网络设备(3)用于学生个人学习、实训的PC机。(4)网络基础环境,包括交换机、路由器、防火墙等22软件和实训项目案例建设为了给学生提供完善、便捷的学习资源,需要建设项目软件等资料库。软件库的建设要求应结合金融、财经类业务应来源于真实工业级案项目,并做教学化改造应免费提供教学实践指导手册应免费提供师资培训大数据实验室首批构建数据采集、分布式存储、分布式计算三个大数据大型软件项目内容项目应用场景项目描述从关系型数据库导入实现从0rale到大数据平合的数据迁移到实现从MSUL到大数据平台的数据迁移从关系型数据库导入实现从MSL到大数据平台( HBASE)的数据迁移到 HBASE非结构化数据文件导实现将XBRL、PDF等非结构化数据文件(大量小文件)导入到HDFS入到HDFS从HVE导出到关系实现数据从大数据平台导出到0 racle型数据库实现数据从大数据平台导出到MSL从BASE到关系型数实现数据从N1.数据库导出到0rae数据集据库成软件1)对网上交易登陆日志加工出:客户号、登陆类型、登录时间、登录IP、登录MAC、登录次数、客户端版本、客户端名称、手机号网上交易登陆日志分手机IMEI等信息2)在上述加工信息基础上,对使用相同MAC地址登陆的客户号进行汇总排序3)对指定MAC地址、手机号在全历史记录中进行检索登陆信息1)对手机端日志加工出:手机号码、设备硬件信息、注册时间、软件版本、登录时间、登录设备、登陆版本、登录i等信息手机端系统日志分析2)在上述加工信息基础上,尝试整理客户年对账单数据分析,把16以年来打开软件次数、客户登录地点分布、登录交易次数、在不同设备登录账户次数、浏览个股数量、下单个股数据、成交个股数量2点:实验包实验项社会工程学敏感信息搜集钓鱼式攻击手法密码心理学攻击安全细节问题密码学及应用密码算法数学基础古典密码算法对称密码算法非对称密码算法Hash算法密码应用PKI技术PMI技术信息隐藏主机安全系统安全口令安全Web安全数据库安全软件安全协议脆弱性分析安全协议网络攻防信息搜集漏洞扫描网络嗅探缓冲区溢出拒绝服务攻击欺骗攻击网络后门特洛伊木马入侵检测蜜罐蜜网防火墙与VPNWindows防火墙配置Linux防火墙配置企业防火墙配置企业防火墙管理网络数据深度过滤VPN技术防火墙纵深防御企业防火墙实战部署病毒攻防引导区病毒文件型病毒宏病毒本病毒邮件型病毒蠕虫病毒即时通信型病毒键盘钩子病毒移动存储型病毒病毒行为分析容灾备份文件恢复RAID磁盘阵列热备份络存储无线安全WiFi基础应用WiFi安全方案身份认证静态口令认证生物特征之面部识别生物特征之静脉识别数字证书身份认证电子识别身份认证动态令牌应用基于U盘的身份认证2.3实验软件、案例与课程的对应关系大数据实验软件与课程的对应关系建议如下:软件名称课时可服务课程(建议课时)数据集成软件20数据采集与ETL(24) Hadoop分布式计算框架(48)分布式存储软件0分布式数据库技术(32) Hadoop分布式计算框架(48)分布式计算软件 Hadoop分布式计算框架(48)实时计算与内存计算框架(32项目清单4.1.大数据硬件和基础软件配置建议:单位:万元序号名称参数数量单价小计2路8核双线程,128GB内存60GB*2 SAS RAID1操作系统硬盘1管理节点服务器90012Ss6组RAID1元数据硬盘,1万兆网卡x22路8核双线程,128GB内存600GB*2 SAS RAID1操作系统硬盘2|控制节点服务器9000812SAS6组RAID1元数据硬盘,1路6核双线程,96G内存,600GB*23数据节点服务器 SAS RAID1操作系统硬盘,1TB*244SATA24组RAID0,万兆网卡x2Redhat6.5版,安装: OMSServerver,ZookEeper,HDFS4/大数据计算平合Yarn, Ma preduce, DBService,mue,及LI censeoader, Spark, Hive, HBaSmallFS,FTP-Server, Flume, Kafka,Metadata1.背板带宽10Gbps2.包转发率4.2Mpps;3.接口要求8个10/100/1000自适应电口;2个千兆 combo接口;最524口千兆交换机大同时可用接口10个90.54.支持IEEE802.1Q、802.1P、802.1AE网络标准5.支持超长帧9K6开发用PC机15CP,8GB内存,2360固态硬,560.45252液晶显示器机柜42U,带风扇、电源络端口:4 GECombo+2GE,2 XWSIC,8路由器8xGE(RJ45), 2x10GE (SFP+)1.81.84个10/100/1000Base-T以太网接口层交换机|交换容量1905包转发率2.236/72Mpps实验六人用定制学生椅560.0150.8412综合布线及实施36合计:1094.2.大数据教学研究软件清单单位:万元序号名称参教教量单价_小计数据导入导出Oracle-Hive, My SQL-Hive0 racle- HBase数据导入导出数据采集软件非结构化数据文件导入到(股票、基金类)套2020数据实施采集网上交易登录日志数据分析采集手机端系统日志分析采集高并发查询测试分布式存储软件数据仓库兼容性、性能测试(历史账单类)结构化、半结构化、非结构化全套2020文检索分布式计算软件KPI统计计算(证券交易类)定时数据统计1套2020大额交易预警合计:604.3.网络和数据安全软硬件及实训集例清单单位:万序号名称参数教量单价小计24个10/100/1000MRJ-45MDI/MDI-X自适应端口;支持背板带宽48Gbps采用存储-转发体系架构;支持8KMAC地址表;支持802.3x自动流控功能主控中心平台支持平行/交叉线自动识别功能1Intel haswell架构的服务器主板;支持4K高