大数据与绿色数据中心

大数据与绿色数据中心1未来45分钟4组关键词2大数据特点〔4个V〕CAP实际业界三类数据库数据中心---PUE大数据在中国

大数据–新一轮“信息革命〞DataGrowthStatements–MckinseyGlobalInstitute200PB/季度智慧城市数据中国某一线城市2090亿2021年RFID标签销售量

2021年是1200万1.8ZBin20212天的数据量>文明起始到2003年3.88亿/5.3亿挪动/互联网用户中国2021年6月$8000亿10年个人位置信息效力发明的价值5PB/年安康档案数据中国某一线城市“数据日益成为商业的新源资料:一种与资本和劳动力并列的新经济元素.〞—TheEconomist,2021“信息将成为21世纪的石油〞.—Gartner,20213速度Velocity数据量Volume多样化Variety传统数据大数据GB->TBTB->PB以上数据量稳定，增长不快继续实时产生数据，年增长率超越60％主要为构造化数据半构造化，非构造化，多维数据大数据技术将被设计用于在本钱可接受〔economically〕的条件下，经过非常快速〔velocity〕的采集、发现和分析，从大数据量〔volumes〕、多类别〔variety〕的数据中提取价值〔value〕，但是传统关系型数据库存在性能、存储、本钱、IO瓶颈、等等的缘由，无法支撑这4个V+1个E的要求，处理方法就是分布式技术、廉价的X86平台、本地存储，点出分布式技术是大数据处置的中心大数据在中国

大数据–四大区别于传统数据的特征统计和报表价值Value数据发掘和预测性分析4CAP原理AAvailabilityCAP实际一个分布式系统不能够满足一致性、可用性和分区容错性这三个需求，最多只能同时满足两个——EricBrewerCConsistencyPPartitionToleranceConsistency一致性一切的用户都可以看到一致的系统形状Availability可用性无论何时,哪怕出现硬件缺点,数据中心缺点,系统也可提供效力,哪怕是降级的效力PartitionTolerance分区容忍性哪怕在网络出现分割的情况下,各个独立的子系统都可以继续提供效力6RDBMS与Hadoop架构对比 RDBMS RDBMS Connection(e.g.,FC,InfiniBand) Storage(e.g.,SAN,NAS, StorageCell,etc)•多个独立的关系数据库效力器，访问共享的存储资源池•优势： •采用多个关系数据库效力器，多个存储，与原有的架构相比，扩展了存储容量和计算才干；•优势： •计算与存储分别，数据访问存在竞争和带宽瓶颈； •支持的关系数据库效力器数量有限； •只能向上扩展(scale-up),不能横向扩展(not scaleout)•适宜复杂的需求事务处置的运用 NewSQL与NoSQL Network(e.g.,GbE, 10GbE,Infiniband) E.g.,MPPDatabases(or MapReduceonRDBMS), BigDataframework(e.g., Hadoop,HBase)•由大量独立的效力器经过网络互连构成集群，每个服务器带存储。•优势：计算与存储交融，支持横向扩展，更好的扩展性•优势：处理数据冲突时需求节点间协作•适用范围： •数据仓库和离线数据分析(MPP,Hadoop/HBase) •大规模在线实时运用〔单行事务处置能满足的场景〕 (HBase)RDBMS：事物类处置行存储关系型小型机为主NoSQL海量全局数据处置Key-ValueMapReduceX86平台NewSQL：分析类处置列存储关系型X86平台

大数据激发技术创新7NewSQL：严厉保证一致性、遵照关系模型，完好支持SQL92规范，一定程度上牺牲可用性和分区容错性。特点：列存、主要运用场景：主要用于构造化数据的统计分析Nosql数据库：偏重分区容错性，一定程度上牺牲一致性和可用性，突破了关系模型，不一定支持SQL。特点：主要运用场景：非构造化数据的统计分析、实时查询共性：采用廉价的X86平台、本地硬盘、分布式架构大数据推进产品创新8大数据推进了数据库行业的产品创新。OldSQL阵营在根本架构不变的根底上引入内存计算和一体机技术以提升处置性能。NewSQL阵营在过去五年里构成了近十个商用的产品，去年Google发表论文引见了F1/Spanner关系型数据库〔未开源〕。NoSQL阵营的技术源于互联网公司Google，Yahoo，Amazon,Facebook等。如今又出现了noSQL阵营和newSQL阵营交融的趋势，例如hadoop经过hive的扩展实现了对构造化数据的支持，greenplum等产品也经过对和hadoop的交融实现了对非构造化数据的支持。RDBMS：OracleExadataDB2-DPFSQLServer

NewSQL：GreenplumVerticaGBase8aF1/Spaner

NoSQL：HadoopHbaseBigtableCassandra9什么运用适宜NoSQL数据库方案支持PB级别数据BigData 支持非构造化数据 支持构造化数据 支持万级每秒查询 支持高可靠性系统 支持高效率统计分析大量的构造化和非构造化数据、要求可变的数据构造和高效的数据导入、查询、统计等大数据在中国

英特尔Hadoop发行版10Hive0.9.0交互式数据仓库Sqoop1.4.1关系型数据库同步工具Flume1.1.0日志搜集工具IntelHadoopManager2.2安装、部署、配置、监控、告警和访问控制Zookeeper3.4.5分布式协作效力Pig0.9.2数据流处置言语Mahout0.6机器学习英特尔Hadoop发行版组件稳定的企业级hadoop发行版利用硬件新技术进行优化HBase改进和创新，为Hadoop提供实时数据处理能力针对行业的功能增强，应对不同行业的大数据挑战分布式、高维数据库HbaseHBase0.94的改良和创新，提供即时数据处置Map/Reduce1.0.3稳定高效的分布式计算框架HDFS1.0.3可靠的分布式文件系统R-statistics数据统计IntelligentSystemsArchitecture智慧城市电信零售终端设备HHNB/ULTCamerasPoSKioskDS大数据在中国

各行业大数据最正确实际制造医疗物联网金融效力数据中心CPUSSD10GbEInfiniband……11TopFiveNomineesforthe2021USGovernmentBigDataSolutionsAward

VeteransHealthAdministration(退伍军人安康管理):NewBigDataapproachesandframeworksprovidedataandtoolsfor20,000clinicianstotrackmedicaltrends,betteranticipateoutcomes.Thescopeofthedatasetisover80billiondatafiles.Focusedonserviceto25millionveterans.JudgesselectedVeteransHealthAdministrationbecauseoftheimpactandbestpracticesinBigDatasolutions.NASA〔星图位置模拟计算〕:Multipleandextensiveactivities.OneofmanyexemplarswastheNASA

CenterforClimateSimulation(NCCS).TheirworkincludesscalableHadoopclustersforlargescaleclimatesimulations.BureauofEngravingandPrinting〔文档电子化〕:Thisgovernmentagencyisthelargestproducerofsecuritydocumentsincountry.TheyhavefieldedanBigDatasolutionenhancedqualityandmissionsupport,reducedwaste.Judgescharacterizedthisasagoodmatchofrightbusinessprocessestoandamoderntechnicalapproach.AMSAA〔军用物资活动分析〕:ArmyMaterialSystemsAnalysisActivity.Vehicledataanalysisprograminstrumentsvehiclesintheatertocollectoperationalandenvironmentalparameterhistoricaldata.Massivedatapatternscreeningandanalysistoolsetsputinplace.Result:rapididentificationofissuesbeforemissionimpact.NationalCancerInstitute〔全国癌症机构〕:ExtensiveresearchandworkingprototypesofcuttingedgesystemsbasedonHadoopandtheBigData.Judgesnotedthesignificantpotentialimpactofthissolutionaswellasthestrengthofthetechnicalapproach.12挪动用户上网记录集中查询与分析支撑系统13智能交通的软件架构14HBaseMapReduceHive即时查询(例如：路况信息)运用程序视频流处置(例如：实时路况)数据发掘(例如：车辆跟踪)面临挑战数据源结构化、半结构化（病历），非结构化（PACS影像)数据格式标准难制定,或不断变化数据量中型城市（1000万人口）存放50年会达到10PB

医疗信息区域内准实时共享，医生可快速调阅病人信息信息共享提升效率基于病史的自动医疗、饮食等建议；针对病史和病症的OTC药物参考等个性化医疗疾病自动分类和诊断计算机辅助诊断趋势分析：例如，流行病扩展情况分析、癌症的历年趋势、药物效果分析决策辅助系统区域医疗健康档案系统解决问题居民电子病历存储、查询解决方案HBase分布式数据库存放健康档案和PACS影像数据特点优势高速数据导入；实时数据查询；关键字搜索；分布式统计智慧医疗与大数据1524数据中心根底设备建立绿色技术概述数据中心绿色目的：数据中心能源效率系数PUE PUE=[数据中心总用电耗费]/[IT设备能源耗费] 理想的企业数据中心PUE：1.35以下 理想的互联网数据中心PUE：1.25以下常见的PUE：1.8to2.0甚至更高 Chiller33% Humidifier3% CRAC9%ITEquipment30% PDU5% UPS18% Lighting1% Mainswitchgear/Generator1%25Waste Heat OUTINDOOR DATACENTER HEATElectrical Power IN验收建立谋划 运维10-20年运作寿命正在施工工程情况场地评价数据中心的战略业务战略和义务建立谋划:数据中心建立的任务范围,制定工程里程碑 设计:土建和工程设计30%-60%-90%设计审核,工程有关的各种招标 施工:根据设计规格进展施工 验收:制定未来运维的方式,担任根底设备的验收 运维:保证和维持根底设备的运作29 采用 Intel数据中心规范 设计施工30/60/90方案设计/系统设计/施工图设计数据中心退役处置大型数据中心根底设备建立全生命周期方法论 隐含的挑战：在设计阶段能否预见到运维阶段IT系统架构的开展、变化！ Issuefor Construction 需求预测针对数据中心建立规范定义了四个级别：

19T1数据中心：根本型T1数据中心可以接受数据业务的方案性和非方案性中断。要求提供计算机配电和冷却系统，但不一定要求高架地板、UPS、或者发电机组。假设没有UPS或发电机系统，那么这将是一个单回路系统并将产生多处单点缺点。在年度检修和维护时，这类系统将完全宕机，遇紧急形状时宕机的频率会更高，同时操作缺点或设备本身缺点也会导致系统中断。T2数据中心：组件冗余T2数据中心的设备具有组件冗余功能，以减少方案性和非方案性的系统中断。这类数据中心要求提供高架地板，UPS和发电机组，同时设备容量设计应满足N+1备用要求，单路由配送。当重要的电力设备或其他组件需求维护时，可以经过设备切换来实现系统不中断或短时中断。T3数据中心：在线维护〔全冗余系统〕T3级别的数据中心允许支撑系统设备任何方案性的动作而不会导致机房设备的任何效力中断。方案性的动作包括规划好的定期的维护、保养、元器件改换、设备扩容或减容、系统或设备测试等等。大型数据中心会安装冷冻水系统，要求双路或环路供水。当其他路由执行维护或测试动作时，必需保证任务路由具有足够的容量和才干支撑系统的正常运转。非方案性动作诸如操作错误，设备本身缺点等导致数据中心中断是可以接受的。当业主有商业需求或有充足的预算追加，T3机房应可以方便晋级为T4机房。T4数据中心：容错系统T4级别的数据中心要求支撑系统有足够的容量和才干躲避任何方案性动作导致的重要负荷停机风险。同时容错功能要求支撑系统有才干防止至少1次非方案性的缺点或事件导致的重要负荷停机风险，这要求至少两个实时有效地配送路由，N+N是典型的系统架构。对于电气系统，两个独立的〔N+1〕UPS是一定要设置的。但根据消防电气规范的规定，火灾时允许消防电力系统强切。T4机房要求一切的机房设备双路容错供电。同时应留意T4机房支撑设备必需与机房IT设备的特性相匹配。3118.3C26.7C数据中心根底设备建立绿色