2025新型智慧城市建设规范第6部分应用支撑标准第2分部分大数据分析平台技术规范

新型智慧城市建设规范6部分：应用支撑标准2202276262 大数据bigdata；mega 智慧城市建设项目smartcityconstruction 信息资源information 人工智能artificial 数据挖掘data 数据治理data 指标体系indication 用户画像user 分布式数据库distributed 缓存数据库cache 关系型数据库relational 分布式文件系统distributedfile MPP数据库massivelyparallelprocessor 事务型数据库transactional 元数据 结构化数据structured 非结构化数据unstructured 半结构化数据semi-structured 正则表达式regular 列式数据库columnar 内存数据库mainmemory 图数据库graph 分类 聚类 特征工程feature 机器学习machine 有监督学习supervised 无监督学习unsupervised 决策树decision 回归 深度学习deep 神经网络neural 商业智能business 管理驾驶舱management 多维分析multidimensional 数据血缘data 数据血缘分析dataconsanguinity 身份鉴别identity 访问控制access 安全审计security 敏感数据sensitive 66部分：应用支撑标准266部分：应用支撑标准26DB410481/T19.2-2021新型智慧城市建设规范第1部分：总体标准第2分部分：总体框DB410481/T19.3-2021新型智慧城市建设规范第1部分：总体标准第3分部分：术语DB410481/T23.10-2021510分部分：DB410481/T24.3-202163分部分：人DB410481/T24.6-202166DB410481/T24.7-202167DB410481/T24.8-202168DB410481/T24.9-202169分部分：系DB410481/T24.11-2021611分部分：DB410481/T25.1-202171bigdata；megasmartcityconstructioninformationartificialdatadataindicationuserdistributedcacherelationaldistributedfile\h\hHadoop实现一个\h分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高\h\h\h程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS可以以流的形式访问\h\h\h\h\h\hMapedue是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）""Reuce（归约\h分布\hMa映射Redce归约）\h支持主从同步。数据可以从主服务器向任意数量的从服务器上同步。Redis是一个高性能的MPPmassivelyparallelprocessortransactionalstructuredunstructuredsemi-structuredregularcolumnarmainmemorygraphfeaturemachinesupervisedunsupervised\hdecision研究一组随机变量(Y1Y2Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方deepneuralbusinessmanagementmultidimensionaldatadataconsanguinityidentityaccesssecuritysensitiveBI：BusinessIntelligence，商业智能CART：ClassificationAndRegressionTree，分类回归树CNN：ConvolutionalNeuralNetworks，卷积神经网络CSS：CascadingStyleSheets，层叠样式表DBSCAN：Density-BasedSpatialClusteringofApplicationswithNoiseDFS：DistributedFileSystem，分布式文件系统ETL：Extract-Transform-Load，数据抽取、转换、装载GBDT：GradientBoostingDecisionTree，梯度增强决策树GPU：GraphicsProcessingUnit，图形处理器HDFS：HadoopDistributedFileSystem，Hadoop，分布式文件系统IP：InternetProtocol，网络之间互连的协议IT：InformationTechnology，信息技术JDBC：JavaDataBaseConnectivity，java数据库连接KNN：K-NearestNeighbor，K最近邻算法LSTM：LongShort-TermMemoryMPP：MassivelyParallelProcessor，大规模并行处理，MPP数据库即指使用大规模并行处理NOSQL：NotOnlySQL，泛指非关系型的数据库ODBC：OpenDatabaseConnectivity，开放数据库连接ORM：ObjectRelationalMapping，对象关系映射REST：RepresentationalStateTransfer，表述性状态传递RNN：RecurrentNeuralNetwork，循环神经网络RPC：RemoteProcedureCallProtocol，远程过程调用协议SQL：StructuredQueryLanguage，结构化查询语言STING：STatisticalINformationGrid，一种基于网格的多分辨率聚类算法VLAN：VirtualLocalAreaNetwork，虚拟局域网WEB：WorldWideWeb，万维网或环球网XML：ExtensibleMarkupLanguage，可扩展标识语言大数据分析平台设计阶段应参考““5.512Hive、HbaseHDFSHiveHDFSHbaseHDFSk（K-means）、关联规则挖掘算法（Apriori）、频繁模式（SVMGPUCPU+GPU34（NoSQLI/O，提高数据库的效率。须提供高性能准实K-VSQLonHadoopSQLconsole（控制台）、RPC（远程调用）、text（文本WebHiveAPI、RESTAPI、CLI(命令行终端)等接口服务。RDBMSHDFSRDBMSHiveRDBMSHBase，支持增量导入；ConsumerGroupGroupConsumerGroupJSON/XML/CSV/binary5元数据服务接口，把元数据管理功能（如增加元数据等）RESTWebService67功能应满足DB410481/T24.3-2021的规定。大数据分析平台应对外提供大数据信息服务用于实现各大数据应用对平台中数据的接入和分基于客流量监测系统前端客流量监测设备的实时数据，结合电子票务线上线下订票数据、OTA，ServiceService比对，N:NPB7*240.1%200。Word