MineData开放平台产品白皮书

第3页共35页MineData开放平台产品白皮书北京世纪高通科技有限公司目录TOC\o"1-3"\h\u852600859目录 21651744429第一章概述 43475134341.产品简介 416502490452.用户定位 4984398310第二章产品特点 55683796821.优质、丰富的开放资源 57500535182.良好的交互设计 64204691363.一站式数据开发体验 616035701224.支持主流大数据计算框架（研发修正下） 6283270604第三章产品功能 621052796761.资源集市 714949465601.1数据仓库 781640201.2地图模板 719212143791.3算法仓库 82859515611.4位置服务 920669673882.操作台 1118254162442.1资产管理 118194318662.2数据开发 173787436512.3服务发布 274030126492.4资源管理 28概述1.产品简介MineData开放平台是依托于全面升级的MineData3.0产品体系，打造出的集数据、算法、计算、开发和服务一体化的开放平台。开放平台主要由集市和工作台两部分构成。集市，充分利用四维图新的位置大数据优势，面向各行业客户，全面开放位置数据、地图可视化、业务算法、LBS服务等核心能力，吸引更多的数据分析人员、业务开发人员在此平台上开发业务，生成更多的数据、算法和服务资产，再开放出去，不断积累，形成正向反馈，构建完整的数据生态。工作台，整合DataHIVE数据存储和管理能力、MineMap配图能力、MineLab计算、算法分析和开发能力、MineService服务发布和治理能力，实现从数据接入、ETL、业务开发、算法分析到服务发布的打通，支持多租户管控和资源自动伸缩，为用户提供稳定可靠简单易用的一站式集成开发环境。2.用户定位对地图和位置服务有刚性需求，并需搭建行业平台的用户，该类行业用户是MineMap的核心客户。对位置大数据有数据接入、数据处理、数据管理需求的业务人员。对大数据计算、算法开发、数据分析有需求的算法工程师、数据科学家。第二章产品特点1.优质、丰富的开放资源MineData开放平台集市，汇集了四维图新集团及合作伙伴的海量的位置数据资产，开发数据生态，展现数据的跨界威力。集市还包含丰富多样的地图模板和LBS服务，适应多类业务地图的应用场景。集市算法经过MineData大规模业务锤炼而成的。从算法的丰富性角度来看，不仅提供了基础的聚类、回归类等机器学习算法，也提供了路况预测、拥堵分析等比较复杂的业务算法。2.良好的交互设计开放平台通过对底层的分布式算法封装，提供拖拉拽的可视化操作环境，让大数据分析的任务创建过程像搭积木一样简单。缩短了您与数据的距离，真正实现了数据的触手可及。平台还提供基于网络的交互数据分析笔记本，方便进行快速原型算法开发和验证。通过集成MineMap平台大数据可视化能力，提供交互式的位置数据可视化功能。3.一站式数据开发体验开放平台支持从数据层到算法开发层的一体化流程，实现存储与计算的无缝对接，为大数据复杂AI模型的训练提供支持。并且提供一站式服务发布环境，让数据开发结果和业务可以无缝衔接。4.支持主流大数据计算框架平台提供MapReduce、Spark等批处理计算框架，提供SparkStreaming、Flink等流式处理计算框架；提供PythonScikit-learn、SparkML等机器学习训练框架，以及TensorFlow深度学习训练框架。第三章产品功能1.资源集市1.1数据仓库平台汇聚了海量位置数据，通过将数据清洗、归类，形成了数据沙盒。数据仓库涵盖了人物、车辆、环境及基础设施这四大类的数据。用户可以根据自己的需求，通过数据仓库申请数据。1.2地图模板集市提供了基础地图及行业地图模板，用户可以通过这些模板实现位置数据可视化上图，也可以根据模板来定制设计自己的行业地图，为行业打造极致的可视化体验。选择自己需要的地图模板，点击“获取模板”按钮。1.3算法仓库平台提供多种大数据及深度学习算法，帮助用户快速搭建业务模型。为交警、交通、规划、保险、车厂等行业的核心业务提供算法支持，实现交通拥堵治理、动态出行服务、智能车辆调度、人流客流分析等多种业务解决方案。1.4位置服务平台提供地图数据、POI搜索、路算导航、地理/逆地理编码、里程桩、道路搜索、地图匹配等多种类型的位置服务，有标准的服务API规范，提供httprest接口及高易用性的接口调用，能够有力支持平台内外部应用的开发使用2.操作台2.1资产管理从集市中获取到的资源都存放在资产管理目录下，方便用户统一管理。2.1.1我的数据已获取：从集市申请数据资源，审批通过后可以在已获取列表看到。自有：支持用户上传自有数据。可以上传至已创建好的沙盒中，也可以创建新的沙盒再上传数据。目前支持的数据存储方式有hdfs及postgres，上传方式支持http。2.1.2我的地图已获取：从集市中获取的地图模板。自有：支持导入地图模板及新增地图模板。导入模板：支持上传JSON格式且后缀名为json的文件。新增模板步骤：选择一个已获取的模板；在配图工作台中根据需要进行配图操作；绑定key，并发布地图方案。2.1.3我的算法已获取：从集市中获取的算法，可查看详情。自有：支持添加自己创建的大数据计算任务。2.1.4我的位置服务通过应用管理-新建应用-申请key的方式，来为应用申请地图服务/LBS服务。可对服务设置具体服务内容及服务有效时间。2.2数据开发2.2.1数据清洗数据清洗可以对数据做基本的数据操作——数据提取、转换和加载。用户以DAG的方式操作，表达数据之间的关系，通过标准SQL与数据清洗进行对话。2.2.2数据分析Minelab数据分析平台提供一套基于Web的在线IDE环境，该平台提供以下主要功能：支持选择平台自有数据支持选择平台提供的地图类、路况类、事故类、轨迹类等多种数据源进行分析计算。支持多语言代码编写支持Markdown编写，以%md开头；支持Spark代码与Scala代码编写，以%spark开头；支持Python代码编写，以%python开头；支持SparkSql代码编写，以%sql开头。支持以Cell（代码块）方式组织代码和按Cell独立运行代码支持代码块的添加、删除与清空运行结果，支持每个代码块的独立运行。点击按钮，可运行当前代码块；点击按钮，可新增代码块；点击按钮，删除当前代码块；点击按钮，清空当前代码块的运行结果；点击按钮，停止当前正在运行的代码块。支持多类可视化效果平台支持用户对数据进行多种可视化展示，如柱状图、饼图、线形图、以及在地图上展示，用户也可根据需求自定义更复杂的展示效果（通过Matplotlib、Networkxlib等编写）柱状图展示：表格展示： 面积图展示：折线图展示： 饼图展示： 散点图展示： 地图展示：2.2.3大数据计算大数据计算平台提供以下主要业务功能：批处理、流式处理计算环境与AI环境平台提供MapReduce、Spark等批处理计算框架，提供SparkStreaming、Flink等流式处理计算框架；提供PythonScikit-learn、SparkML等机器学习训练框架，以及TensorFlow深度学习训练框架。大数据任务工作流管理平台提供大数据任务工作流的管理，包括工作流的构建，工作流的运行与停止，工作流的状态查询等。大数据任务工作流构建与运行，用户可在页面上交互式地构建和运行工作流，可设置各个工作流节点的名称、描述、输入输出数据等，可在页面中上传该节点的程序Jar包，并设置Jar包的主函数，可设置该节点的重试次数与重试步长：工作流状态查询：工作流中各节点运行状态查询，以及工作流的停止：计算资源管理平台提供计算资源的管理，可设置各个Jar包运行时所需的CPU、内存等参数：任务调度平台调度系统提供多种任务调度方式，包括立即执行、定时调度、事件触发等调度机制，以应对开发中各种复杂的任务调度场景。日志与监控管理平台提供任务日志查看：此外，平台还提供任务的运行监控、异常报警、重试与历史任务的统计分析等，方便用户在开发过程中及时发现、调试、解决问题。2.3服务发布在完成数据开发后，用户需要通过服务来实现分析处理结果数据的发布和应用。服务平台提供了一站式服务发布环境，支持快速构建服务、上传服务、部署服务和发布服务。服务创建用户可以使用服务发布工作台，通过选择输入数据、服务模板、配置请求返回的参数，实现快速创建服务框架。服务开发和上传用户使用sdk和创建的服务框架，进行线下开发测试，完成后将服务包上传到服务平台。服务部署服务平台将上传的服务包构建容器镜像，分配资源，按照并发容量要求，自动化构建节点并进行编排和部署。服务发布服务平台将将部署后的服务容器节点启