“1+X”(中级)02-大数据分析平台

大数据分析平台学习完本课程后，你将能够：了解常见的大数据分析平台体系了解阿里云大数据产品体系了解阿里云大数据计算服务MaxCompute，掌握其基本操作了解阿里云数据工场DataWorks，掌握其基本操作了解什么是阿里云可视化产品QuickBI和DataV，并掌握其基本操作了解阿里云机器学习产品PAI，掌握其简单操作课程目标课程目录常用大数据分析平台阿里云大数据平台介绍大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI介绍与基本操作数据大屏DataV机器学习平台PAI课程目录常用大数据分析平台阿里云大数据平台介绍大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI介绍与基本操作数据大屏DataV机器学习平台PAI什么是大数据分析平台大数据分析平台就是依据企业的数据需求，整合当前主流的、成熟的各种具有不同侧重点的大数据处理分析框架和工具，实现对海量数据的挖掘和分析，满足企业的数据需求。通常意义上讲，大数据分析平台包括如下功能模块：数据源：数据源决定着数据采集，常见的数据源可分为结构化、非结构化、半结构化数据，依据采集方式又可分批数据采集、实时以及流式数据采集等；数据采集：即将数据导入到大数据分析平台；数据存储：采集后的数据，经过系统的清洗，转换、分类等操作，将数据储存在系统中，为了便于数据分析时的提取及应用；数据处理和分析：即对存储在系统中的数据分析、处理，数据处理与分析的快慢，是检验数据分析系统功能的重要指标，数据分析系统得出数据分析的最终结果，用于业务应用。数据展示：数据可视化，分析的结果以视觉的角度展现在用户面前，达到最终的目的。基于Hadoop的大数据分析平台大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，其涉及的技术主要有分布式计算、高并发处理、高可用处理、集群管理、实时计算等。Hadoop作为一个开发和运行处理大规模数据的软件平台，实现了在大量的廉价计算机组成的集群中对海量数据进行分布式计算；Hadoop框架中最核心的设计是HDFS和MapReduce；HDFS是一个高度容错性的系统，MapReduce是一套可以从海量的数据中提取数据最后返回结果集的编程模型；Hadoop家族还包含各种开源组件，比如Yarn，Zookeeper，Hbase，Hive，Sqoop，Impala，Spark等；Hadoop大数据分析平台系统架构数据采集与预处理：日志数据、数据库数据采集处理常见工具有Flume，Logstash，实时数据、流式数据常采用Strom，Sparkstreaming、Flink等数据存储：列存储HBASE、NoSQL存储Redis、大数据存储引擎KuDu数据挖掘分析：Hive（HQL）、Pig、Impala、Spark等数据应用：Tableau、Qlikview、PowrerBI等课程目录常用大数据分析平台阿里云大数据平台介绍大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI介绍与基本操作数据大屏DataV机器学习平台PAI阿里云大数据平台一站式数据平台提供多层服务行业解决方案阿里云大数据平台定位阿里云大数据平台产品架构

交互式分析引擎

Hologres图计算引擎GraphCompute大数据计算服务MaxCompute开源大数据计算服务E-MapReduce实时计算RealtimeComputeIOTDBHDFSOSS异构数据源管理元数据采集与构建元数据仓库元数据服务跨引擎混合调度跨云混合调度跨地域混合调度流批混合调度调度流程逻辑控制离线开发实时开发机器学习图计算分析交互式查询数据服务应用开发智能云上开发X-Studio(IDE插件对接各种引擎）数据资产数据质量数据安全数据分析数据监控

数据分享批量同步实时同步增量同步数据转换IOT采集计算存储引擎全域数据集成统一元数据中心统一任务调度智能数据开发数据综合治理DataWorks全域智能大数据平台10典型阿里云大数据平台架构阿里云大数据平台优势平台优势应用广泛的最佳实践极致的性能与成本易用齐全的产品体系AI加持的双生系统课程目录常用大数据分析平台阿里云大数据平台介绍大数据计算服务MaxCompute

3.1MaxCompute介绍

3.2MaxCompute基本操作4.一站式大数据平台DataWorks5.BI平台QuickBI介绍与基本操作6.数据大屏DataV7.机器学习平台PAI大数据计算服务-MaxCompute大数据计算服务MaxCompute，由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。阿里巴巴的数据业务都运行在MaxCompute。MaxComputeMaxCompute是一种快速、完全托管的EB级数据仓库解决方案。MaxCompute的主要功能及作用数据通道计算分析开发SDK安全服务MaxCompute致力于批量结构化数据的存储和计算，提供海量数据仓库的解决方案及分析建模服务。通常和DataWorks一起构建大数据分析平台。课程目录常用大数据分析平台阿里云大数据平台介绍大数据计算服务MaxCompute3.1MaxCompute介绍

3.2MaxCompute基本操作4.一站式大数据平台DataWorks5.BI平台QuickBI介绍与基本操作6.数据大屏DataV7.机器学习平台PAIMaxCompute的使用流程MaxCompute所有的操作都是基于表，因此MaxCompute的使用从安装配置环境后建表开始准备账号开通服务创建项目空间创建子账号并赋权安装配置访问工具（客户端等）创建表/数据操作MaxComputeMaxCompute常见使用方式使用方式使用场景及优势API/SDK：以RESTfulAPI或JavaSDK、pythonSDK的方式提供离线数据处理服务。定制开发，满足个性化需求，与外部系统对接。CLT（CommandLineTool）：运行在Window/Linux下的客户端工具，通过CLT可以提交命令完成Project管理、DDL、DML等操作。本地上传下载数据、项目空间管理；灵活、易用。DataWorks：提供了上层可视化ETL/BI工具，用户可以基于DataWorks完成数据同步、任务调度、报表生成等常见操作。团队分工协作数据开发全流程，高效、安全。IDE插件：eclipse插件、IDEA插件、RStudio插件，扩展IDE对MaxCompute的支持。使用第三方IDE对接MaxCompute，提升本地开发、调试效率。MaxCompute的客户端MaxCompute客户端是一个java程序，需要JRE环境才能运行，请下载并安装JRE1.6+版本（JRE1.7或以上版本，建议优先使用JRE1.7/1.8，其中JRE1.9已经支持，JRE1.10暂时还不支持）。1.官网下载客户端压缩文件2.解压文件，可以看到如下4个文件夹：bin/conf/lib/plugins/客户端工具CLT修改<ODPS_CLIENT>/conf/odps_conf.ini

project_name=[project_name]

access_id=****************

access_key=******************************end_point=/apitunnel_endpoint=log_view_host=https_check=<true|false>

MaxCompute的客户端应用客户端工具CLT运行bin目录下的MaxCompute：Linux系统下运行./bin/odpscmdWindows下运行./bin/odpscmd.batodps@my_project>select*frommy_table; --执行SQL语句odps@my_project>descmy_table; --查看表结构odps@my_project>listtables; --查看表名列表odps@my_project>createtablemy_talbe(idbigint);--创建表Java+eclipse的应用JavaeclipseStep01官网导航中找到并下载MaxComputeforeclipse插件；Step02将插件解压并复制到问eclipse安装目录下的plug-in子目录下；Step03启动eclipse；Step04检查Wizard选项，确认配置成功。使用MaxComputStudioIntelliJIDEAMaxComputeStudio，是面向MaxCompute计算引擎开发的数据处理开发工具，是一套基于流行的集成开发平台IntelliJIDEA的开发插件。安装步骤：安装JDK1.8安装IntelliJIDEA,需要IntelliJIDEA14.1.4以上在IntelliJIDEA中打开File|Settings|Plugins，点击Browserepositories...按钮搜索“MaxComputeStudio",安装MaxComputeStudio插件完成安装，重新启动IntelliJIDEA创建MaxCompute项目链接数据上传/下载综述DataHub实时数据通道OGG插件Flume插件LogStash插件Fluentd插件Tunnel批量数据通道DataWorksDTSSqoopKettle插件MaxCompute客户端MaxCompute系统上传/下载数据包括两种方式:Tunnel上传/下载数据MaxCompute客户端提供Tunnel命令实现数据的上传/下载。基本语法：

tunnel<subcommand>[options]args示例：下载数据：tunneldownload-cGBKtmp_tabled:\tmp_table.csv上传数据：tunnelupload-cGBKd:\dim_map.csvdim_mapMaxComputeSQL是什么？MaxComputeSQL是个数据仓库工具，Query解析后，计算和存储交由底层的飞天实现。MaxComputeSQL支持常用的SQL语法，包括窗口函数MaxComputeSQL可以看做对标准SQL的支持，但是不能简单等同于数据库MaxComputeSQL不支持事务、主外键约束、索引等MaxComputeSQL长度有限制，目前是不能超过2MMaxComputeSQL适用于海量数据(TB/PB级别)的数据运算MaxComputeSQL的每个作业的准备，提交等阶段要花费较长时间，实时性不高MaxComputeSQL的关键字MaxCompute将SQL语句的关键字作为保留字。在对表、列或是分区命名时如若使用关键字，需给关键字加``符号进行转义，否则会报错。保留字不区分大小写。常见如图：MaxComputeSQL的类型转换显式转换是指用cast将一种数据类型的值转换为另一种类型的值的行为。隐式转换是指依据上下文使用环境及类型转换规则自动进行的类型转换MaxComputeSQL的运算符and,or,not&、|+,-,*,/,%>,<,>=,<=,=,<>,isnull,isnotnull,like,rlike,in，betweenand关系运算符算术运算符逻辑运算符位运算符MaxComputeSQL的DDL语句创建表/视图添加分区查看表/分区信息删除分区修改表修改生命周期DDL语句MaxComputeSQL的DML语句SELECT操作INSERT操作TRUNCATE操作函数DML语句MaxComputeSQL的函数内置函数自定义函数MaxCompute中的函数自定义函数UDAFUserDefinedAggregationFunctionUDFUserDefinedScalarFunctionUDTFUserDefinedTableValuedFunction用户自定义标量函数用户自定义表值函数用户自定义聚组函数UDF：用户自定义函数UDF实现逻辑实现UDF需要继承com.aliyun.odps.udf.UDF类，并实现evaluate方法evaluate方法必须是非

static的public方法evaluate方法的参数和返回值类型将作为SQL中UDF的函数签名用户可以在UDF中实现多个evaluate方法

调用UDF时框架会依据UDF调用的参数类型匹配正确的evaluate方法加载UDF依赖包继承UDF类定义evaluate方法（函数签名）实现evaluate方法UDF的开发流程配置开发安装配置环境，开发并使用本地模式测试UDF上传资源使用odpscmd的命令将本地Jar包上传MaxCompute创建函数MaxCompute中，基于上传的Jar包创建自定义函数打成Jar包将开发好的UDF导出成Jar包测试使用在MaxCompute上测试并使用自定义函数分布式离线计算框架-MapReduceMR的开发应用流程123412341）安装配置环境2）开发MR程序；3）本地模式测试脚本4）导出Jar包55）上传至MaxCompute项目空间66）在MaxCompute中使用MR课程目录常用大数据分析平台阿里云大数据平台介绍大数据计算服务MaxCompute一站式大数据平台DataWorks

4.1DataWorks介绍4.2DataWorks基本操作

5.BI平台QuickBI介绍与基本操作6.数据大屏DataV7.机器学习平台PAI大数据开发平台-DataWorksDataWorks（数据工场，原大数据开发套件）是阿里云数加重要的PaaS平台产品，它提供全面托管的工作流服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。DataWorks支持多种计算和存储引擎服务，包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实时计算（基于Flink）、机器学习PAI、图计算服务GraphCompute和交互式分析服务等，并且支持用户自定义接入计算和存储服务。DataWorksDataWorks

的主要功能及作用全面托管的调度数据转化与同步可视化开发监控告警使用DataWorks，可以对数据进行传输、转换和集成等操作，从不同的数据存储引入数据，并进行转化和开发，最后将处理好的数据同步至其它数据系统。DataWorks提供全链路智能大数据及AI开发和治理服务。通常情况下DataWorks和其他产品结合在一起尤其是MaxCompute搭建数据分析系统。课程目录常用大数据分析平台阿里云大数据平台介绍大数据计算服务MaxCompute一站式大数据平台DataWorks4.1DataWorks介绍

4.2DataWorks基本操作

5.BI平台QuickBI介绍与基本操作6.数据大屏DataV7.机器学习平台PAIDataWorks的使用流程DataWorks的使用从主账号（组织管理员）创建项目和子账号开始并赋权开始。不同角色的账号操作模块不同。开通MaxCompute资源新建项目空间创建子账号分配项目管理员添加项目成员数据开发生产运维组织管理员（主账号）项目管理员（子账号）开发（子账号）部署+运维（子账号）1234DataWorks数据平台开发流程数据产生数据提取数据收集与存储数据分析与处理数据展现与分享大数据开发平台数据产生：业务系统产生的结构化的数据，通常存储的数据库中，如MySQL、Oracle、RDS等类型。数据收集与存储：利用MaxCompute的海量数据存储与处理能力来分析这些已有的数据，首先需要将不同业务系统的数据同步至MaxCompute中。DataWorks提供数据集成服务，可将多种数据源类型数据按照预设的调度周期同步到MaxCompute中。数据分析与处理：对MaxCompute上的数据进行加工（MaxComputeSQL、MaxComputeMR）、分析与挖掘（数据分析、数据挖掘）等处理，从而发现其价值。数据提取：分析与处理后的结果数据，需同步导出至其他（业务）系统，供业务人员使用其分析的价值。数据展现和分享：最后可通过报表、地理信息系统等多种展现方式来展示与分享大数据分析、处理后的成果。数据处理数据输入数据加工代码发布生产运维数据输出生产调度开发角色部署/运维运维角色涉及模块：数据开发模块发布管理模块运维中心模块数据管理模块注：在数据开发过程中，需由项目管理员在【项目管理>数据源配置】来新增数据源供开发使用。本地数据导入DataWorks支持以下两种操作：将保存在本地的文本文件中的数据上传到工作空间的表中。通过数据集成模块将业务数据从多个不同的数据源导入到工作空间。本地文本文件上传的限制如下：文件类型：仅支持.txt和.csv格式。文件大小：不超过10M。操作对象：导入分区表时，分区不允许为中文。数据节点开发选择或新建业务流程新建或选择已有的ODPSSQL节点编写符合语法的SQL代码当前界面测试运行、检查语法逻辑错误、输出结果配置节点调度信息、依赖关系（非手工流程）保存、提交节点任务发布到生产、测试（非单一项目）DataWorks中，ODPSSQL节点、Shell节点、PyODPS节点等各类节点的开发过程大同小异，根本区别在于个不同类型节点的数据处理实现。ODPSSQL节点开发过程示例如下:任务调度配置任务的时间属性目前支持月、周、天、小时和分钟5种配置方式，目前能支持的最短时间为５分钟。说明：周期运行的任务依赖关系的优先级

大于

时间属性，即在时间属性决定的某个时间点到达时，任务实例运行的前提是上游依赖是否全部运行成功。上游依赖的实例没有全部运行成功

并且

定时运行时间已到，则实例仍为

未运行状态。上游依赖的实例全部运行成功

并且

定时运行时间还未到，则实例进入

等待时间

状态。上游依赖的实例全部运行成功

并且

定时运行时间已到，则实例进入

等待资源

状态准备运行。DataWorks中的参数设置参数类型设置方式适用类型参数编辑框示例系统参数date和bdp.system.cyctime在调度系统中运行时，无须在编辑框设置，可直接在代码中引用${date}和${bdp.system.cyctime}，系统将自动替换这两个参数的取值全部节点类型无自定义参数在代码中引用${key1},${key2}，然后在“参数”编辑框以如下方式设置“key1=value1key2=value2”，除Shell外的其他节点类型常量参数：param1=”abc”param2=1234；变量参数：param1=$[yyyymmdd],结果将基于bdp.system.cyctime的取值计算在代码中引用$1$2$3，然后在“参数”编辑框以如下方式设置：“value1value2value3”Shell类型常量参数：”abc”1234；变量参数：$[yyyymmdd],结果将基于bdp.system.cyctime的取值计算数据管理数据管理为用户提供组织内全局数据视图、用户可以对组织内数据进行分权管理、元数据信息详情、数据生命周期管理、数据表/资源/函数权限管理审批等操作。具体功能以及管理模块权限如图：数据搜索数据权限申请新建表收藏表修改生命周期修改表结构隐藏表修改表负责人删除表查看表详情类目导航配置功能模块权限点组织管理员项目管理员开发权限管理权限审批与收回—√—管理配置类目导航配置√√√数据管理自己创建的表删除√√√数据管理自己创建的表类目设置√√√数据管理自己收藏的表查看√√√数据管理新建表√√√数据管理自己创建的表取消隐藏√√√数据管理自己创建的表结构变更√√√数据管理自己创建的表查看√√√数据管理自己申请的权限内容查看√√√数据管理自己创建的表隐藏√√√数据管理自己创建的表生命周期设置√√√数据管理非自己创建的表数据权限申请√√√运维操作运维中心仅对开发、运维、项目管理员角色的人员开放：开发：进行单个工作流/节点测试、补数据、暂停、重跑任务，查看任务运行日志等操作，还可配置监控报警；运维：经常处理任务异常，运维任务包括：单个工作流/节点测试、补数据、暂停、重跑任务等操作。同时，还可进行批量修改工作流/节点属性、批量杀任务及批量重跑、配置监控报警等干预性操作。项目管理员:在运维中心模块中拥有与运维人员同等的操作权限。智能监控智能监控模块是DataWorks（数据工场）任务运行的监控及分析系统。根据监控规则和任务运行情况，智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控会自动选择最合理的报警时间，报警方式以及报警对象。基线预警和事件告警通过设定基线监控任务，即监控范围设定报警策略智能判定报警时机和对象、自动升级报警自定义提醒轻量级监控功能自行设定报警对象、条件、方式以及频次触发条件包括完成、出错、未完成、超时其他值班表功能，即可以设置某个值班表某个人在某个时间段内接收报警值班表支持循环规则配置课程目录常用大数据分析平台阿里云大数据平台介绍大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI介绍与基本操作5.1QuickBI介绍

5.2QuickBI基本操作6.数据大屏DataV7.机器学习平台PAIQuickBI介绍QuickBI是一个基于云计算的灵活的轻量级的自助BI工具服务平台。它提供海量数据实时在线分析，拖拽式操作、丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查。它不止是业务人员看数据的工具，更是数据化运营的助推器，解决大数据应用“最后一公里”的问题，实现人人都是数据分析师。QuickBIQuickBI的功能及作用数据分析极速建模数据可视化多维数据分析数据报表集成多用户协作QuickBI是在大数据构建与管理之上，直接解决业务场景问题，支持全局数据监控和数据化运营,QuickBI通常在大数据分析平台实现数据分析、数据展现。常见应用场景如：数据及时分析与决策、报表与自有系统集成、交易数据权限管控等。课程目录常用大数据分析平台阿里云大数据平台介绍大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI介绍与基本操作

5.1QuickBI介绍5.2QuickBI基本操作6.数据大屏DataV7.机器学习平台PAIQuickBI的使用流程QuickBI是一个基于云计算的灵活的轻量级的自助BI工具服务平台。新建数据源创建数据集制作工作表、电子表格和仪表板搭建数据门户云数据源MaxCompute、MySQL、HiveSQLServer、AnalyticDB、PPASHybridDBforMySQL&PostgreSQL、PostgreSQL自建数据库下的数据源MySQL、SQLServerOracle、Hive探索空间CSV文件、Excel文件DataIDEQuickBI核心流程—添加数据源1支持的数据源数据源添加步骤：1.选择数据源类型/种类（数据源标签）2.配置所需要的数据源连接信息3.连接测试4.点击添加（配置RDS示例信息）显示名称：数据源列表显示名称数据库地址：写主机名或IP地址即可端口号：填写正确的端口号即可数据库：连接数据库名称用户名：数据库对应的用户名密码：数据库对应密码QuickBI核心流程—创建数据集2数据集添加步骤：1.选择数据源（数据源已有）2.选择数据表3.创建数据集QuickBI核心流程—编辑数据集2实际应用中，根据图表的展示需要，往往需要编辑对应的数据集；数据集中所包含的字段自动划分为维度和度量，根据实际需要，编辑数据的维度字段和度量字段，编辑完成，根据系统提供的工具栏，将编辑好的数据保存和刷新。编辑界面编辑维度编辑度量关联数据表QuickBI核心流程—编辑数据集2实际应用中，根据图表的展示需要，往往需要编辑对应的数据集；数据集中所包含的字段自动划分为维度和度量，根据实际需要，编辑数据的维度字段和度量字段，编辑完成，根据系统提供的工具栏，将编辑好的数据保存和刷新。编辑维度编辑：修改维度显示名以及备注信息。克隆维度：快速复制一个维度，生成的维度将会自动带上副本以做提示。删除：删除该字段。新建计算字段（维度）：可新创建一个维度字段，并且可自定义其计算方式。移动到：快速将维度纳入到已有层次结构中，可用来实现钻取。新建层次结构：快速将维度纳入到新建的层次结构中。上移/下移：移动字段位置，支持鼠标拖拽和右键单击。转换为度量：可将当前维度字段转换为度量字段。维度类型切换：默认、日期以及地理维度的切换。QuickBI核心流程—编辑数据集2实际应用中，根据图表的展示需要，往往需要编辑对应的数据集；数据集中所包含的字段自动划分为维度和度量，根据实际需要，编辑数据的维度字段和度量字段，编辑完成，根据系统提供的工具栏，将编辑好的数据保存和刷新。编辑度量编辑：修改度量显示名以及备注信息。删除:删除该字段.新建计算字段（度量）：可新建一个度量字段，并且可自定义其计算方式。移动到：快速将度量纳入到已有文件夹中下移：移动字段位置，支持鼠标拖拽和右键转换为维度：可将当前度量字段转换为维度字段。数字格式化：可决定数字的显示格式。默认聚合方式：可在菜单中选择聚合方式，如求和，最大值，最小值等。QuickBI核心流程—编辑数据集2实际应用中，根据图表的展示需要，往往需要编辑对应的数据集；除了编辑维度、度量外，还经常进行表关联操作，如下图：预览保存完成关联表添加选择关联字段选择关联表选择关联方式选择数据集字段选择数据集QuickBI核心流程—制作电子表格3编辑好的数据集保存后，可以进入制作电子表格。数据集选择区内切换已有的数据集；电子表格配置区选择要制作的数据图表，并且根据展示需要，设置单元格的颜色、字体、数据格式等多种操作；电子表格展示区，按照单元格展示和引用数据，完成数据的再加工。QuickBI核心流程—编辑仪表板3选择编辑好的数据集，点击新建仪表板，创建\编辑仪表板新建仪表板选择数据集配置仪表板配置仪表盘：添加控件、配置控件样式、数据；添加数据图表，配置图表样式、数据信息；若有需要还需配置控件与图表控件之间的关系。QuickBI核心流程—搭建门户4门户也叫数据产品，是通过菜单形式组织的仪表板的集合。通过数据门户可以制作复杂的带导航菜单的专题类分析。1、新建门户2、设置页面信息3、设置菜单4、分享授权课程目录常用大数据分析平台阿里云大数据平台介绍大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI介绍与基本操作数据大屏DataV6.1DataV介绍

6.2DataV基本操作7.机器学习平台PAI什么是DataVDataV数据可视化:是阿里云研发的，使用可视化大屏的方式来分析并展示庞杂数据的产品。DataV旨让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用，满足会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。DataVDataV的功能及作用丰富场景模板多数据类型分析图形化搭建工具多分辨率适配发布DataV通过拖、拉、拽形式实现数据可视化，完成工业级的数据可视化项目的开发。基于高性能的三维渲染引擎，实现对海量数据分析；丰富的炫酷图表组件可以帮助客户搭建专业级地理信息可视化应用。课程目录常用大数据分析平台阿里云大数据平台介绍大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI介绍与基本操作数据大屏DataV

6.1DataV介绍6.2DataV基本操作7.机器学习平台PAIDataV的使用流程DataV的应用可以直接采用系统提供模板也可以新建模板。开通服务创建应用创建模板或选择模板选配或修改组件配置组件属性、数据源预览发布DataV场景模板DataV提供了指挥中心、地理分析、实时监控、汇报展示等多种场景模板，简单修改即可快速投入使用。即使没有专业的设计师，可视化作品也可以具备高设计水准。WEB大屏模板示例APP移动端模板示例DataV丰富开放的图表库可视化图表组件示例DataV提供了多种图表组件，支撑多种数据类型的分析展示；还接入ECharts、AntV-G2等第三方开源图表库。DataV多样的地理信息组件DataV能够绘制包括海量数据的地理轨迹、地理飞线、热力分布、地域区块、3D地图、3D地球，实现地理数据的多层叠加。地理组件示例网站流量模板示例DataV支持的数据源DataV能够接入阿里云的分析型数据库和关系型数据库，支持本地CSV上传、静态JSON文件，在线API接入及动态请求。企业版还支持Oracle和SQLServer。满足各类大数据实时计算、监控的需求，充分发挥大数据计算的能力。DataV图形化编辑界面DataV提供多种业务模块级别而非图表组件的工具，所见即所得的配置方式，无需编程能力，只需要通过拖拽，即可创造出专业的可视化应用。添加、移动组件示例样式配置示例数据配置示例DataV数据交互分析DataV支持图形化的配置图表之间的交互联动，通过图表之间的参数传递实现数据的交互分析。组件A:设置回调ID（x,y）组件B:使用回调ID（x,y）DataV多种适配与发布DataV特别针对拼接大屏端的展示做了分辨率优化，能够对非常规拼接的大屏分辨率做适配优化。DataV提供三种发布方式：公开分享、密码访问、Token验证。公开分享企业版密码访问和Token验证课程目录常用大数据分析平台阿里云大数据平台介绍大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI介绍与基本操作数据大屏DataV机器学习平台PAI

7.1机器学习平台PAI介绍7.2机器学习平台PAI基本操作什么是机器学习PAI阿里云机器学习平台PAI（

PlatformofArtificialIntelligence）：是构建在阿里云MaxCompute计算平台之上，集数据处理、建模、离线预测、在线预测为一体的机器学习平台。为算法开发者提供了丰富的MPI、PS、BSP等编程框架和数据存储接口，同时提供了基于WEB的可视化控制台，降低了使用门槛。PAI上手简单、算法丰富、一站式体验并支持深度学习。机器学习PAIPAI的功能与及应用可视化建模和分布式训练交互式AI研发自动化建模在线预测服务PAI跟DataWorks是无缝打通的，实现SQL、UDF、UDAF、MR等多种数据处理，基于PAI平台上训练模型，生成的模型可以通过EAS部署到线上环境，并支持周期性调度，也可以发布到DataWorks与其它上下游任务节点打通依赖关系。另外调度任务区分生产环境以及开发环境，可以做到数据安全隔离。即数据在Max