《大数据分析与应用》课件-单元2 大数据分析平台

单元2大数据分析平台主要内容常用大数据分析平台阿里云大数据平台阿里云大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI数据大屏DataV机器学习平台PAI主要内容常用大数据分析平台阿里云大数据平台阿里云大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI数据大屏DataV机器学习平台PAI大数据分析平台什么是大数据分析平台Hadoop大数据分析平台系统架构什么是大数据分析平台大数据分析平台就是依据企业的数据需求，整合当前主流的、成熟的各种具有不同侧重点的大数据处理分析框架和工具，实现对海量数据的挖掘和分析，满足企业的数据需求。通常意义上讲，大数据分析平台包括如下功能模块：数据源：数据源决定着数据采集，结构化、非结构化、日志类数据、流式数据等；数据采集：即将数据导入到大数据分析平台数据存储：采集后的数据，经过系统的清洗，转换、分类等操作，将数据储存在系统中，为了便

于数据分析时的提取数据处理和分析：对存储在系统中的数据分析、处理，数据处理与分析的快慢，是检验数据分析系统功能的重要指标，数据分析系统得出数据分析的最终结果，用于业务应用。数据展示：数据可视化，分析的结果以视觉的角度展现在用户面前，达到最终的作用。大数据分析平台什么是大数据分析平台Hadoop大数据分析平台系统架构

基于Hadoop的大数据分析平台大数据平台是对海量结构化、非结构化、半结构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，其涉及的技术主要有分布式计算、高并发处理、高可用处理、集群、实时性计算等。Hadoop作为一个开发和运行处理大规模数据的软件平台，实现了在大量的廉价计算机组成的集群中对海量数据进行分布式计算；Hadoop框架中最核心的设计是HDFS和MapReduce；HDFS是一个高度容错性的系统，MapReduce是一套可以从海量的数据中提取数据最后返回结果集

的编程模型；Hadoop家族还包含各种开源组件，比如Yarn，Zookeeper，Hbase，Hive，Sqoop，Impala，

Spark等；5Hadoop大数据分析平台系统架构数据应用：Tableau、Qlikview、

PowrerBI等数据采集与预处理：日志数据、数据库数据常见工具有Flume，Logstash，实时数

据、流式数据常采用Strom，Spark

streaming、Flink等数据存储：列存储HBASE、NoSQL存储

Redis、大数据存储引擎KuDu数据挖掘分析：Hive(HQL)、Pig、

Impala、Spark等主要内容常用大数据分析平台阿里云大数据平台阿里云大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI数据大屏DataV机器学习平台PAI阿里云大数据平台一站式数据平台提供多层服务行业解决方案阿里云大数据平台定位阿里云大数据平台产品架构9典型阿里云大数据平台架构1平台优势AI加持的双

生系统应用广泛的最佳实践易用齐全的产品体系极致的性能与成本阿里云大数据平台优势主要内容常用大数据分析平台阿里云大数据平台阿里云大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI数据大屏DataV机器学习平台PAI阿里云大数据计算服务MaxComputeMaxCompute概述MaxCompute基本操作大数据计算服务MaxCompute，由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数

据分析、挖掘、商业智能等领域。阿里巴巴的数据业务都运行在MaxCompute。MaxCompute是一种快速、完全托管的EB级数据仓库解决方案。大数据计算服务-MaxComputeMaxComputeMaxCompute致力于批量结构化数据的存储和计算，提供海量数据仓库的解决方案及分析建模服务。通常和

DataWorks

一起构建大数据分析平台。数据通道开发SDK计算分析安全服务MaxCompute的主要功能及作用阿里云大数据计算服务MaxComputeMaxCompute概述MaxCompute基本操作MaxCompute的使用流程MaxComputeMaxCompute所有的操作都是基于表，因此MaxCompute的使用从安装配置环境后建表开始MaxCompute常见使用方式MaxCompute客户端是一个java程序，需要JRE环境才能运行，请下载并安装JRE1.6+版本(JRE

1.7或以上版本，建议优先使用JRE

1.7/1.8，其中JRE

1.9已经支持，

JRE

1.10暂时还不支持)。1.官网下载客户端压缩文件2.解压文件，可以看到如下4个文件夹：bin/conf/lib/plugins/修改<ODPS_CLIENT>/conf/odps_conf.iniproject_name=[project_name]access_id=****************access_key=******************************end_point=http://service./apitunnel_endpoint=log_view_host=http://logview.odps.aliyun.comhttps_check=<true|false>MaxCompute的客户端客户端工具CLT运行bin目录下的MaxCompute：➢Linux系统下运行./bin/odpscmd➢Windows下运行./bin/odpscmd.batMaxCompute的客户端应用客户端工具CLTodps@my_project>select*from

my_table;--执行SQL语句odps@my_project>descmy_table;--查看表结构odps@my_project>listtables;--查看表名列表odps@my_project>createtablemy_talbe(id

bigint);

--创建表Java+eclipse的应用JavaeclipseStep01官网导航中找到并下载MaxComputeforeclipse插件;Step02将插件解压并复制到问eclipse安装目录下的plug-in子目录下;Step03启动eclipse;Step04检查Wizard选项，确认配置成功。

MaxCompute

Studio，是面向MaxCompute计算引擎开发的数据处理开发工具，是一套基于流行的集成开发平台IntelliJ

IDEA的开发插件。

安装步骤：1.安装JDK1.82.安装IntelliJ

IDEA,需要IntelliJ

IDEA14.1.4以上3.在IntelliJIDEA中打开File|Settings|Plugins，点击Browse

repositories

...按钮4.搜索“MaxComputeStudio",安装MaxComputeStudio插件

5.完成安装，重新启动IntelliJIDEA6.创建MaxCompute项目链接使用MaxComputStudioIntelliJ

IDEA

Tunnel批量数据通道•DataWorks•DTS•Sqoop•Kettle插件•MaxCompute客户端DataHub实时数据通道•OGG插件•Flume插件•LogStash插件•Fluentd插件数据上传/下载综述MaxCompute系统上传/下载数据包括两种方式:Tunnel上传/下载数据

MaxCompute客户端提供Tunnel命令实现数据的上传/下载。基本语法：

tunnel<subcommand>[options]

args

示例：下载数据：tunneldownload-cGBKtmp_tabled:\tmp_table.csv上传数据：tunnelupload-cGBKd:\dim_map.csvdim_mapMaxComputeSQL是个数据仓库工具，Query解析后，计算和存储交由底层的飞天实现。MaxCompute

SQL支持常用的SQL语法，包括窗口函数MaxComputeSQL可以看做对标准SQL的支持，但是不能简单等同于数据库

MaxCompute

SQL不支持事务、主外键约束、索引等MaxCompute

SQL适用于海量数据(TB/PB级别)的数据运算MaxComputeSQL的每个作业的准备，提交等阶段要花费较长时间，实时性不高MaxCompute

SQL长度有限制，目前是不能超过2MMaxComputeSQL是什么？MaxCompute将SQL语句的关键字作为保留字。在对表、列或是分区命名时如若使用关键字，需给关键字加``符号进行转义，否则会报错。保留字不区分大小写。常见如图：MaxComputeSQL的关键字隐式转换是指依据上下文使用环境及类型转换规则自动进行的类型转换显式转换是指用cast将一种数据类型的值转换为另一种类型的值的行为。MaxComputeSQL的类型转换MaxComputeSQL的运算符DDL语句修改生命周期创建表/视图修改表添加分区删除分区查看表/分区信息MaxComputeSQL的DDL语句函数SELECT操作DML语句TRUNCATE操作INSERT操作MaxComputeSQL的DML语句内置函数自定义函数MaxComputeSQL的函数UDF：用户自定义函数User

Defined

Scalar

FunctionUser

Defined

Aggregation

FunctionUser

Defined

Table

Valued

Function用户自定义标量函数用户自定义表值函数

用户自定义聚组函数UDAFUDFUDTF自定义函数➢实现UDF需要继承com.aliyun.odps.udf.UDF类，并实现evaluate方法➢evaluate方法必须是非

static的public方法➢evaluate方法的参数和返回值类型将作为SQL中UDF的函数签名➢用户可以在UDF中实现多个evaluate方法➢调用UDF时框架会依据UDF调用的参数类型匹配正确的evaluate方法加载UDF依赖包UDF实现逻辑继承UDF类定义evaluate方法(函数签名)实现evaluate方法UDF的开发流程分布式离线计算框架-MapReduce34MR的开发应用流程主要内容常用大数据分析平台阿里云大数据平台阿里云大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI数据大屏DataV机器学习平台PAI一站式大数据平台DataWorksDataWorks概述DataWorks基本操作DataWorks(数据工场，原大数据开发套件)是阿里云数加重要的PaaS平台产品，它提供全面托管的工作流服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。DataWorks支持多种计算和存储引擎服务，包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实

时计算(基于Flink)、机器学习PAI、图计算服务GraphCompute和交互

式分析服务等，并且支持用户自定义接入计算和存储服务。大数据开发平台-DataWorksDataWorks使用DataWorks，可以对数据进行传输、转换和集成等操作，从不同的数据存储引入数据，并进行转化和开发，

最后将处理好的数据同步至其它数据系统。DataWorks提供全链路智能大

数据及AI开发和治理服务。通常情况下DataWorks和其他产品结合在一起

尤其是MaxCompute搭建数据分析系统。DataWorks的主要功能及作用一站式大数据平台DataWorksDataWorks概述DataWorks基本操作DataWorks的使用流程

DataWorks的使用从主账号(组织管理员)创建项目和子账号开始并赋权开始。不同角色的账号操作模块不同。DataWorks数据平台开发流程➢数据产生：业务系统产生的结构化的数据，通常存储的数据库中，如MySQL、Oracle、RDS等类型。➢数据收集与存储：利用MaxCompute的海量数据存储与

处理能力来分析这些已有的数据，首先需要将不同业务系统的数据同步至MaxCompute中。DataWorks提供数据

集成服务，可将多种数据源类型数据按照预设的调度周期同步到MaxCompute中。➢数据分析与处理：对MaxCompute上的数据进行加工

(MaxCompute

SQL、MaxCompute

MR)、分析与挖掘(数据分析、数据挖掘)等处理，从而发现其价值。➢数据提取：分析与处理后的结果数据，需同步导出至其他(业务)系统，供业务人员使用其分析的价值。➢数据展现和分享：最后可通过报表、地理信息系统等多种展现方式来展示与分享大数据分析、处理后的成果。数据处理

本地数据导入DataWorks支持以下两种操作：➢将保存在本地的文本文件中的数据上传到工作空间的表中。➢通过数据集成模块将业务数据从多个不同的数据源导入到工作空间。本地文本文件上传的限制如下：•文件类型：仅支持

.txt

和

.csv

格式。•文件大小：不超过

10

M。•操作对象：导入分区表时，分区不允许为中文。DataWorks中，ODPSSQL节点、Shell节点、PyODPS节点等各类节点的开发过程大同小异，根本区别

在于个不同类型节点的数据处理实现。数据节点开发ODPS

SQL节点开发过程示例如下：

任务调度配置任务的时间属性目前支持月、周、天、小时和分钟说明：➢周期运行的任务依赖关系的优先级大于时间属性，即在时间属性决定的某个时间点到达时，任务实例运行的前提是上游依赖是否全部运行成功。➢上游依赖的实例没有全部运行成功并且定时运行时间已到，则实例仍为未运行状态。➢上游依赖的实例全部运行成功并且

定时运行时间还未到，则实例进入等待

时间状态。➢上游依赖的实例全部运行成功并且

定时运行时间已到，则实例进入

等待资源状态准备运行。5种配置方式，目前能支持的最短时间为5

分钟。DataWorks中的参数设置1.数据搜索2.数据权限申请3.新建表4.收藏表5.修改生命周期6.修改表结构7.隐藏表8.修改表负责人9.删除表10.查看表详情11.类目导航配置数据管理为用户提供组织内全局数据视图、用户可以对组织内数据进行分权管理、元数据信息详情、数据生命周期管理、数据表/资源/函数权限管理审批等操作。具体功能以及管理模块权限如图：数据管理

运维操作运维中心仅对开发、运维、项目管理员角色的人员开放：开发：进行单个工作流/节点测试、补数据、暂停、重跑任务，查看任务运行日志等操作，

还可配置监控报警；运维：经常处理任务异常，运维任务包括：单个工作流/节点测试、补数据、暂停、重跑任务等操作。同时，还可进行批量修改工作流/节点属性、批量杀任务及批量重跑、配置监控报警等干预性

操作。项目管理员:在运维中心模块中拥有与运维人员同等的操作权限。

智能监控智能监控模块是DataWorks(数据工场)任务运行的监控及分析系统。根据监控规则和任务运行情况，智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控会自动选择最合理的报警时间，报警方式以及报警对象。主要内容常用大数据分析平台阿里云大数据平台阿里云大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI数据大屏DataV机器学习平台PAIBI平台QuickBIQuickBI介绍Quick

BI基本操作Quick

BI是一个基于云计算的灵活的轻量级的自助BI工具服务平台。它提供海量数据实时在线分析，拖拽式操作、丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查。它不止是业务人员看数据的工具，更是数据化运营的助推器，解决大数据应用“最后一公里”的问题，实现人人都是数据分析师。QuickBI介绍Quick

BIQuick

BI是在大数据构建与管理之上，直接解

决业务场景问题，支持全局数据监控和数据化运营,QuickBI通常在大数据分析平台实现数据分析、数据展现。常见应用场景如：数据及时

分析与决策、报表与自有系统集成、交易数据

权限管控等。QuickBI的功能及作用BI平台QuickBIQuickBI介绍QuickBI基本操作Quick

BI是一个基于云计算的灵活的轻量级的自助BI工具服务平台。QuickBI的使用流程支持的数据源•CSV文件、Excel文件•DataIDE•MaxCompute、MySQL、Hive•SQLServer、Analytic

DB、PPAS•HybridDBforMySQL&

PostgreSQL、PostgreSQL云数据源

自建数据库下的数据源探索空间•MySQL、SQLServer•Oracle、Hive数据源添加步骤：Quick

BI核心流程—添加数据源1显示名称：数据源列表显示名称数据库地址：写主机名或IP地址即可端口号：填写正确的端口号即可数据库：连接数据库名称用户名：数据库对应的用户名密码：数据库对应密码1.选择数据源类型/种类(数据源标签)2.配置所需要的数据源连接信息3.连接测试4.点击添加(配置RDS示例信息)数据集添加步骤：1.选择数据源(数据源已有)

2.选择数据表3.创建数据集Quick

BI核心流程—创建数据集2实际应用中，根据图表的展示需要，往往需要编辑对应的数据集；数据集中所包含

的字段自动划分为维度和度量，根据实际需要，编辑数据的维度字段和度量字段，编辑完成，根据系统提供的工具栏，将编辑好的数据保存和刷新。

编辑界面➢编辑维度➢编辑度量➢关联数据表Quick

BI核心流程—编辑数据集2实际应用中，根据图表的展示需要，往往需要编辑对应的数据集；数据集中所包含

的字段自动划分为维度和度量，根据实际需要，编辑数据的维度字段和度量字段，编辑完成，根据系统提供的工具栏，将编辑好的数据保存和刷新。

编辑维度➢编辑：修改维度显示名以及备注信息。➢克隆维度：快速复制一个维度，生成的维度将会自动带

上副本以做提示。➢删除：删除该字段。➢新建计算字段(维度)：可新创建一个维度字段，并且可自定义其计算方式。➢移动到：快速将维度纳入到已有层次结构中，可用来实

现钻取。➢新建层次结构：快速将维度纳入到新建的层次结构中。➢上移/下移：移动字段位置，支持鼠标拖拽和右键单击。➢转换为度量：可将当前维度字段转换为度量字段。➢维度类型切换：默认、日期以及地理维度的切换。2QuickBI核心流程—编辑数据集

编辑度量➢编辑：修改维度显示名以及备注信息。➢删除:删除该字段.➢新建计算字段(度量)：可新建一个度量字段，并且可自定义其计算方式。➢移动到：快速将度量纳入到已有文件夹中➢下移：移动字段位置，支持鼠标拖拽和右键➢转换为维度：可将当前度量字段转换为维度字段。➢数字格式化：可决定数字的显示格式。➢默认聚合方式：可在菜单中选择聚合方式，如求和，最

大值，最小值等。实际应用中，根据图表的展示需要，往往需要编辑对应的数据集；数据集中所包含

的字段自动划分为维度和度量，根据实际需要，编辑数据的维度字段和度量字段，编辑完成，根据系统提供的工具栏，将编辑好的数据保存和刷新。QuickBI核心流程—编辑数据集2选择关联表实际应用中，根据图表的展示需要，往往需要编辑对应的数据集；除了编辑维度、2

度量外，还经常进行表关联操作，如下图：QuickBI核心流程—编辑数据集选择数据集字段完成关联表添加选择关联字段选择关联方式选择数据集预览保存编辑好的数据集保存后，可以进入制作电子表格。数据集选择区内切换已有的数据集；电子表格配置区选择要制作的数据图表，并且根据展示需要，设置单元格的颜色、字体、数据格

式等多种操作；电子表格展示区，按照单元格展示和引用数据，完成数据的再加工。QuickBI核心流程—制作电子表格3配置仪表盘：添加控件、配置控件样式、数据；添加数据图表，配置图表样式、数据信息；

若有需要

还需配置控件与图表控件之间的关系。新建仪表板选择数据集配置仪表板QuickBI核心流程—编辑仪表板选择编辑好的数据集，点击新建仪表板，创建\编辑仪表板3门户也叫数据产品，是通过菜单形式组织的仪表板的集合。通过数据门户可以制作复杂的带导航菜单的专题类分析。QuickBI核心流程—搭建门户41、新建门户2、设置页面信息门户也叫数据产品，是通过菜单形式组织的仪表板的集合。通过数据门户可以制作复杂的带导航菜单的专题类分析。QuickBI核心流程—搭建门户43、设置菜单4、分享授权主要内容常用大数据分析平台阿里云大数据平台阿里云大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI数据大屏DataV机器学习平台PAI数据大屏DataVDataV概述DataV基本操作DataV数据可视化:是阿里云研发的，使用可视化大屏的方式来分析并展示庞杂数据的产品。DataV旨让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用，满足会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。什么是DataVDataVDataV通过拖、拉、拽形式实现数据可视化，完成工业级的数据可视化项目的开发。

基于高性能的三维渲染引擎，实现对海量数据分析；丰富的炫酷图表组件可以帮助客户搭建专业级地理信息可视化应用。DataV的功能及作用数据大屏DataVDataV概述DataV基本操作DataV的应用可以直接采用系统提供模板也可以新建模板。DataV的使用流程

DataV场景模板DataV提供了指挥中心、地理分析、实时监控、汇报展示等多种场景模板，简单修改即可快速投入使用。即使没有专业的设计师，可视化作品也可以具备高设计水准。APP移动端模板示例WEB大屏模板示例

DataV丰富开放的图表库DataV提供了多种图表组件，支撑多种数据类型的分析展示；还接入ECharts、AntV-G2等第三方开源图表库。可视化图表组件示例

DataV多样的地理信息组件DataV能够绘制包括海量数据的地理轨迹、地理飞线、热力分布、地域区块、3D地图、3D地球，实现地理数据的多层叠加。网站流量模板示例地理组件示例

DataV支持的数据源DataV能够接入阿里云的分析型数据库和关系型数据库，支持本地CSV上传、静态JSON文件，在线API接入及动态请求。企业版还支持Oracle和SQLServer。满足各类大数据实时计算、监

控的需求，充分发挥大数据计算的能力。

DataV图形化编辑界面DataV提供多种业务模块级别而非图表组件的工具，所见即所得的配置方式，无需编程能力，只需要通过拖拽，

即可创造出专业的可视化应用。添加、移动组件示例

样式配置示例

数据配置示例

DataV数据交互分析DataV支持图形化的配置图表之间的交互联动，通过图表之间的参数传递实现数据的交互分析。组件A:设置回调ID

(x,y)组件B:使用回调ID

(x,y)

DataV多种适配与发布DataV

特别针对拼接大屏端的展示做了分辨率优化，能够适配非常规拼接分辨率做适配优化。提供三种发布方式：公开分享、密码访问、Token验证。企业版密码访问和Token验证公开分享主要内容常用大数据分析平台阿里云大数据平台阿里云大数据计算服务MaxCompute一站式大数据平台DataWorksBI平台QuickBI数据大屏DataV机器学习平台PAI机器学习平台PAI机器学习平台PAI介绍机器学习平台PAI基本操作阿里云机器学习平台PAI

(

PlatformofArtificialIntelligence)：是构建在阿里云MaxCompute计算平台之上，集数据处理、建模、

离线预测、在线预测为一体的机器学习平台。为算法开发者提供了丰富的MPI、PS、BSP等编程框架和数据存储接口，同时提供了基

于WEB的可视化控制台，降低了使用门槛。PAI上手简单、算法丰

富、一站式体验并支持深度学习。什么是机器学习PAI机器学习PAIPAI跟DataWorks是无缝打通的，实现SQL、UDF、UDAF、MR等多种数据处理，

基于PAI平台上训练模型，生成的模型可以通过EAS部署到线上环境，并支持周期性调度，也可以发布到DataWorks与其它上下游任务节点打通依赖关系。另外调度任务区分生产环境以及开发环境，可以做到数据安全隔离。即数据在MaxCompute或OSS上，PAI完成数据建模。

PAI的功能与及应用课程目录1.常用大数据分析平台2.阿里云大数据平台介绍3.大数据计算服务MaxCompute4.一站式大数据平台DataWorks5.BI平台Quick

BI介绍与基本操作6.数据大屏DataV7.机器学习平台PAI7.1机器学习平台PAI介绍7.2

机器学习平台PAI基本操作79

机器学习平台PAI机器学习平台PAI介绍机器学习平台PAI基本操作

PAI的使用流程PAI的可视化建模可以基于模板也可以新建。在明确任务、目标、并且掌握数据实际情况前提下，即完成商业理解任务、数据理解任务前提下，开始机器学习的数据建模过程：1)数据预处理2)选择特征

3)选择模型进行