第14讲-数据可视化

第14章

数据可视化数据同步工具DataX的使用

数据可视化12《大数据技术》1.1DataX的原理DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、NoSQL数据存储（HBase、Hive等）、无结构化数据存储（HDFS、Elasticsearch等）和时间序列数据库（TSDB等）各种异构数据源之间稳定高效的数据同步功能。1.数据同步工具DataX的使用3《大数据技术》1.1DataX的原理DataX的设计理念是一种星型数据链路，为了解决异构数据源同步问题。DataX作为中间传输载体负责连接各种数据源，当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。通过Reader从一个数据源读取数据，再通过Writer将数据写入另一个数据源。这样可以以一种插件的方式拓展其它数据源。1.数据同步工具DataX的使用4《大数据技术》1.数据同步工具DataX的使用DataX的设计理念5《大数据技术》1.1DataX的原理DataX本身作为离线数据同步框架，采用Framework+Plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。1.数据同步工具DataX的使用6《大数据技术》1.2DataX的基本安装和使用1．下载和安装DataX工具下载后上传到服务器master，并解压到/home/swxy/，进入bin目录，即可运行同步作业。[root@masterswxy]#rz[root@masterswxy]#tar-zxvfdatax.tar.gz-C/home/swxy执行下面命令，运行示例程序。[root@masterswxy]#cd/home/swxy/datax/[root@masterdatax]#pythonbin/datax.pyjob/job.json1.数据同步工具DataX的使用7《大数据技术》1.数据同步工具DataX的使用8《大数据技术》2．编写数据脚本进入“/alibaba/DataX”页面后，参考SupportDataChannels表格，编写数据脚本3．使用DataX同步移动用户行为分析数据1.数据同步工具DataX的使用9《大数据技术》2.1可视化概述数据可视化，是关于数据视觉表现形式的科学技术研究。其中，这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。2.数据可视化10《大数据技术》2.2搭建数据库浏览器输入“”进入阿里云，注册并登录后，在最上面搜索框输入“云数据库MySQL版”，根据提示进行操作，注意需要设置白名单，白名单可以设置为/0，为了安全，在生产环境需要设置具体的IP地址。2.数据可视化11《大数据技术》2.3数据可视化分析登录进入阿里云后，搜索框输入“QuickBI”，可以免费试用。，点击“产品控制台”，进入QuickBI主界面，QuickBI的使用主要包括数据源、数据集、仪表板三个阶段。2.数据可视化12《大数据技术》1．阿里云RDB作为数据源（1）新建数据源。配置连接选择MySQL，配置阿里云数据库behavior，勾选VPC数据源，从阿里云RDB拷贝AccessId、AccessKey、实例ID，并设置区域。2.数据可视化用户行为分析数据源13《大数据技术》（2）新建数据集。点击新建数据集，双击左边数据表ads_user_city，右边数据预览显示信息，可以点击齿轮小图标进行维度和度量转换，类型切换成日期、地理、数字等类型。2.数据可视化用户城市分布数据集14《大数据技术》（3）新建仪表板。点击新建仪表板，点击添加图表，右边选择数据集，根据需求拖动维度数据字段到类别轴/维度，拖动度量数据字段到值轴/度量。设置好后点击更新，最后点击保存并发布。2.数据可视化用户城市分布可视化15《大数据技术》2．本地文件作为数据源接下来以第9章9.3.2节案例中的”三一重工成长能力指标数据“作为数据源，进行数据可视化。新建数据集时，年份转换为维度，其它可以保持不变。2.数据可视化16《大数据技术》仪表板页面，拖动年份到类别轴/维度，其它拖动到值轴/度量。设置图表为线图。2.数据可视化《大数据技术》17

资料开始准备必要条件(计算机、数据、软件)课程资源按计划上传百度云盘，从如下地址下载：/s/1lhMA0cDCWS5bKZh8TU3c9w