探析大数据可视化技术与工具

1、    探析大数据可视化技术与工具    罗敏刚摘 要可视化随着大数据时代的来临日渐重要，传统可视化技术在应对大规模数据有响应时间过长、缺少灵活性等弊端，而现如今，这项技术已发展到一定程度，很多互联网公司都推出了各自的产品，种类繁多，能满足目前大多数需求。针对目前几款比较热门和使用普遍的技术和工具，从他们的功能特点展开分析。关键词大数据;可视化;技术;工具中图分类号： tp311.13         文献标识码： adoi：10.19694/ki.issn2095-2457.2020.09.0620 引

2、言现代社会，人类早已和数据密不可分，海量数据的组成真实地反映了现实世界的复杂事物，但人脑无法直接把庞大的数据转化为有效的信息，数据可视化这项技术有助于我们更好的管理和理解这些数据，以及发现复杂数据更深层次的联系。21世纪初jim thomas教授提出可视化是大数据挖掘与分析中一项必不可少的技术，发展至今从入门级的excel到专业级的商业产品，这项技术已经较为成熟，它的应用无论在金融、销售、物流、电力、交通、传媒，还是医学、地理等科学都发挥着重要的作用，帮助各领域人员发现问题，诊断问题，解决问题。数据可视分析是大数据分析不可或缺的重要手段与工具，将人脑智能与机器智能相结合，将“只可意会，不可言传

3、”的人类知识和个性化经验可视的融入整个数据分析和推理决策过程中，使得数据的复杂度逐步降低到人脑和机器智能可處理的范围。11 大数据可视化基本概念在大数据时代，数据的价值将得到最大程度的释放，微小的数据也有可能产生超乎想象的价值。大数据的特点包括：volume（数据量大），数据从gb到tb、pb乃至eb级别，采集、存储和计算的量大;variety（类型繁多），广泛的数据来源，决定了大数据形式多样性;velocity（速度快失效高），数据增长速度快，处理速度快，时效性高;value（价值密度低），所产生的数据中，有价值的数据所占比例很小，数据价值密度较低;online（数据在线），数据一直在线，随

4、时能调用和计算，这是大数据区别于传统数据最大的特征。数据可视化是一种通过将数据编码为可视对象如点、线、颜色、位置关系、动态效果等，并将对象组成图形来传递数据信息的技术。其目的是以清晰且高效的方式将信息传递给用户，是利用人眼的感知能力对数据进行交互的可视化表达以增强数据认知的技术。2数据可视化技术包含以下几个基本概念：数据空间：是由n维属性和m个元素组成的数据集所构成的多维信息空间;数据开发：是指利用一定的算法和工具对数据进行定量的推演和计算;数据分析：指对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据;数据可视化：是指将大型数据集中的数据以图形图像形式表示，并利用数据分析

5、和开发工具发现其中未知信息的处理过程。32 大数据可视化技术有哪些前端界面中几种常见的大数据可视化技术，例如highchar ts、echarts、charts、d3，使用javascript结合html5中的can vas和svg实现，能在pc和移动设备上运行且支持大多数主流浏览器，兼容性很好。2.1 highcharts开源但不完全免费的软件，非商业用途可免费使用，商业用途需授权，支付相关费用获得技术支持、图表定制服务以及vip专属服务。highcharts主要优势在于：1）兼容性高，可以在所有的移动设备及电脑上的浏览器（ie6以上）中使用。2）配置语法简单，所有配置都是json对象，易于

6、读写和解析。3）支持用户一键导出以及直接打印图表。4）支持多坐标轴，同时对比多个数据。2.2 echarts开源的、免费的可视化库，功能丰富，涵盖各行业图标，可根据需求高度个性化定制。echarts全新4.0版本新特点：千万级数据可视化渲染能力、svg + canvas 双引擎动力更佳、数据样式分离及扁平配置让开发更便捷、首创无障碍访问支持、适配微信小程序和ppt。2.3 chart由社区共同维护的开源项目，8种可视化展现形式，每种方式都具有动态效果并且可定制，支持所ie9以上浏览器。chart.js2.0版本的新增特点包括：1）可以混合不同图表，以便在数据集之间提供清晰的视觉区分。2）新增图

7、表轴类型，轻松绘制各种复杂的图形。3）改变数据、更新颜色和添加数据时，均有开箱即用动画效果。2.4 d3动态的、交互式的、开源的在线数据可视化框架，无须任何插件就能运行，可以与现有的web技术无缝协作，可以操作文档对象模型的任何部分。d3.js的主要特点包括：1）非常灵活简便，易于使用。2）支持大量数据。3）声明式编程以及代码的可重用性，简化了编写难度，提高了效率。除了以上的前端技术，还有基于java开发的图形技术，有更高的灵活多变性。2.5 processingprocessing是基于java开发的图形技术，一门开源编程语言，也是一个开发环境，同时支持linux、windows以及mac

8、osx三大平台，并且支持将图像导出成各种格式。processing编程语言类似于java和c，有编程基础用户上手容易，语法简单，大幅度降低学习门槛，使非程序员学习也不困难。目前为止，processing已经十分成熟，不仅支持android应用的开发，也对web方面提供了单独的开发工具。processing对于生成和编辑图像的功能十分强大，包括矢量图与光栅图绘制、图像处理、色彩模式、鼠标和键盘时间、网络通信、以及面向对象式编程，声音还有三维文件的处理等，几乎可以绘制任何想要的图像。3 大数据可视化工具分析目前国内外数据可视化市场上已有不少成熟产品，厂商主要来自这几类：一类是提供商业可视化产品的软

9、件服务商，国内有帆软、永洪科技、东软、四方伟业、smartbi等，国外有sap bo、ibmcognos、oracle biee、microsoft bi等传统商业智能软件服务商。第二类是新兴可视化产品提供商，国内有恒泰实达、数字冰雹、海致bdp等，国外有tableau、qlik、micros trategy等。第三类是互联网巨头公司，如网易有数、百度图说、阿里云数加，其大数据平台可视化基本是自己设计开发，同时售卖各种数据产品。第四类是互联网大数据服务商，如百分点、海云数据、神策数据、友盟等。4每款产品有其自身特点和应用场景，以下介绍几款有代表性的产品。3.1 datavdatav是阿里云的一

10、款数据可视化产品，用来分析并展示庞大复杂的数据，分为基础、企业和专业版，可满足多种业务的展示需求。功能特点：1）提供多种模板。datav提供指挥中心、地理分析、实时监控、汇报展示等多种场景模版。2）多种数据类型。analyticdb、rds mysql、兼容mysql数据库、csv文件、datav数据代理服务、api、静态json。3）图形化界面。无须编程能力，拖拽使用，简单方便。4）多分辨率适配。datav特别针对拼接大屏端的展示做了分辨率优化，能够适配非常规的拼接分辨率。企业版相比基础版，增加功能包括：1）支持大屏加密发布。2）支持更多数据源类型。3）支持的项目数量增多。4）支持本地部署。

11、5）支持自定义组件。3.2 raydataraydata是腾讯云大数据实时可视化交互系统，系统实现数据实时图形可视化并实时交互，使用户对数据的管理更加方便，应用场景丰富。产品处于内测阶段，可通过申请来获得使用资格。功能特点：1）超高分辨率。采用独特的超高分辨率运算引擎，使图像不被压缩，结合其不同于传统可视化界面的表现形式，最终呈现具有视觉冲击和丰富细节的结果。2）内容模块个性化。灵活的程序架构，模块化管理，方便个性化新增业务，满足各种需求。3）端到端软硬一体机。raydata提供端到端产品方案，包括从软件到大屏以及后端渲染服务器，只需用户提供数据源，无须二次开发。4）实时交互。根据接入的数据实

12、时变化，且为双向互动，提高用户的参与度。此外，用户利用移动端能远程对大屏进行控制，控制模块根据需求自由定制。3.3 tableautableau是一款国外商业智能软件，对于数据管理和数据可视化都有很强大的功能，也是数据可视化产品市场的主导者之一。分为个人版和组织团队版，付费产品，有免费试用。功能特点：1）快速分析。在数分钟内完成数据连接和可视化。tableau 比现有其他解决方案快10到100倍。2）簡单易用。直观明了拖放产品分析数据，无须编程即可深入分析。无论是电子表格、数据库还是hadoop 和云服务，任何数据都可以轻松探索。3）智能仪表板。集合多个数据视图，进行更丰富的深入分析。4）自动

13、更新。通过实时连接获取最新数据，或者根据制定的日程表获取自动更新。5）瞬时共享。只需数次点击，即可发布仪表板，在网络和移动设备上实现实时共享。53.4 sugarsugar是百度旗下的一款数据可视化产品，提供报表及数据大屏可视化服务，图表组件丰富，拖拽式编辑，支持下钻、联动等交互式数据分析。付费产品，30天全功能免费试用。功能特点：1）支持页面自适应，适配各种界面。2）支持公开与加密发布，可以复制url供他人浏览，也可以嵌入第三方系统。3）同时支持云端和私有部署。4）提供权限管理，用户授予不同权限，实行数据隔离，保证数据的安全性。5）对数据有过滤筛选功能，支持对图表和大屏无限层级的深度挖掘以及图表联动分析。4 总结在大数据时代，可视化技术占据着不可替代的一部分，应用于各个行业领域，商用和免费的产品繁多，不管有没有编程经验的用户都能找到自己适用的工具。目前来看，可视化技术已取得了一定的成果，但随着时代发展，数据的规模和复杂度也会不断增加，这项技