我的位置:

金准产业研究 数据可视化研究报告

发布人:金准数据

前言

在近年时间里,数据采集、存储和数据分析技术飞速发展,大大降低了数据储存和处理的成本,一个大数据时代逐渐展现在我们的面前。大数据革新性地将海量数据处理变为可能,并且大幅降低了成本,使得越来越多跨专业学科的人投入到大数据的开发应用中来。如何才能让大型数据集变得亲切和易于理解,可视化无疑是最有效的途径。对大数据背景下的数据可视化应用展开研究,将有助于我们发展和创新数据可视化技术。

一、数据可视化的设计思路

1.1用户定位

在做数据图形化展示之前首先要分析和确定数据的最终用户是谁,用户的关注点是什么。不同类型的用户,如企业决策者、高级管理人员、中层人员、基层执行员工、外部客人等等,因角色不同,对于可视化系统的操作及数据内容诉求均不相同,不同用户的理解能力及关注重点也不尽相同。所以在设计时,图形展示及交互形式均不相同。例如给公司决策者设计的管理型看板可能是可交互式的企业关键经营数据,而给外部客人展示的企业业绩宣传数据则可以采用大屏幕“图标+数据”展示即可。

1.2场景定位

展示环境也是影响数据可视化设计的重要因素。展示区域、载体媒介、界面大小、交互形式等因素也都影响最终设计。办公室触摸式大屏幕展示环境时可设计为可交互式图形,实现多层级数据钻取,多数据场景人工切换等。室外或展厅LED大屏幕可采取非交互式单屏排列设计,实现单屏幕最大化数据传递。色彩配置也要符合环境特点,确保界面清晰、视觉体验良好。

1.3数据定位

数据自身属性、维度及数据量级的不同往往决定了最终展示的信息不同。单数值的关键指标在设计展示形式时应重点突出数值,连贯性的数组则应该采取能兼顾数值及数据间关系的折线图,趋势图等。在设计时,展示内容不能做简单的数据堆积展示,布局要体现信息连贯性及信息顺序逻辑,使信息逻辑清晰,一目了然。

二、数据可视化的实现

数据可视化产品(系统)的结构框架主要分为三层:数据存储层、数据计算层、数据展示层。

图片1.png 

2.1数据存储层

在数据可视化产品(系统)中,既支持常规数据(MySQL、CSV等)可视化,也支持大数据(hive、HBASE等)的可视化,满足日常分析人员定性、定量的分析。

在考虑到数据安全的因素,数据存储还会与权限管理相结合,实现不同角色的人员只能访问指定的数据。

2.2数据计算层

这里的计算不是平时所说的聚合、排序、分组等计算,解释之前金准产业研究团队将首先了解一下数据分析的工作流程:

产品/运营人员提出数据需求,如“APP一周留存 ”;

分析师确认需求后需要明确本次分析需要的字段及分析方式;

数仓人员提供整理后的表格(数据模型,多张表join后合成的中间表);

分析师基于数据模型进行可视化分析。

数仓提供的数据模型主要分为增量、全量数据,不能直接对某个较长范围的数据进行分析,举个例子1月1日、1月2日两天都产生了数据,增量、全量的数据存储方式效果如下:

图片3.png 

以上述举例的“APP一周留存”,就需要每天计算一下隔日留存,才能够基于每天的隔日留存计算出一周的留存。分析师每天会有很多任务,大量的基础计算(如每天的隔日留存)就可让电脑自动完成,这里就需要依赖调度功能(你可以理解成一个自动运行公式的工具)。

通过以上内容,我们可以得到多表关联、定时计算就是计算层的主要功能。

2.3数据展示层

数据展示层分为两部分:

一部分是对看图人的可视化,看图人包括:产品、运营、高层主管等。根据需求方的要求,将数据用适合的图表呈现,比如,趋势相关用折线图、数据明细用表格、留存用漏斗图……

另一部分是对作图人的可视化,作图人主要是分析师。让分析师用可视化的操作,来代替尽可能多的SQL语句输入。常见的可视化工具中,可以快捷得将数据模型中的字段拖拽到维度/度量(可理解为X、Y轴)中。

图片3.png 

tableau图表编辑面板

通过可视化产品(系统)结构学习,我们不难看出,实现数据可视化的操作过程包括:数据连接(存储)、制作数据模型(计算)、制作图表(展示)。这也是当下常见数据可视化产品操作流程。

三、数据可视化转换

图片4.png 

金准产业研究团队将数据可视化转换步骤总结为6步:

1、 数据积累。根据要表现的内容积累相应数据,从本地信息系统或互联网收集进行数据积累。

2、 数据整理。根据分析目标及计算规则,将价值数据从海量数据中过滤出来,剔除无效部分,降低干扰,提升沉淀数据质量,改善数据精度。

3、 分析挖掘。应用数据挖掘的方式来对数据格式进行分析,捕获关键数据结构及规律,找出数据之间的关系及引申含义,并通过不同的组合及计算进行汇集、演算以提炼数据更深层次的价值。

4、 数据转换。应用结构性模型清楚体现数据结论及目标意义,同时按照规则对数据进行分组排序,将数据含义变得一目了然。方便用户快速获取相关数据信息。

5、 图形转换。根据要展示的内容进行结构设计,不同类型的数据选择能够更加突出显示的图形或多维显示类型。如百分数选择饼图、环形图展示,多维指标选取雷达图等等,设计视觉草图。

6、 组合呈现。根据内容分类,数据相关性,通过结构化的界面布局及重点突出的色彩搭配,将数据分类别、分层次地呈现出来。

四、数据可视化常用工具

软件工具:常见的基础数据可视化工具软件以微软公司的 Excel 和苹果公司的 Numbers为代表,通过简单易用的图标制作工具,以柱状图、折线图、饼图等多种图表形式来表现文件内的结构数据及数组。该类工具在处理少量数据,展示简单图表时具备简便组合、快速呈现的特点,但在面向多样式、高要求的数据可视化分析场景时稍显不足。在面向专业的数据可视化处理时,就需要利用如 Power BI 、Tableau、ECharts、Embedding Projector、Visdom等工具来表现数据的多维度、多样化。这些工具在数据整理的易用性和图形呈现视觉的美观性上都有着非常不错的表现。

硬件工具:大屏幕是可视化数据的理想展示媒介。一般具备面积大、多样组合、音视频多媒体呈现等特点,容易给用户带来身临其境的参与感,能够更大地发挥数据图形对观察者的视觉冲击,使用户对数据信息印象深刻,在震撼、炫酷地展示同时完成信息传递。当下常见的大屏显示硬件包括:LED显示屏、液晶拼接显示屏、等离子拼接显示屏,可交互式的触摸液晶屏等。随着投影技术的发展,超融合投影、虚拟成像的全息投影等技术应用也越来越广泛。呈现技术的进步使展示内容从平面化向立体化转变,交互方式也从单向查看到人机双向交互模式进行转变。

金准产业研究团队认为,如今大数据采集分析已渗透至房地产开发过程的各业务环节中。从项目立项、可行性研究、投资评价、投资决策到施工建设、产品营销,包括后期的物业管理、每一项业务决策几乎都需要有大量数据做分析基础。

在拿地时参考哪些数据进行区位选择、项目优势分析,设计时产品如何规划,建设过程中成本如何控制,施工进度、施工质量如何保障,营销时如何拓展营销渠道,把握用户、精准营销等等管控内容都需要大量数据作为参考依据。土地投资系统、成本招采系统、营销系统、费用系统、质量系统、计划系统等以数据管理为基础的管控系统已成为地产企业管控业务的重要工具手段。地产企业都开始逐步建立自己的业务核心数据库,把地产业务上下游相关的行业产品、管控因素等外部数据以及公司内部的经营管控数据有效积累管理起来沉淀为支撑自身业务发展的价值基础,并通过对数据的分析与预测,指导自身进入良性发展。

由于规模大、业务环节多、行业发展快,地产企业的数据积累速度相对较快,各类数据沉淀后的高效利用,一直是地产经营管理者们追求的目标,各式各样的表单、分析报表、可视化数据成为支撑管理者精准决策的利器。

金准产业研究团队了解到,地产行业内的龙头公司都非常重视数据可视化在企业管理中的应用,万达集团、碧桂园、华夏幸福基业、等公司纷纷建设了先进的数据可视化系统以辅助企业进行外部宣传及内部管理。

图片5.png 

万达集团总部展厅的大屏可视化系统,呈现了万达集团近30年的发展历程和万达集团多年公益成果。万达商业集团总部的可视化大屏幕上显示了全国万达广场实时客流量数据及销售数据,并且可随意切换显示各万达广场内关键区域视频图像。让管理者远在北京总部即可实时掌握分布在全国的200多个万达广场现场经营情况。在万达集团项目上,可视化应用也被重点利用。2017年开业的丹寨万达广场客户中心悬挂着一块巨大的LED大屏,大屏上实时展示着丹寨万达广场内的客流量、客户来源、客户人群分类,广场实时视频等信息,极大地提高了游客在现场的科技体验感。

华夏幸福基业公司集团在展厅内布置了能够展示集团产业分布的数据可视化系统,访客可以通过大屏系统快速了解华夏集团的产业方向,不同产业在全国城市的布局情况及项目介绍信息。

鑫苑集团在建成先进的BI系统之上,又建设了鑫苑集团经营数据分析可视化平台。系统建设定位于呈现鑫苑集团地产、科技、金融、创新四大业务板块的全球战略布局,展示各业务板块的关键经营信息。以地产板块为例,实现用户既可以快速查看鑫苑地产业务所实施全部项目的全球地理位置分布,也可以查看每个项目自身的关键经营信息,如项目各期成本执行情况、项目营销回款情况、项目计划执行情况等等。数据全部来自于ERP系统,可以做到实时抽取、实时展现。

图片6.png 

鑫苑集团数据可视化应用示意

系统服务的用户定位于集团高层领导,在设计时从管理者视角入手,满足管理者对系统操作简便、对数据内容实时全面的需求。在视觉呈现方面,选择利用Ventuz软件以立体的三维模型形式展现。Ventuz不仅在图形展示渲染方面能力出众而且可以很好地实现人机交互,系统界面炫酷,操作流畅,体验非凡。

结语

随着信息技术的快速发展,数据成为人与人之间传递信息的主流载体,贯穿各个领域,渗透于我们生活的方方面面,已经成为社会的重要生产因素,海量数据越来越明显的演化为社会最具价值的财富。而对于数据的整理、分析、应用、更新、展示成为人们挖掘数据价值财富的关键手段。

金准产业研究团队认为,数据信息可视化是一种有效的数据分析手段,更是一种关于数据视觉表现形式的科学技术研究。人们通过利用平面图形、立体结构,借助计算机对数据进行清洗计算,清晰生动地以视觉形式将数据组合呈现出来,以便达到信息有效传递及沟通。数据信息可视化过程中充分运用人类对图像、图形等可视模式快速识别的能力,通过图形图像、曲线甚至动画等可视画面,来观察、研究、分析、过滤和理解大量的数据,进而能够实现直接的解释和分析,形象地表现和模拟大规模数据,以此来发现或探求数据内部隐藏的特征以及规律,从而提高人们对事物的观察能力、记忆水平以及理解能力,促进人们形成对某一事物的整体概念。

数据信息的可视化有两个基础,即图形设计与认知心理学。其中图形设计为数据信息可视化提供了更具艺术性的表现方法,为实际的操作经验提出了指导。认知心理学是数据信息可视化的基础理论,是关于人们怎样认识与感知世界的理论,其主要研究的是人类的认识与感知信息的过程。数据信息可视化的重点便是利用计算机技术、多媒体技术、数字技术等手段,把人们无法设想和想象以及接近或相似的环境、事物等用动态直观的形式表现出来。

数据可视化的最重要的意义在于它能够帮助人们更加快速、准确地理解数据。可以在一个图表中突出显示一个或多组大的数据量,使用户可以快速地发现关键点。此外,展示海量数据的能力是数据可视化的另一个优点,从海量的数据和信息中寻找联系并不容易,但是图形和图表可以在几秒内提供信息,一望便知,可提供所需的信息。数据的可视化展示提高了解释信息的能力,一张图表可以突出显示一些不同的事项,人们可以在数据上形成不同的意见,这个过程可能会为新的产品、创意甚至商业模式的雏形创造新的产生途径,甚至人们或许能从数据中发现一些意想不到的东西。

可视化既可以是静态的,也可以是动态的。交互式可视化通常引领着新的发现,并且比静态数据工具能够更好的进行工作。

金准产业研究团队预测,在大数据与互联网时代,企业从传统的流程式管理方式过渡到基于数据的管理方式将会成为必然的趋势,大数据可视化能够帮助分析的人对数据有更全面的认识。数据可视化的发展,将改变传统的管理方式,让数据的呈现更及时、更直观、更简单。同时让数据的管理更客观,针对性更强。简单一点来说,未来有数据、有分析的地方就有就有可视化的需求,当大数据的处理技术逐步发展的同时,可视化可以承载让用户更容易阅读和理解的工作,辅助大数据的神秘,让用户体验更佳。