投稿须知
请将投稿文章及个人信息(作者、用户名、手机号、个人简介等)发送到邮箱tougao@iyiou.com,一经审核会有专人和您联系
我知道了
专栏申请
请将您的专栏名称、手机号、邮箱、个人简介(20字以内)等信息,发送至邮箱 tougao@iyiou.com,若有已投稿的文章可附上链接。一经审核,我们会以邮件的形式进行回复。
我知道了

70%的企业数据没被分析,“数据驱动”这条路真能走得通?

收藏
企业服务, 新兴技术及应用
作者:亿欧
2022-05-18 10:30
数据量的迅猛增长与真正的“数据驱动”之间,还有很长的路要走。

全球顶级咨询公司Forrester在其《适应未来的技术战略》报告中写道:“持续从对市场和客户行为中获取洞察,紧跟市场趋势和客户需求”是增长速度比行业平均水平快3倍的企业所具备的关键能力。在这个竞争日趋激烈的时代,“数据驱动”显然已经成为企业提高自适应性和创造力以适应未来挑战的最佳蓝图。

为了实现这一目标,企业纷纷入局,致力于将生产经营中的所有数据(无论是历史的、实时的,结构化的、非结构化的,还是内部的、外部的)都完整保存下来,形成所谓的“数据金山”。

但“有数据”并不代表能“用得上”。一份同样来自全球顶级咨询公司Gartner的数据表明,68%的企业数据没有被分析,多达82%的企业受到数据孤岛的阻碍——可见,数据量的迅猛增长与真正的“数据驱动”之间,还有很长的路要走。

数据驱动,难在哪儿?

关于“数据驱动型企业”,埃哲森给出了这样的定义:让这些数据多次利用,方便随时掌握最佳可用数据,获取密切相关、切实可行的业务洞察,从而优化业务决策;而麦肯锡则认为,数字化的核心本质是数据实时处理和共享,能够做到随时随地的整合和可用,并将数据嵌入到每个决策场景、互动和流程。

看似简单的定义,对企业提出了极高的要求:要让数据的消费侧——业务人员能够高频、深入、广泛的使用数据以做出更优决策。

消费侧的需求爆发意味着数据供给侧要能同步提升产能。我们不得不进一步考虑,对于传统的基于ETL的数据生产链路来说,又意味着什么?

数据量日益激增让ETL工程师的运维工作和数据管理者面临的数据管理工作越来越繁重;数据需求量的增长速度远远大于ETL工程师的增长速度,导致业务部门、分析师和ETL工程师之间彼此重复着“提出→等待→满足”的串行流程。在这样的重复中,多达80%的敏捷运营需求甚至无法被排上日程,即便是有幸被满足的那20%,从提出需求到需求交付的时间至少以周计。

Gartner数据再次证明了这一点:分析师80%的时间用于发现和准备数据,知识型员工将50%的时间浪费在寻找数据、发现和纠正错误以及确认不信任的数据来源上,而数据科学家则需要花60%的时间清理和组织数据......

不难看出,传统数据生产链路已经成为横亘在企业数字化转型之路上的一座难以逾越的大山。

打破困境,需要重塑数据供给和管理方式

由当前局面出发,要想打开企业数字化转型效率瓶颈,需要解决两个问题:

-针对灵活多变的数据需求,要让诸如分析师、业务人员等消费侧人群能够自助找数用数;

-数据急剧增长带来的数据管理挑战日益艰巨,需要找到更有效的手段来替代传统管控式的数据管理方式。

 

当然,两个问题的背后,也各自对应着亟待解决的现实问题:

-怎样做才能既解决分析师的找数难题,又能屏蔽数据集成、任务运维、性能优化等技术细节,实现零门槛用数?

-面对错综复杂、不断增长、与业务深度结合的数据依赖网络,传统被动收集、整理和使用的元数据使用方式已无法适应,如何做到对全域数据的可观测和可主动治理?

国内新锐数据平台厂商Aloudata首倡NoETL理念,针对传统基于ETL的数据生产方式进行颠覆性创新,能够做到快速发现可信数据、自助分析全域数据和主动持续数据治理,重塑数据供给和管理方式,让企业数据随时就绪。

NoETL:构建“数据驱动型“企业的强大引擎

Aloudata业界首发NoETL湖仓平台,内置增强数据目录、语义知识图谱、主动元数据、数据推荐引擎、数据虚拟化、数据编排和Dataops等多项核心技术,能够帮助企业获得10倍以上数据化运营效率、最高100倍数据湖分析性能、50%以上存储成本节约以及70%以上管理成本节约,堪称“NoETL技术标准”。

-快速发现可信数据:自动化采集企业内部技术、业务、操作、协作等一切与数据相关的元数据,将其转换为相互关联的元数据语义图谱,让每个人都能通过自然语言搜索快速找到单一来源可信的数据资产,并通过增强的360°数据资产刻画,清晰理解数据背后的业务含义。

-自助分析全域数据:通过独有的自适应查询加速技术,无论数据是在数据湖、数据仓库或者其他地方,用户无需等待漫长的数据集成、无需操心任务运维、无需关心性能调优,每个人都可以在Ad-hoc 、多维分析、报表等多场景下自助进行全域数据探索并定义一致的数据视图,实现敏捷数据洞察和高效一致的数据协作。

-主动持续数据治理基于元数据语义知识图谱和AI增强的敏感数据识别,实现对全域数据的自动化分类分级,让企业能够精准施策做好数据治理;通过嵌入式数据治理组件,将数据管控策略和使用建议融入数据全生命周期,推动持续、主动的数据治理。

通过NoETL湖仓平台,用户无需搭建复杂ETL链路即可灵活分析所有数据,实现敏捷数据洞察和高效一致的数据协作,能够以更低的成本、更迅速地做出可信业务决策;同时,让企业的数据管理从“被动式”转变为“主动式”,实现数据管理的“自动驾驶”,助力企业轻松应对未来日益复杂的数据环境和蓬勃旺盛的业务分析需求。

NoETL落地某大型股份制银行:10倍提升数据化运营效率

随着业务数字化运营不断深入,某大型股份制银行于数年前开始引进和自研BI工具,并大规模推行全行分析师自助分析和报表制作,截止2021年,全行报表达数千张,月活看数人群达万级,并仍在高速增长中。

数据分析和报表制作环节的自助,进一步催生了行内数据分析需求的爆发,但前置的数据准备环节却无法同步提高产能,数据运营效率仍然存在显著瓶颈。究其根本,在于该银行现有的基于ETL的数据生产链路存在以下弊病:

一是数据分散在数据仓库、数据湖和业务数据库中,分析师开展数据分析和报表制作往往需要依赖ETL团队对数据进行汇集和预加工,交付周期以周计;

二是当前基于ETL的数据集成和加速方案需要对数据做大量搬运,显著拖慢了报表的数据时效;

三是业务数据分析需求快速变化,ETL工程师预先设计的数据查询加速方案很难同时兼顾灵活性和性能,报表查询性能难以保障。可见,当前基于ETL的数据供给模式已经无法支撑快速增长的数据分析需求。

为解决上述问题,该银行基于Aloudata AIR Engine搭建了敏捷数据准备平台,为全行分析师提供了全域自助找数、面向业务语义准备数据、查询自适应加速的敏捷数据分析体验,让全行分析师可以端到端全自助完成数据分析需求交付,将业务取数、用数、看数效率从周级缩短到了天级,并实现了高性能、低时延的报表看数体验,实现了企业数据化运营效率10倍提升。

写在最后

伴随企业从“数字化管理”向“数字化运营”的转变,营销圈人、人群洞察、活动效果评估等复杂多变的敏捷运营需求大量涌现,企业生产经营中的海量数据已经不仅仅用于服务高层战略决策,而是下沉到营销、产品、客服、供应链等一线部门,通过可视化、可量化、可细化、可预测等一系列数据分析方法论以及理论经验来进行业务分析,挖掘业务增长点。可以说,“数字化”正在深刻影响着现代企业运营模式。

截至目前,Aloudata已经帮助国内多家顶级金融机构向NoETL稳步过渡,帮助企业快速构建面向未来的下一代数据平台,让数据工程师、数据科学家、业务分析师和业务人员等各个角色都能轻松完成数据的探索、准备、分析和挖掘,实现全域数据资产的自助服务、高效应用和主动管理,充分释放过去因为ETL资源受限而被堆积和抑制的运营分析需求,为企业把握住每一个稍纵即逝的创新机会,驱动业务持续创新和规模化发展。

本文来源于亿欧网,原创文章,作者:亿欧。
转载或合作请联系 hezuo@iyiou.com,违规转载法律必究。
文中涉及数据均已标明来源,如需数据服务可访问 亿欧数据 。 如您有「项目报道」或「项目对接」需求,请填写表单,我们将尽快与您取得联系。
会议