艾瑞咨询：2022年中国数据中台行业研究报告-20221102-solarbe文库

资源描述：

中国数据中台行业研究报告 ©202.1 iResearch Inc. 本报告来自互联网公开渠道，版权归原作者所有。扫码查看更多报告如有疑问，请联系 data01caijing.com扫码查看零壹报告 2©202.1 iResearch Inc. www.iresearch.com.cn 摘要来源艾瑞咨询研究院自主研究绘制。云原生是当下最为确定的技术趋势，存算分离、微服务、ServerLess等核心技术要素驱动数据中台走向云原生。数智融合理念将AI算法模型植入数据治理，高质量数据反哺AI开发能力，让数据和AI开发高效互通。泛中台化趋势明显，业务场景需求的解决方案/产品趋于“中台化”，以数据中台为基础的中台体系不断丰富。狭义来看，数据中台是一套实现数据资产化和服务复用的工具；广义来看，数据中台是一套运用数据推动企业数字化转型升级的机制和方法论。数据中台始于业务数据的沉淀，于数据的、合、分，，生。当数据中台的业中，业的 ¡分为台生 ¢£、解决方案¢£⁄¥ƒ中台¢£§currency1，行业格局由竞争转向竞合，以协同生态为核心，集众所长，将的技术方案业服务“«‹合，›fifl 解决方案的广 ⁄– ，–†于金融、泛零售、政务、制造、工业等‡ 业场景。 2021年数据中台市场规模达到96.9 。· ¶，业的生化合‚趋势明显； ·需求，„业”数据中台的»‰ 中台¿ ´ˆ最˜的数据¯˘能力。业中 ⁄ ˙¨ ， ˚¸模 ˝˛ˇ，˛趋于，将·202 年达到1 . 。 3 数据中台行业全景 2 数据中台产业实践3 典型企业案例4 数据中台概述1 行业前景展望5 4©202.1 iResearch Inc. www.iresearch.com.cn 定义始于业务，用于业务，生态闭环，源源不止数据中台是一数化合解决方案。数据中台、算、存 ⁄ 理量数据，数据的一⁄ 一¡， ƒÆ ª、的数据存能力中心⁄数据产中心，化服务模Ł，Ø高数据Œº⁄ 能力，高解决台的化需求。狭义来看，数据中台是一套æ˘数据产化⁄服务的；广义来看，数据中台是一套数据ı 动„业数化型 ª的 ⁄方法ł。ø 数据 ¢œß，数据中台ƒ于业务数据的沉淀，于数据、合、分的生。数据中台始于业务，于业务，的理念数据 œß下数据产最化的 ø 契合。来源艾瑞咨询研究院自主研究及绘制。数据中台核心架构数据集数据库日志数据数据用网页及埋点数据移动设备数据物联网数据事务性功能 HDFS MPP Spark Flink 数据架构规范管理数据治理机制元数据管理主数据管理数据分布数据模型数据标准数据资产资产目录即席查询在线查询鉴权管理数据服务 API服务分析型功能数据运营管理数据安全管理 5©202.1 iResearch Inc. www.iresearch.com.cn ©202.1 iResearch Inc. www.iresearch.com.cn 驱动因素宏观层数据量规模快速扩张，数字化进程加快，技术更新迭代新冠肺炎疫情加ı动ˆ ˚、„业到政府Æ方位的社会数化型浪潮。„业方面，疫情的出˘为„业数化型按下ˆ“加键”，·线办公、·线交易等线¨化营方式为„业·特殊œ期正常 Ø ˆ支撑。政府方面，政府的数化急能力⁄·线政务服务能力·疫情下不断“淬炼”，·线服务指数由Æ球第34位至第9位，迈入Æ球领先列。据Gartner 测，2025 年Æ球将有309亿设备接入物联网。物联网设备产生量数据，”这些设备的营、监控以安Æ 障，离不开数据技术的支撑，反过来也ı动ˆ 数据技术的进˝。云算以云算境下数据技术的，使构一套数据系 ¯为门槛、快启动的项，且随着业务˛ˇ进无缝的技术˛ˇ，只需为æ际使的算⁄存， ˆ使门槛。来源wind，艾瑞咨询研究院整理及绘制。来源wind，艾瑞咨询研究员整理及绘制。 2005-2021年中国数据经济规模及全球占比 22 32 49 64 83 92 99 101 114 3 5 10 16 27 31 36 39 45 12 15 19 25 33 34 36 39 39 200520082011201420172018201920202021 国内生产总值（万亿元）中国数字规模（万亿元）中国数字规模（） 2015-2030年中国数据量规模及全球占比 3 12 49 175 23 24 28 29 201520202025 2030 中国数据（）中国数据全（） 6©202.1 iResearch Inc. www.iresearch.com.cn ©202.1 iResearch Inc. www.iresearch.com.cn 驱动因素行业层大数据核心技术和产品受关注程度高，产业发展再升级数据技术⁄ 为支撑，是数 “ 新势、加快数社会设˝ 、Ø高数政府设的要力量，数据核心技术新⁄产品 ª » 高，产业发备的 ⁄ 力。随着5G、AI、物联网等技术的，数据场景，数据不断，数据量快¡ 。云原生技术使„业 ¢能·公Œ、£有⁄ ⁄合云等˘ß动境中构 ⁄ ¥ 的 ƒ，是§云算currency1 ，数据设“领 æ˘新˛ˇ的要«‰。· ‹ 方面，数据中台、数据治理、数据安Æ等产品›领fi分fl场发。· ‹ 方面， I、 –化、†‡分等产品也备 »。 „业⁄ 业来看，„业·加数据技术´ fi化营、¶化决‚„进。业 ”»于‹ ⁄¶技术服务、联网等领。来源工信部，艾瑞咨询研究院整理及绘制。来源工信部，艾瑞咨询研究院整理及绘制。 2014-2021年软件和信息服务业收入增长情况2020-2021年月度互联网业务收入累计增长情况 37026 42848 48232 55103 61909 72072 81586 94994 16 13 14 12 16 13 16 20142015201620172018201920202021 务（亿元）（） 29 29 28 24 26 26 2525 23 22 21 5 2 5 15 14 15 1414 13 1313 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 1 10 1 11 1 12 2020 （） 2021 （） 7©202.1 iResearch Inc. www.iresearch.com.cn 驱动因素企业层搭建全栈式的数据功能集成平台，发挥数据资产价值 „业的数化进不断加快。„业‰ ⁄¨下¿currency1 的合‚ 来 ´ˆcurrency1数据台⁄数化，˜¯ 新的˘‰⁄ ˙‹。一方面是¨ 一的业务系 ˚ ，数据¸式⁄› ‡˝化，˛¡数据ˇ以 ⁄ ，一方面是¨ ¨ 下¿„业分º数据⁄A I服务的 ˚ 。，中 SaS·疫情发来ˆ高 œ ，˜„业系 ·‡云境中， £有量业务系云系 ˆ 的»系，最˜无法快业务需求，业务新。„业需要一一的数据Æ能台，一的数据产，Ø 一的数据服务，化开发，ª ，æ˘业务系 ›fi⁄业务需求ª ，正æ˘“ 数据产发 ”。来源艾瑞咨询研究院自主研究整理及绘制。数据功能的集成化数据功能集成化业务系统集成途径不统一，重复开发现象严重，效率低下；数据服务接口标准不统一，扩展能力差；数据治理标准不统一，无法进行全域数据治理；业务需求响应不及时，创新能力差，效率低。业务系统的集成结构和服务关系清晰；数据服务接口标准统一，开发效率高；数据治理标准一致，可做到全域数据全生命周期的治理；业务系统协同，可实现敏捷开发。的数据集台复的集系 8©202.1 iResearch Inc. www.iresearch.com.cn 价值核心价值提升数据治理，改造业务流程，深化数据应用来源艾瑞咨询研究院自主研究及绘制。数据中台¡力于解决原有数据»系 S AŁ构解决„业“数据ØŒ”º ，数据，过 æ数据 ˚系、化数据质量控、一理数据等方式加数据治理，Ø 数据，æ˘数据产化。数据中台·ı „业业务，数据 ł的fiœ，也 ˆ„业门 ⁄ø业œcurrency1 的业务 ł，ß “ 门 ”产生的，极 Ø ˆ„业 ¢ 。数据中台的设定位是于„业的顶层，中˚˘ˆ„业的顶层框Ł⁄业务逻辑。数据中台”„业Æ 数据产进开发⁄ ，æ˘ˆ 一比算，数据备ˆª 服务能力，满 ˆ„业ˆ层ª”数据服务能力的智能⁄快调，数据最化赋能业务决‚。数据中台核心价值运用可共享复用的数据管理工具进行数据治理，形成统一的数据标准，并结合可视化工具，提升数据质量和数据管理效果。升数据加强数据与人工智能的合，运用数据法，加强数据的全生命周期治理，法，数据开发周期。丰富的法模型构用的数据服用，并进行可视化理，提升数据和服务的复用，低开发成。开发数据治理形成可用的数据，低数据开发，数据加工理的全应用， ¡应用提¢服务。企业数据资产数据£全 ⁄¥数据进行敏ƒ§currency1 “，运用数据加« ‹敏 ›能，提升fi业的数据£全。升数据 9©202.1 iResearch Inc. www.iresearch.com.cn 争议搭台还是拆台，做厚还是做薄来源艾瑞咨询研究院自主研究及绘制。随着„业数化型的–入⁄数据技术的不断ı陈出新，»于中台的争也开始出˘，比如中台该做厚还是做薄等。艾瑞过调研发˘，这并非中台¿ º ，而是不fiœ˚的语境不fi，»‰不fi。首先，数据⁄指 ˚系一¡ 的理念不会ı¯，且数化 –，其明显。其次，的理念不会ı¯，“ 轮子”· ‡情况下都不允许。再次，数一˚、的理念不会ı¯。而以¨§‰，正是数据中台的理念，中台并不过œ。· ˚技术Ł 构、产品 ⁄£业模式¨，中台确需 œ俱进。首先，意义¨的广义中台将„业理、台设、数据治理、数据营， ˆ 一的系，门槛高，且任何一出˘º 都ˇ以正 Æ。随技术进˝，原来需要人去做的很‡ø 项，都以 ⁄产品ß替，· 能、Æ能、˚«均不¯情况下，中台¯薄ˆ。其次，中台¿ 也需解耦分层，数据汇”、治理为一层，为数据理层；数据服务为一层，为数据层；安Æ、AI能力等，则纵跨两层。数据中台的解耦与分层数据安全管理主数据管理元数据管理数据模型管理数据治理数据汇聚离线同步实时接入异构数据可视化配置数据标准管理数据¡ 分析型功能数据应用数据服务鉴权管理API服务在线查询即席查询事务性功能数据用数据运营管理 AI 能 10©202.1 iResearch Inc. www.iresearch.com.cn 延展技术与业务中台，支撑数据和应用服务技术中台抽象、封装⁄沉淀公Œ技术的能力，以台式” 出技术能力。技术中台核心特‰为云原生⁄微服务，过A I网»æ˘ 逻辑⁄ 支撑的安Æ分离⁄¥ƒ开发，有 ”高频量业务访º场景。技术中台的设 ⁄æ“只需备技术属，不能把业务逻辑封装进去，否则就偏离ˆ技术中台能力抽象出的¿质。业务中台承载„业核心业务，æ˘„业ª的业务能力 ⁄业务板Ł›fi，Ø 新能。业务中台的典型特‰是涉领 ‡，需求¯化快，业务场景逻辑。·设 ⁄æ“中，需要划分业务领边界， Œº服务模Ł， ƒ分布式微服务˚系，为台 Ø Œº服的业务能力。，也有观‰认为业务中台偏ø务，数据中台偏分，˜·¿报告中，数据中台的概念¿ 已包括ø务需求。来源艾瑞咨询研究院根据公开资料整理及绘制。中台基本能力架构技术中台关键组件技术中台业务中台1 数据中台数据采集数据应用数据开发数据服务业务中台2 业务中台3 后台系统前台应用开发框架基础能力运行环境监控预警用户权限公共服务能力流程设计模型服务 API网关服务鉴权服务路由降级限流前端开发框架微服务开发框架开发框架负载均衡微服务治理流量控制配置管理配置中心服务发现业务中台关键模块共享服务模块用户中心商品中心订单中心交易中心会员中心店铺中心评价中心支付中心物流中心搜中心资中心 11 数据中台行业全景 2 数据中台产业实践3 典型企业案例4 数据中台概述1 行业前景展望5 12©202.1 iResearch Inc. www.iresearch.com.cn 市场规模行业增速有所放缓，市场规模稳步增来源艾瑞咨询研究院根据公开资料及自及绘制。我数 “ 蓬勃发，„业数化型˝ 不断加快，数据技术加新融合。2019年是数据中台年，业快 ˆ萌芽期⁄ ˇ期的，正· 极´ 期过渡。 ¶看，生化合‚趋势明显，一方面云¢£·ˆ垂直领加布局合‚生，配合生伙伴的业淀⁄服务›fi，使得化署能力⁄æ“ 率显著Ø ；一方面，分 ¥ƒ¢£融合云¢£的层台能力，‹合的技术新⁄ 项势，发布‡˝化的数据中台产品。·需求，„业” 数据中台的»‰已中台¿ ´ˆ最˜的数据¯˘能力，”中台的理解不断加–，需求也·加明确。，·疫情下，„业的 ¸ª ¨ ，驱动¢£ 极业务模式新⁄服务 ª。数据中台业的中 ⁄ ˙¨ ， ˚¸模 ˝˛ˇ，˛趋于。 2019-2024年中国数据中台的市场规模 37 8 68 2 96 9 126 0 156 2 187 4 80 42 30 24 20 2019202020212022 2023 2024 数据中规模（亿元）（） 13©202.1 iResearch Inc. www.iresearch.com.cn 产业图谱行业发，放，市场来源公开资料，艾瑞咨询研究院整理及绘制。些年，· 数据、云原生、人智能等技术发 ⁄„业数化型加的驱动下，数据中台·‡场景快。 ¢£currency1型来看，台生 ¢£、解决方案¢£、¥ƒ中台¢£以研¢£的边界开始模，数智服务的生 ›fi明显。 fl场¸局来看，云服务¢£ 备的服务˚系⁄ 生能力，出方法ł、技术， ƒ 业服务˚系；产品¢ £ 新技术能力⁄垂直业–入的业务认，得业，Ø 品争力。数据中台产业链生态图谱数据中台厂商类型平台生态厂商解决方案厂商独立中台厂商自研厂商 14©202.1 iResearch Inc. www.iresearch.com.cn 行业格局，搭提升数服务，生态 ¢£发逻辑正争´ 合，以›fi生为核心， ˇ，合力fl ›fi 解决方案的广 ⁄– 。台生 ¢ £ 有‰ 率先中台，currency1 ” Ø 服务的先发势，为业发出方法ł、技术⁄ ˚系，£业模式以 “Ø 云服务，生伙伴æ“交 ”为。解决方案¢£ ˆ 的垂直业服务“«⁄ 服务，快确 „业业务 ⁄˘‰需求，˜项 æ“交一需要 Ø 数据能力支。¥ƒ中台¢£核心技术来业 ¢£，技术景 æ，业“«过¡，˜品力ø比台生 ¢£ ¢。来源艾瑞咨询研究院自主研究及绘制。数据中台厂商生态生中 ¡¢£ 协同生态 ⁄¥ 提出中台建设需求提供云基础和咨询服务中台实施交付输出技术工具体系作为生态伙伴参与大型项目中小型项目独立提供中台建设 ⁄¥ 数据能力（非必提出中台建设需求中台实施交付 15©202.1 iResearch Inc. www.iresearch.com.cn ©202.1 iResearch Inc. www.iresearch.com.cn 行业挑战产品化和的平 ¡¢ 来源艾瑞咨询研究院根据公开资料自主研究及绘制。来源艾瑞咨询研究院根据公开资料自主研究及绘制。 ·£融领，SaS理念 ‡£ 人 ⁄¥。是否云¨ 署，是否ƒ§且高˙currency1，是否开，是“断SaS属的要指。当，中台以服务中型为。的数据量 ”数据安Æ的特殊要求，˛¡ Æ公有云的署模式， ‡ currency1项 «‹一次 ⁄£有ƒ§›的式。并且，中台fi其是业务中台分，需要” 业⁄ 有 – 理解，·指 ˚系fl 、数据模等，常需–†方– 配合，如‡ 心做产品，则·£ 等并不· 势。不是业，还是£ 人，都要–入 ¶如何·产品⁄£业模式¨下Æ‚，以„求边际 ¿⁄满定需求的 ”。 »ß的技术理念，核心研发‰‡ 业交的 ¢Ł构，极发生合‚伙伴，分开生等，都是 ¶的¿项。低零代码核心能力 1数据模型¢动 ƒ§页currency1 “«¢‹›fifl –模型†‡«· †‡模型字¶ ‚„数据”fl„联 “«»及模型规‰ ¿« ´ˆ˜¯ fl˘⁄˙数据模型fl‹¨ “ 2 3 4 £⁄¥ƒ ˚¢currency1¸ ˝‰˛˝ˇ fl « ˚¢currency1ƒ § ¢ – 务 Æ « ª«ƒ§API ¢ŁØ‰服务«¸´ˆ˜¯ fl˘⁄ ›fiŒ⁄ 体化 § º ˇŒ º “«æ能 ı« “ łø布产物 œ˛«´ˆ˜¯ ß 动构布线免运费»及配套监控fl˚站能 £currency1化开发务人员在可视化页currency1内ƒ§托拉拽fl¢ 形 ˝ 交互« 而配置˛˝数据源‰数据模型«†‡并执–工“ «质 ƒ§可视化界currency1生了可执–fl计算机研发核心核心研发多行业交付的组织架构零售金融地产政务制造控制开发成本，提升厂商ROIƒ§研核心抽象‰沉淀产品研能 « 升产品基础侧fl稳†性拓性‰适˘性«在改变产品原æ基础功能fl 下«节约研 º 同时«ƒ §与企 IT部门技术架构师协Œ«与技术强fl生伙伴合“« 制†科学合理fl部署¢£«»合理fl投获得œ大报 16 数据中台行业全景 2 数据中台产业实践3 典型企业案例4 数据中台概述1 行业前景展望5 17©202.1 iResearch Inc. www.iresearch.com.cn 需求诊断 £业搭建数据中台应 ⁄¥所ƒ，量§currency1 来源艾瑞咨询研究院自主研究及绘制。随着技术进˝，中台æ“ˇ ´ ，˜ ˆ不是有„业都˜合中台设。中台汇”、的特‰，要求„业已 “¯ ·˘来 ˙œ ‰会有量的数据 ⁄ 。如‡„业˚量不，¯ „业˚量¨ ˜业务数，·数据需求出˘œ，一”一解决，能比·高。中台的特‰，要求„业业务˚不是 Æ一不¯的，也不是‡业务线¸ 无»联的，如‡„业业务非常定 ˝无¯化，则中台设的˛要不。中台为 ˚解决方案的特‰，要求„业有ø 的配套，包括„业、 ¢Ł构等，如„业ˇ有门的数据门业务门，则„业数据设易入“公 ” 业务门都使数据，˜ 都不、设、治理数据。 currency1，中台是一设“，其以层的障¨层的ª ，以公Œ的设障ˆ业务线的使，以当的 £入障˘来的高产出。 „业不是 currency1¸划的，均不 Æ˜合，以中台的模Ł如数、数据Æ¯ 数据治理等先解决当 º 。企业是否引入中台的考量要素 “化«‹数据›fi 业务fl –†模‡· 机制¶‚ 企信息化设度已达较高水 « 务营由多个信息ŁØß 撑« 壁垒明显企已或未来较短时间内æ大 fl 务数据 «˙数据资产值化高企构度高« 部门协“ « 已显 łø 企度企 æ 较 fl配套机制« · 企化数据部门度企 æ多产品线或 « 多元化营部门˙ 线分析¡ 企务全˚ 变« ¡¢æ£⁄性变化« 务线 ¥间æƒ„联 18©202.1 iResearch Inc. www.iresearch.com.cn 整体分析 “字«‹›fi，fl –†‡ ·†， ¶ ¶ 来源艾瑞咨询研究院根据公开资料自主研究及绘制。中台项 æ“ˇ‰，·于„业数化过中， æ‹合不到位。 ª 常 ŁØ Œn 法，˜ 是 «¸划›有ˆ， Ø Œn« ›ºˇ，常为“¨ ⁄ ”。技术出的中台¢£则需 ŁØ Œn 的方法ł。， ‡中台¢ £·为„业Ø 服务œ，‡ ¸划到 ¢再到的 ¨而下法，这其中要æ ª ，要æ生合‚ 。 „业首先要明确的使、景« Ł e›⁄当况«AsŁIs›，ˆ 确定„业接下来一ıœ 的极指，ˆ 将该指 ł分为子指，ˆ 确定数据理⁄ ˚系，最 ø是中台 ˚œ线。一开始这些看¨去 “ ”的动‚，其æ 是中台能ß定、 ˙ 下去˛不的要素。这方式，其æ 以看是“ 原理”以 “ R”·数化型中的 ˚ 。以，„业中台设不是技术º ，·是理º ，是„业的一把手。中台的分 1 一 ˇ有固定方法，要看始情怀例如以数智能力赋能业务，数据驱动的智能„业业务·加智慧。 2 分汇 ⁄筛¿业‰ 要分方法SW 分、链分、波特五力分、波士顿矩阵分、 ŁR‚ 分等。 3 极指 «SMAR S 象化；M”量；A ；Rø» ；期限明确。 4 企业架构 „业Ł构的Æ球 GAF 划分„业的四 »键领；定义„业业务 ⁄ ¢；记录数据产‹构数据理。 5 19©202.1 iResearch Inc. www.iresearch.com.cn 核心方法论 ‚„”»‰ ‚„”¿” ´ˆ” ‚„”˜» 的台生 ¢£·‰ 中台，获得检« ” 出的中台设核心方法ł neØata‰ neService‰ neIØ。„”»‰ ‰的¿质是构算法定义、数据研发到数据服务的一指 ⁄算法，数据、汇”、清洗、加、调动一次，避免不fi的业务场景不fi 门”数据的设，数据为、 –挖的产，而非拖垮业务ı进的隐 ¿。„”»¿» ´ˆ»的¿质是数据即服务。数不fi的系调数据œ 数据库权限限，需要开发人员定不fi的访º接，出 œ还ˇ以追溯到哪些 ⁄报表。数据中台过台化的 /接，一方面为开发屏蔽ˆ 层数据存，Ø 数据查一接，一方面Ø高ˆ数据的理率， ƒˆ 报表到的清晰链œ，Ø 数据开发的友好。来源，艾瑞咨询研究院整理及绘制。 ¡¢ OneID One Model One Service OneData OneModel统一数据构建管理规范†‡ 模«构数据资产 Ø§化currency1标† “ Ø设计«生currency1标“ Ø基‹数据分› OneService统一数据服务 ⁄而fi 制数据 Øfl fl主– 数据服务“ Ø˚†查询‡· AP‡在线服务 Øfl 多源¶构fl数据服务 OneID统一数据萃取 ‚„”‰标»生产 ØID 动化‚‰„”“ Ø–¸元‰–¸规“ Ø标»生产效率 Ø大数据‰服务高可⁄ 技术ˇ门 ¿´“ Ø研‰运时¿«研 ‰运 ´ 升成本 Øˆ˜ ˇ形 fl数据¯˘ ˙„”«人 º¿´“ Ø数据能 ⁄ 升«资源 º¿´ 质量 Ø数据Ø˚治理能 ¨强«数据稳†性得 æ “ Ø数据˚˚性及时性‰准¸ 性得升 20©202.1 iResearch Inc. www.iresearch.com.cn 厂商选型 ¯˘˙¨˘ ¨˚¸ ˝量来源艾瑞咨询研究院根据公开资料自主研究及绘制。 „业·中台¿型œ，人、儿、ø儿§方面进 ¶量。“人”是指„业该¶虑中台¢£的景，如是否有数据景，是否有业景。“ 儿”是指中台¢£的产品中，哪些是开的，哪些是研的；如‡是开的，是否是且ß表˘来趋势的技术œ线；如‡是研的，核心势·哪，开产品的语法、˚«等是否一¡，会不会为带来ø I 人ø的¨乏；ˆ 模Łcurrency1 是松耦合还是紧耦合；产品的使门槛是否，˚«是否良好。“ø儿”是指中台¢£·历史¨，是否有¿ 业的 Æ案例，得ˆ哪些显著 ‡；中台¢£ ¿„业的其他系 «如ER 、CRM等› 是否有 Æ的”接先例，而·æ“中以Ø高率并风险。中台£⁄考量要素 ˜¯ 产˘ ˙¨ 主 ˝ 中 ⁄‹ 部署中 fl产品‰技术« ˛ˇˇ源 ˛ˇ«ˇ 源产品在ˇ源 flfi 度ˇ«未来fl技术 “˙‹ 或研产品« ⁄门 «较ˇ源产品 fl 点或在 ¢currency1«未来fl可˜ 性‰ 度ˇ 「活儿」主 ˝ 中 fl Æ ª «· Æ 技术ª – ª 服务能 ø˘时´ ¢currency1 「人」主 ˝ 中在中 ¡¢£¢currency1已 æfl标 ˛« 点 „ · ŁPØŁM 务数据«内ª部设备数据fl˙” 「事儿」 21©202.1 iResearch Inc. www.iresearch.com.cn 数据管理机制数据中台建˛ˇ始来源公开资料，艾瑞咨询研究院整理及绘制。 „业要 ØŒ式的‡系 ‡ 台´数据中台¯， ƒ 一的数据、理、算服务台，一的数据理是，æ˘œ ¡ 分为五˝1› ˚ ¸ ˝。„业于业务˘ ，梳理核心业务，做到研发、、物、营销、财务、人力等ˆ业务模Ł的Æ覆盖，设数据理、数据质量理、质量评等ø» 理，并责任到人。2›数据资产¡ 。支产归属、产分currency1、产概览、产搜、分、血缘分等Æ能，并Ø ‡¸式文的˛入/出。3›数据˛ˇ¡ 。支 ¶Ł构理、模板理、逻辑模、维模、模型物化、校«以发布 fi˝等Æ能。4› 数据¡ 。数据理是数据，æ˘数据一治理的，需包‹ 数据、解、理、模型理、支数据示⁄搜等Æ能。5›数据 ¡ 。需备质量¸则，¸则校«、质量监控、¸则»联以发布评等Æ能。数据¥ƒ§currency1 ¡¢ 设 œ 产理理 – 合企务Œ 设计数据管理 « º制数据管理 « 明¸数据人 –构 Ø˚fl数据模型数据分布‰数据 ¢£ –基‹ 务Œ研« 规设计核心务 «⁄ 研营 æ制务同务模 –ß ı 企架构›fi设置多数据资产flłø部门« 部门与数据 flłø„Ł« 并» –管理 –ß 数据资产ı ˚†fl分œ –管理«可ƒ§ß型构网Œ 构 – 管理« † 数据资产 –ß ı 务务主– 务˙象 ˙象„Ł 务务ø性fl原设数据标准 –ß ı 务模化管理数据标准 –ß Ł模型管理向数据库主ª 键管理分设计临时”管理数据理 –将企中技术元模型务元模型数据元模型管理元模型 – 炼管理«让企部门能够轻松准¸ 找 ƒ fl数据 –具备元数据管理能 «查看‰ 护数据字典详§信息具备数据血缘分析 łø 分析功能质量理 –ß †‡常见数据质规及 † ‡数据质规 –ß 数据资产全目录扫描ß 质告警及标功能 –ß 创数据质监控currency1标«设†‚ „监控阈值«ß 数据质告警 –模型ˇ„联数据标准‰质规 22©202.1 iResearch Inc. www.iresearch.com.cn 底座技术选型进和应应 ˝ 来源公开资料，艾瑞咨询研究院整理及绘制。中台技术，即广义的数据技术«中台≈数化ª ‰ 数据技术‰数据治理理‰数据营›。由于量业，并不能玩数据，以一需要“ 到 ”的产品¯服务。 £Ø 到服务，一有 œ «1›公有云 ¢£Ø IaS到SaS的Æ套的云、数、智服务，一云为 Ø ，而数⁄智˚ 以¿择云¢£ 有，也以 ¿择开。«2› 分¢£如Cl udera”不fi的数据进合， CØH⁄CØ 套。«3›解决方案¢£，于需求⁄ 理解，利开技术，进由合⁄ 次开发。«4›¥ƒ中台¢£，于开 ‰ 研的方式， Æ链条产品⁄服务。«5›一些新型HA ¢£，过” 数据的进一˝融合，以·轻巧的方式满中 „业的中台需求。 ·技术 ¿择œ，一遵以下原则«1›确有明显势 ß趋势œ，¿择有势的«如Flinkø”于St rm›。«2› 不fi技术ˆ有利弊œ，根据业务、历史Ł构、 £ ˇ 合¿择。«3› £有– 研的， ˚« ，还 ¶ 虑期服务的 ˙ 以 I 人ø的 ¶。 “的«数据‹› 大数据技术集群调度数据接入 Ø erne es Ø arn Ømesos Ø 据 Ø Ø 据据 Ø¡¢ 据 Ø物£¡ 据 Ø⁄¥ƒ§ 数据存储 Øcurrency1 “«‹›fi Øflo –† 据 ETL任务调度数据检索Øe‡as icsearch Ø‡ cene Øso‡r 数据分析（OLAP · currency1¶ Ør id Ø‚‡ic„ho se Øoris ”»currency1¶ Øi‰e ØIm a‡a Ø ¿‡in Ø res o Ø ar„ –† 数据计算 · Ø orm Ø ar„s reamin Ø´‡in„ ”» Øˆa Red ce Ø ar„ 23©202.1 iResearch Inc. www.iresearch.com.cn ©202.1 iResearch Inc. www.iresearch.com.cn 数据治理数据理数据理来源公开资料，艾瑞咨询研究院整理及绘制。来源公开资料，艾瑞咨询研究院整理及绘制。 fi数据中心‹›架构基于统一API访问的元数据服务层数据血缘消息处理血缘清理数据字典连接管理器 DDB 接口 Oracle 接口 MySQL 接口 Nest 接口结构化数据源非结构化数据源数据特征标签管理访问热度数据搜索 MySQL Oracle DDBKafka Redis Neo4j fl数据¥ƒ –† 数据理于确 Æ局指的业务一¡，要包‹数据典« 数据的‹构¶›、数据血缘« 于分 ⁄ 障溯 ›以数据特 « 数据的属 ¶›。常产品分为1›开产品Metacat« ˇ 理数据典›⁄Atlas « ˇ 理数据血缘›；2›£业产品Cl udera avi at r。数据中心” 一Ø A I访º接，数据、数据 †、数据服务等其他的子系都以过A I接获数据。数据理于Ø 、一¡、确、ø 的数据来，以支撑跨门、跨系数据融合，四 »键Æ能为生期理« 数据的层次、»系分 ›、质量理« ƒ 数据质量线⁄评 ı进 ›、›调Æ能« 数据理系业务系 ›以分 Æ能。要解决方案¢£包括I M、In rmatica、Sti S stems、SA 等 ¢，产品，˜产品 ⁄¥ 不，fiœ ‰¢£如友、浪潮等也· 领，不断新，· „业需求。 1.制定编码标准与业务部门共同确定主数据范围，制定编码标准，包括确定分类规范、编码结构、数据粒度、属性描述等。 2.编制编码内容编制符合数据标准的主数据代码库，包括数据检查、数据排重、数据编码、数据加载、数据监控策略等。 3.建设管理平台建设主数据管理平台，实现主数据申请、主数据管理和主数据发布功能、数据清洗。 4.建立管理流程建立标准管理和编码管理的运维组织架构以及考核流程，不断完善主数据管理流程和实现知识转移。实施方法论 24©202.1 iResearch Inc. www.iresearch.com.cn 数据资产管理数据模‹ 理 fl 数据中台的¿质是构 „业公Œ数据层，把原先分、ØŒ式的数合并 Œº、的数据中台， ˚æ“œ 概括为1›¡„¿ ，制数据。 ØS是业务数据进入数据中台的第一，是有数据加的，业务系的数据库权限入手；2› 和业务 ‹，。是业务过的抽象合，划分œ 量盖有业务需求，定 ⁄¥ ；3› ƒ ‹。构 Æ局一¡ 的维表，确维表只存一。维属分为两情况公Œ维属特有维属 ł 两维表，产出œ ø 的维属 ł分 ¥的维表；4›Æ 合实ª。øæ表合的核心是 ˛ 一¡，不fi 的数据不能出˘·fi一 øæ表中；5›模型设，进入模型开发。数据Æ生期理， ØS⁄ØWØ 能有历史数据，ØWS/AØS/ØM需设生期， Ł30 不等； › 用。进数据比”，确数据一¡。来源艾瑞咨询研究院根据公开资料整理及绘制。数据模⁄分层架构 ADS数据˘⁄›ADS层 CDM层 DWS公共汇总› DIM 公共维表 ODS层 ·DS “数据› 公共数据层（· 公共明§›DWD‰公共汇总›DWS）« 负数据¨工与整合 ˚˚性fl 度构可 ⁄flcurrency1 向分析‰Ø计fl明§事 ”»及汇总公共粒度flcurrency1标«主采⁄ 度模思路 –设计 C D M O D S 操作数据层« 构与源ŁØfl 或全数据基º ˚«‚当‹数据准备 «承担基础数据fl记录及历史变化原始数据缓冲›（STG）¨载« 数仓fl 务数据›« 这˚›采⁄范模«基º 与数据源全˚˚fl 构« ˙‹变化fl数据« ⁄数据拉链¨工与存储 A D S 应用数据层«偏向˘⁄fl数据¨工«¡称数据 ›«这˚ ›设计‚˙›fi«贴近˘⁄«设计思想» 度模¸主 25©202.1 iResearch Inc. www.iresearch.com.cn 数据服务数据和应用的 † 数据服务是数据中台的能力出，是数据的