ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

华为数据之道:以数据为纲的企业数据治理与数字化转型实践

华为数据之道:以数据为纲的企业数据治理与数字化转型实践 很多企业做数字化转型第一件事就是买湖仓一体、建数据平台、拉数据管道结果三个月后老板问“数据到底带来了什么改变”没人答得上来。我见过太多这样的项目也见过少数真正跑通的样本。华为的实践不一定是最花哨的但它的逻辑是目前我见过最完整的——《华为数据之道》讲的不是某个工具怎么配而是“以数据为纲”把数据当成企业主干来经营的一套方法论。这篇文章把我这些年读这本书、再对照自己项目落地时的体会拆开来讲适合正在做数据治理、数据中台、数字化转型规划的人参考也适合想搞懂数据工作到底在解决什么问题的业务负责人读一读。1. 数据工作为什么总在“打乱仗”先从问题倒推华为的起点1.1 “脏数据”不是态度问题是机制问题我在很多企业看到同一个现象客户名称在CRM里叫“深圳市华科电子”在ERP里叫“深圳华科电子有限公司”在财务系统里又叫“华科电子”。三个系统三个写法业务人员早就习惯了每次对账就靠人工脑补。大家的第一反应是“录入的人不认真”但换多少人都没用因为问题根本不在态度而在机制数据在源头就没有统一的规则每个系统各自为政数据靠Excel传来传去时间一长必然腐烂。这个问题在所谓“大数据”时代反而更严重。过去数据量小脏了还能人工修现在接入了各类外部数据和设备数据比如从电商平台抓取的淘宝商品数据、从传感器采集卡里拿到的时序数据量一上来靠末端清洗根本洗不完。华为在《华为数据之道》里反复强调一个观点数据质量不是靠“事后清洗”解决的而是靠“源头治理”解决的。源头是什么是业务动作发生的那一刻系统有没有强制校验、有没有统一编码、有没有责任人在场。脏数据止不住是因为源头没有人对“这个字段该长什么样”负责。1.2 华为数据管理的最小闭环从数据Owner到数据责任人书里最让我印象深刻的是“数据Owner”机制。很多企业建了数据团队但数据团队没有权力要求业务部门改流程于是数据治理变成IT部门的独角戏。华为的做法是把每条关键数据都指定一个业务Owner这个Owner对数据定义、数据质量、数据使用结果负责而不是让IT去背锅。最小闭环是这样的数据Owner由业务线的高级主管担任负责回答“这个数据代表什么业务含义”数据责任人由该业务领域的骨干担任负责维护数据标准和数据质量规则IT数据工程师负责落地存储、加工和接口。三者绑在一起缺一个都会断。我在实际项目里见过很多“数据责任人”形同虚设的情况因为公司只发了一个任命邮件没有把这部分工作纳入考核责任人自己都没有数据字典更别说维护了。1.3 数据质量差的直接代价一个订单场景的观察有人觉得数据质量差就是“报表不好看”其实代价远不止这个。我参与过一个制造企业的项目核心问题是物料编码在不同工厂不统一。同一个螺丝A工厂编码是“LX-001”B工厂编码是“SCREW-M3”总部做库存平衡时发现系统里显示A工厂缺料实际上B工厂有一大批同样的料只是因为编码不同系统不认。于是采购多买了一大批仓库堆成山。销售预测也一样。市场部用一套口径供应链用另一套口径两边的“销售额”数字对不上计划就永远在拍脑袋。这种问题在数据领域有个高频搜索词叫“数据不一致的原因”但原因根本不是工具而是数据定义、数据责任和数据流程在业务侧没有统一。华为的做法是先定规则、再建系统而不是系统上完以后再补规则。数据不一致的根子十有八九在组织机制不在技术。2. 数字化转型不是IT项目而是“业务数据”的双线重构2.1 数据入湖不是把数据搬进去而是把数据“接生”出来很多团队理解的“数据入湖”就是写一堆抽取脚本把各系统数据灌进湖里。结果湖里什么都有但没人知道哪些数据能用、哪些数据已经过期、哪些数据是两个系统重复的。华为在书里把入湖讲得很重入湖不是搬运是“接生”。数据在产生的那一刻就要带上完整的业务含义、数据标准、Owner信息和质量标签否则进了湖也只是换了一个地方堆积。我在工业现场见过最典型的反例。项目组用Modbus、OPC UA协议去读取PLC、传感器、数控机床等设备的运行状态数据数据采集卡每秒传回几百个点位。采集是成功了但每个点位只存了一个数值没有任何上下文说明这个点位对应哪台设备、什么参数、什么单位、什么采集频率。结果想判断设备状态时根本不知道历史数据里哪些是正常波动、哪些是故障前兆。数据湖变成了数据沼泽。华为的做法是先把元数据模型建好设备、测点、采集规则、质量规则都登记清楚了再让数据进来。顺序不能反。2.2 业务对象、过程与规则的数字化从采购到生产到交付《华为数据之道》里有一个“三类数字化”的框架业务对象数字化、业务过程数字化、业务规则数字化。我一开始觉得这是概念包装做项目多了才发现是真的有用。业务对象是核心实体比如客户、产品、采购订单、设备业务过程是这些对象经历的活动比如从请购到审批到入库业务规则是决定业务走向的判断逻辑比如信用额度检测、价格校验。这三类东西如果不分开就会混成一锅粥。比如设备管理只知道设备编号和位置是“对象数字化”但设备的点检记录、维修历史、备件更换记录都是“过程数字化”而“什么条件下触发预防性维护”是“规则数字化”。华为在做数字孪生的时候其实是先把对象、过程、规则都结构化然后才谈得上用数据驱动业务。我也用这套框架去管理自己的项目先列出核心业务对象再画出它们的生命周期过程最后把判断规则显性化数据架构自然就清晰了。2.3 为什么数据是“树干”不是“旁路产物”大多数企业的系统关系是“业务跑在系统里数据是副产品”。订单在ERP里跑完了系统顺便存了一些数据流程在OA里走完了数据库里多了一些记录。数据永远是旁路产物系统升级、业务调整、组织变动之后数据历史就被切断了。华为的视角完全反过来数据是树干业务系统是长在树干上的枝叶。系统可以换、流程可以改、组织可以调但数据要连续、要稳定、要作为企业资产永续经营。这也是“以数据为纲”的真正含义。我特别认同这句话因为在项目里见过太多次“老系统下线数据就找不到了”的惨案。数据不是哪个系统的私有财产它是企业整体的公共资产。谁掌握了数据主干谁就掌握了数字化的话语权。3. 《华为数据之道》里最值得反复读的五个设计逻辑3.1 信息架构先行数据地图比数据湖更早很多企业一上来就买湖仓产品却连“自己有哪些数据”都说不清楚。华为把信息架构放在整个数据工作的最前面先有数据资产目录再有数据湖。数据地图不是画一张好看的图而是要回答几个硬问题企业有哪些核心数据域每个数据域下有哪些实体每个实体有哪些关键属性属性由哪个系统负责生产、哪个系统负责消费回答完这些才能设计数据分层。我在项目里通常先从三个问题开始盘点财务要什么数、生产要什么数、销售要什么数这些数来自哪个系统这些数的定义是否一致。盘完之后再设计贴源层、明细层、汇总层、应用层顺序不能乱。很多团队跳过了信息架构直接做物理表设计结果做到一半发现同一份数据在三个地方有三种主键返工成本极高。数据地图这东西不投入时间后面就会花更多时间还债。3.2 数据分类分级与确权责任先于技术数据安全已经是绕不开的话题但很多公司的数据安全只是采购了一套加密工具对数据资产本身没有任何分类分级。华为把数据分了几个大类比如客户数据、研发数据、供应数据、财经数据每个大类又分公开、内部、机密、绝密等级别。有了分类分级才能谈权限、谈加密、谈脱敏。这个逻辑往小了说就是“责任先于技术”。如果不知道数据是哪个业务域、哪个Owner负责、什么敏感级别那再牛的加密技术也是摆设。我在项目里就遇到过财务数据、生产数据、客户数据混在一个表空间权限全部放开理由是“大家都要用”。等到真出问题的时候连责任人是谁都查不到。数据分类分级不一定做得很细但至少要把敏感数据识别出来把责任落到岗位上。3.3 数据服务化从“要数据”到“数据找人”传统模式是业务部门提需求、IT排期开发报表一个需求排队排半年。华为的做法是把数据变成服务通过数据API、数据服务目录让业务人员在一定权限下自助取数。这里的一个关键动作是服务化封装而不是把数据库连接直接暴露给业务。数据服务层要做行权限、列权限、脱敏、限流还要留审计日志。我后来见到不少开源的“大数据行、列权限设计”方案很多其实就是受了这套思路的影响。在中小团队里我不建议一上来就搞几十个微服务但可以从“把高频查询封装成API”开始比如销售日报、库存快照、设备运行状态查询。把这些做成服务之后业务部门可以自己接IT不用天天做低价值的取数活。数据找人本质上是把数据消费的入口标准化让数据在正确权限下高效流动。3.4 指标字典让同一个数字在不同部门长一个样“同一个指标在不同部门口径不一致”是数据领域最普遍、最顽固的问题。销售额到底含不含税、客户数到底按注册算还是按成交算、设备OEE的时间基数到底按日历时间还是计划时间这些口径问题不解决报表做得再漂亮管理层也不敢信。华为的指标字典把指标拆成指标分类、指标名称、业务口径、计算算法、数据来源、统计维度每个指标都指定责任主体。我自己的习惯是先用一页纸把公司最核心的20个指标定义清楚财务、运营、销售各派一个人坐下来吵三天把口径吵清楚了再建指标表。这个环节省不得因为指标定义一旦错了后面所有可视化大屏、管理驾驶舱全是误导。ECharts这类数据可视化工具做得再好也只是把错误的数据画得更好看而已。3.5 数据运营数据不是项目交付物而是持续运营物很多公司把数据平台建设当作一个项目上线验收就算完事结果半年后数据质量又崩了。华为强调的是持续运营有数据质量规则有监控有数据被消费的指标有Owner定期review。数据不是一次性的交付物它像产品一样需要持续迭代。我在团队里推行过很简单的运营动作每周出一份数据健康报告包含核心表的行数变化、空值率、唯一性校验结果、近7天被下游调用的次数。谁的数据谁负责质量下降会自动触发提醒。一开始业务部门很抗拒觉得被监控了但跑了一个月后大家开始主动改源头数据了因为谁都不想自己的数据亮红灯。数据运营不需要一开始做得很重但要形成闭环有问题、有人管、能追踪、能改进。4. 一线落地时最容易翻车的环节与我的应对经验4.1 数据确权经常变成“谁都不想要”的皮球理论上数据确权很简单每条数据指定一个Owner。实际上落地时业务部门的第一反应是“这数据不归我们管是IT生成的”。特别是那些由系统计算出来的数据比如库存周转率、设备综合效率业务部门觉得这是IT算的IT觉得这是业务定义的最后没人认领。我试过比较有效的办法是不要抽象地谈“确权”而是拿具体的经营问题倒推。比如把库存周转率算错了最终背KPI的是供应链负责人设备OEE不准影响的是厂长对产能的判断。就用这个KPI来锚定Owner而不是问“这个数据集归谁”。再不行就把数据Owner纳入公司级评审会议让高层明确“数据质量是业务责任不是IT责任”。确权不是行政动作而是把数据责任装进现有的管理机制里。4.2 数据质量规则设得太细反而跑不动刚做数据治理时我特别想把所有质量规则都建起来完整性、唯一性、准确性、一致性、及时性每个字段都校验。结果第一个月就崩了每天产生上千条告警真正需要处理的没几条团队疲于奔命。后来我学到一个词叫“关键数据元素”只对影响业务的关键字段做质量规则。比如设备数据里的“设备状态”字段必须合法、采集时间戳不能为空、数值范围不能超限财务数据里的“金额”字段必须有值且通过校验。其余字段先不管。规则从少到多覆盖面和业务价值同步扩展。少而准的规则比多而全的规则更容易长期坚持。先把最容易出问题的核心字段守住数据质量就有了基本盘。4.3 全量明细直接展示一个桌面应用卡顿给我的教训数据平台做出来之后最容易被业务吐槽的就是“慢”。“数据可视化大屏”转半天出不来Excel导出一万行就卡死业务根本不想用。我印象很深的一次是同事用Qt写内部数据查看工具刚开始用QTableWidget绑定上万条记录界面卡得没法看。后来改成QTableView配合自定义的QAbstractTableModel视图只加载可见区域的几十行数据滚动时动态取数整个体验才顺了。这个问题的本质不是Qt而是“不要在展示层加载全量明细”。数据平台也一样页面要的是聚合结果不是原始全量数据。大屏、报表、自助分析都应该走汇总层或者预聚合结果而不是让数据库把几百万行明细查出来再画图。数据可视化工具本身解决的是表达问题数据量大导致的性能问题要在架构层解决。一次卡顿业务就会给平台判死刑后续推广很难翻身。4.4 没有数据Owner的“数据湖”就是数据沼泽这句话我是在项目踩坑之后才真正理解的。我们建过一个湖接入了几十个数据源结果半年后大量表没人维护有的表每天还在跑任务但下游已经没人用了白白消耗计算资源。有的表数据质量已经烂了但没人敢删因为不知道还有没有部门在用。整个湖越来越重越来越没人信。后来做了一次彻底的数据资产盘点每个表都必须登记Owner、用途、下游消费者、数据质量状况半年没有下游消费的表直接下线没有Owner的表先冻结再进入确权流程。数据备份与恢复策略也因此清晰了很多“僵尸表”根本没资格进备份清单。数据湖本身不会产生价值只有被治理、被使用、被运营的数据湖才会。与其让湖里塞满垃圾不如先把一个域做干净。5. 把华为的骨架移植到中小企业需要做减法的地方5.1 小团队不需要照抄“七层架构”华为的体系很长有信息架构、数据湖、数据服务、数据安全、数据运营等等。但中小企业如果照抄大概率会在三层就夭折。小团队的优势是业务链路短、决策快应该做的是“最小可用数据底座”而不是追求大而全。我建议从三个核心域开始财务域、销售域、生产或交付域。每个域只做三件事梳理核心对象、定义核心指标、打通关键流程。比如销售域先把“客户-订单-回款”这条主链路的对象和指标定义清楚再做渠道分析。不要一上来就建十几个主题域因为每个域都需要业务投入精力去定义和维护域越多责任真空越多。5.2 先建指标树和数据目录再考虑湖仓一体我接触过一些中小企业花了大量预算买湖仓一体产品结果仓库里没有数据产品变成了昂贵的摆设。原因很一致忽略了最前面的数据目录和指标树。技术底座再牛也得有清楚的业务问题给它输入。实际操作可以这样第一周找财务、销售、交付三个部门的核心负责人各列20个他们每天最常看的业务指标第二周把这些指标的口径统一形成指标字典第三周反向梳理指标需要的数据表。这个过程不需要任何大数据平台用Excel都能启动。等指标树清晰了再把数据从各个系统汇聚到数仓甚至用开源方案实现可视化和自助查询。我现在还坚持这个顺序先有数据地图再有数据底座。外部数据集也是一样不是所有数据都必须来自内部系统公开数据集、行业数据集、第三方数据买回来也先要做目录登记否则很难判断能不能用、怎么用。5.3 一场数据治理启动会的正确开法启动会开不好项目就输了一半。我最怕听到的是IT负责人上来讲数据中台架构、湖仓选型、实时数仓台下的业务总监一个个刷手机。正确的开法是摆事实把客户编码不一致的数量统计出来把库存报表对不上的截图投出来把销售和财务对账耗时一周的流程讲清楚。让业务部门自己觉得痛治理才有动力。会上要给每个核心数据域指定Owner并且明确Owner不是顾问、不是协调人是要为数据质量背责任的。这个动作必须在会上做而且要记入会议纪要并追发任命文件。没有这个仪式感后续推动会非常吃力。启动会还应该约定第一个里程碑比如“一个月内统一客户主数据”而不是“年底前建成数据中台”。小步快跑比画大饼有效。5.4 对个人职业成长的启发数据思维不是IT专属技能读《华为数据之道》的过程中我有一个明显的感受这本书里的方法未必全部适合小团队直接落地但它的思维方式对每个人都适用。无论你是产品经理、运营、财务还是HR都会遇到“数据对不上”“指标说不清”“报表没人信”的问题。学会用Owner的视角看数据、用源头治理的思路找原因、用指标字典的方式统一口径这些能力不会因为不在一线大厂就派不上用场。我自己的习惯是每隔一段时间重读一遍这本书的目录然后对照手头项目问三个问题我们现在有没有人真正为每个数据集负责核心指标的定义是不是只有一个人说得清如果明天换一套系统我们的数据历史还能不能继承这些问题听起来基础但每次都能暴露出新的短板。数据这件事不怕起步晚最怕一直绕开基本功天天做数据搬运工而不做数据经营者。
返回列表