数据质量的治理
发布时间:2023-12-19 21:58 浏览次数:次 作者:admin
有道是:“数据质量是开发同学的红线,是一定要恪守的原则”。如果交付的数据是存在问题的,那么得出的结论往往也就是错误的。
如果用简洁的语言来概括,那么就是及时、准确与一致。及时性,是数据研发的第一道“红线”。通常情况下,我们会设置相应的基线,由每天值班的研发来观察和保障运行情况,数据任务一旦报错,则通知相应负责人处理,或执行降级运行策略。如果上游数据产出存在问题,也能够收集相应的问题清单,与上游共同解决。这是一条基本的执行策略,通常配置任务和安排值班也不会特别费事,因此也是最容易解决的问题。
准确性,是数据研发的第二道“红线”,大体上可以总结为两个特点,即数据的准确性测试、以及数据的准确性监控。
一致性,是数据研发的第三道“红线”,大致可以理解为,提供给下游使用的数据,要有统一的口径和解释。通常情况下,指标是由分析师定义,但实际开发中,业务、产品、甚至是研发自己,也往往会定义一些指标,往往又会因为数据范围的不同,导致结果不一致。比如剔除某几个商品,就会对整体GMV产生影响。因此,不论谁来定义指标,都要有完整的说明文档,否则就是“不承认”的。其次,数据的结果一定要有验证的过程,不论是分析师还是业务同学,人工的校验是必须要做的事情,至少能够让最熟悉数据的同学来验证数据。
通过上述三个角度,基本能够覆盖90%的问题,剩下的10%通常是需要Case by case来看待和验证的。
(部分内容来源网络,如有侵权请联系删除)