logo

Aloudata x 招商银行:基于算子级血缘的变更协同和模型优化应用实践

招商银行以 Aloudata BIG 为基石,形成一套模型设计、数据开发和数据服务的长效管理机制,将现有血缘图谱升级为算子级血缘图谱,实现 99% 的血缘解析准确率,实现元数据应用智能化、链路保障自动化和架构治理长效化。推动数仓快速实现资产数量下降 40%、平均链路缩短 50%;在日常链路保障场景中,自动监测上游变更,自动评估精准到字段的端到端影响,帮助运维人员预防或快速定位数据风险,让上下游协同丝滑衔接。
背景介绍

招商银行一直致力于应用前沿的金融科技提升经营管理与金融服务水平,持续保持金融科技的领先地位和优势。目前招商银行总行数据量已经达到了数十 PB,数据资产规模增长到 10 万量级,每天有几十万个数据处理任务在运行,每月有近 4000 多位用户进行数据开发和分析工作。在当前的业务趋势下,数据加工链路异常复杂,全链路变更协同和数据架构的持续优化面临巨大挑战。

关键挑战
高效开展全链路的变更协同
随着业务对数据的依赖越来越深,数据加工链路关系变得错综复杂,极大地增加了数据变更导致风险出现的概率。基于人工的变更分析和上报代价大、可靠性差,难以避免漏报和通知范围不全,协同成本高。数据质量保障迫切需要更加自动化的技术手段确保全链路高效协同。
持续保障数据架构的先进性
随着数据复杂性指数级增长,模型优化难度加大,传统的专家驱动治理方式成本高、效率低且治理效果难以持续。招商银行迫切需要一种不依赖人工、可持续的主动治理方案,以有效支持数据架构治理工作,达成降本增效目标。
解决方案

Aloudata BIG 主动元数据平台为招商银行成功构建起了从源端到消费端的全链路算子级血缘图谱,将算子级血缘解析技术,应用到变更协同和模型优化等场景中。一方面实现了高效的全链路变更协同,并对数据仓库进行持续优化;另一方面构建了精准、自动的元数据管理体系,支持各中心在模型设计、数据开发和数据服务全流程的长效管理。

元数据应用智能化
落地算子级血缘、代码解构、图谱挖掘技术,将元数据智能化能力推广应用到业务场景中。血缘精细度升级至算子级,支持精准的影响面和溯源分析,提供血缘图谱的二次开发能力,为上层业务应用提供元数据驱动的智能化支持。
链路保障自动化
将变更协同、精准评估、分级保障等全链路质量保障能力沉淀到主动元数据平台中。通过对变更影响面的精准分析,打通上下游协作通道,建立事前、事中、事后的变更协作机制。利用算子级血缘,精准识别重点链路保障的资产范围,确保重点链路资产变更持续“保鲜”,建立重点链路分级保障和差异化研发要求。
架构治理长效化
将数据去重、架构扁平、时效提升等模型优化能力赋能到研发工具和工作中。如:准确量化资产重复度,为计存治理提供科学依据;识别不必要的冗余依赖,缩短整体数仓链路深度,改进数据产出时效;建立数仓模型优化机会发现能力,指导数仓模型优化和架构改进。
客户收益
升级血源图谱至高精准的算子级
提供标准的元数据采集方案和元数据模型,将企业中异构分散的元数据汇集到一处进行管理,实现企业统一的元数据管理和服务,构建一张企业数据资产图谱。
细粒度的血缘解析能力,提供表级血缘、字段级血缘和任务级血缘(包含临时表)可视化图谱,算子级血缘技术支持自动解析字段级加工口径,根据数据处理逻辑细分血缘关系类型:直接血缘和间接血缘,提供精准的字段影响面和溯源分析。
算子级血缘解析成功率达 99+%。量化血缘准确率监控指标,白盒化展示解析错误归因,bad-case 主动发现,不断改进和维持血缘准确率。
全链路变更协同效率 10 倍提升
全面纳管各类数据资产,基于字段级血缘能力自动标注重点场景资产,满足差异化研发和运维需求,减少链路异常风险,提高协同和应急响应效率。
支持自动识别 DDL 和 DML 内容变更,自动评估精准到字段的端到端影响,提供变更事前、事后双保障,帮助运维人员预防或快速定位数据风险,让上下游协同丝滑衔接。
提供“任务血缘代码探索”和“精细化血缘分析与裁剪”功能,让开发人员无需人工分析几千行原始代码,即可快速理解字段加工逻辑和上下游链路关系,十倍提升数据协同效率。
模型优化效率 10 倍提升
在数据链路分析和迁移等场景中,提供“同粒度模型优化分析”等算法分析程序,以智能化应用替代人工重复和低效工作,辅助建模人员进行建模和下游代码改造,让原本需要数十人日投入的模型分析和代码迁移工作,缩短到数人日内完成。
在数据测试场景中,针对新老模型的数据对比和口径对比提供自动化解决方案,实现安全、安心的数据迁移。

即刻开启可信智能之旅

我们的行业专家会第一时间联系您,帮助您了解更多

即刻开启可信智能之旅

我们的行业专家会第一时间联系您,帮助您了解更多