logo

NoETL 助力首创证券轻松打通数据集成与分析全链路

基于 Data Fabric 理念的 Aloudata AIR 逻辑数据平台、Aloudata CAN 自动化指标平台,能够轻松实现企业全域数据的集成整合、指标定义及业务自助分析。数据分析人员不再受到“数据孤岛”限制,通过逻辑化集成整合,零数据搬运轻松实现 10+ 个不同数据源的快速、准确融合。凭借平台的指标“定义即生产”,“定义即服务”能力,分析人员能够将指标交付速度做到从周快进至分钟,利用自适应查询加速能力,1s 查询响应率可达 95%,存算成本节约 70% 以上 。

“Aloudata 开创性地提出了‘NoETL’思路,以 NoETL 为核心理念构建的敏捷数据分析解决方案,一举解决了企业数据集成、数据加工、指标定义和指标分析全链路的顽疾,相比传统数仓方案在实施周期和使用成本方面下降了一个数量级。借助该项目,首创证券成功落地国际领先的 Data Fabric 实践,构建了数据随时就绪的能力,为企业决策和运营的数智化转型升级奠定了坚实的基础。”

——首创证券股份有限公司首席信息官

背景介绍

证券行业是一个高度竞争和高风险的行业,需要对市场动态、投资者行为、产品生命周期、运营交易、资金清算、信用风控和监管政策等各方面的信息进行及时、准确和全面的分析与决策,对数据平台和指标体系有着重度依赖。

然而,伴随业务数据爆发,数据量和数据需求进一步增长,首创证券内部多源异构数据集成挑战越来越明显,导致难以满足其当前的业务需要。为满足监管与内部合规要求,支撑业务工作决策,其迫切希望打破各应用系统数据孤岛,梳理元数据、主数据,规范数据标准,建立数据模型,提供数据质量保障,实现金融数据使用的最大值。

关键挑战

首创证券内部的多源异构数据集成带来了以下几个典型的关键挑战:

数据孤岛现象严重
上万张数据表,分散在 10 多个不同的业务系统、数据库和平台中,导致企业数据孤岛现象尤其严重。
数据口径不一致
开发链路不一致,指标口径缺乏有效管理,导致同一业务指标从不同数据表或服务中取得的数据不一致。
灵活性和敏捷性不足
证券市场变化迅速,需要快速调整分析策略,现有数据体系情况无法满足需求。
口径溯源及影响面评估难
传统数据分析解决方案难以打通整体的数据血缘,导致指标口径溯源困难;在调整数据链路时,也很难看清对下游的影响面。
数据使用与分析效率低下
投资经理对不同产品差异化分析的需求越来越高,但投资经理缺乏IT知识背景,很难通过数仓表自助完成数据提取,数据使用最后一公里痛点明显。
解决方案

经过沟通,Aloudata 为首创证券制定了一整套完整的敏捷数据分析方案:

1、将外部采集数据、业务数据库数据(MySQL、Oracle、SQL Server等)以及对象存储数据统一通过 PDS(基础数据视图,即业务库源表的映射)方式映射到敏捷数仓中,无需做一对一的数据复制,无需构建传统数仓的 ODS 层。

2、基于 PDS/VDS 定义新的 VDS(逻辑数据视图,即定义了数据视图的取数逻辑),其中 DWD 层的视图进行物化并保存历史数据(用于数据的历史追溯和分析),之上的VDS定义作为数据应用层(按需物化),过程中无需关心数据存储和计算调度等细节,也无需物理拷贝数据,可多层嵌套,直到定义出目标场景可用的虚拟数据集。

3、基于逻辑数据视图进行统一语义模型和指标定义,一方面实现了指标口径全局一致,另一方面通过自动化的指标生产规避了大量的人工 ETL 工作,并通过 API/JDBC 开放化接口对接外部的报表、分析工具及各类应用,实现数据和外部系统的共享。

4、根据用户访问需求,配置投影加速策略,及由系统根据用户查询历史,自动编排物理链路,智能构建加速策略,实现外部业务数据查询的快速响应。

客户收益
10+ 数据源、上万张表 2 周集成
数据虚拟化引擎,逻辑化实现企业全域数据的统一整合。
指标交付速度从周快进至分钟
自动化指标平台,实现“定义即生产”,“定义即服务”。
全局存算成本节约 50%
自适应加速引擎,按需物化并自动回收无效预计算数据。
指标口径 100% 一致
统一业务术语,消除指标歧义,降低指标的沟通理解成本。

即刻开启敏捷数据洞察

我们的行业专家会第一时间联系您,帮助您了解更多
立即咨询

即刻开启敏捷数据洞察

我们的行业专家会第一时间联系您,帮助您了解更多
立即咨询