

证券行业是一个高度竞争和高风险的行业,需要对市场动态、投资者行为、产品生命周期、运营交易、资金清算、信用风控和监管政策等各方面的信息进行及时、准确和全面的分析与决策,对数据平台和指标体系有着重度依赖。
然而,伴随业务数据爆发,数据量和数据需求进一步增长,首创证券内部多源异构数据集成挑战越来越明显,导致难以满足其当前的业务需要。为满足监管与内部合规要求,支撑业务工作决策,其迫切希望打破各应用系统数据孤岛,梳理元数据、主数据,规范数据标准,建立数据模型,提供数据质量保障,实现金融数据使用的最大值。
首创证券内部的多源异构数据集成带来了以下几个典型的关键挑战:
经过沟通,Aloudata 为首创证券制定了一整套完整的敏捷数据分析方案:

1、将外部采集数据、业务数据库数据(MySQL、Oracle、SQL Server 等)以及对象存储数据统一通过 PDS(基础数据视图,即业务库源表的映射)方式映射到敏捷数仓中,无需做一对一的数据复制,无需构建传统数仓的 ODS 层。
2、基于 PDS/VDS 定义新的 VDS(逻辑数据视图,即定义了数据视图的取数逻辑),其中 DWD 层的视图进行物化并保存历史数据(用于数据的历史追溯和分析),之上的 VDS 定义作为数据应用层(按需物化),过程中无需关心数据存储和计算调度等细节,也无需物理拷贝数据,可多层嵌套,直到定义出目标场景可用的虚拟数据集。
3、基于逻辑数据视图进行统一语义模型和指标定义,一方面实现了指标口径全局一致,另一方面通过自动化的指标生产规避了大量的人工 ETL 工作,并通过 API/JDBC 开放化接口对接外部的报表、分析工具及各类应用,实现数据和外部系统的共享。
4、根据用户访问需求,配置投影加速策略,及由系统根据用户查询历史,自动编排物理链路,智能构建加速策略,实现外部业务数据查询的快速响应。
微信公众号
浙公网安备 33010602011980 号