企业生产经营过程中产生的海量的数据需要进行集中的规划治理,确定数据标准,清洗历史数据,统一数据口径,确保数据一致性,提高数据质量,成为企业的宝贵资产,不断地为企业创造价值。
ETL产品能够有效帮助企业快速建立数据仓库,数据加工转换并沉淀数据资产,面向企业各个场景提供数据服务,将数据加工处理后分发到下游业务系统或其他异构存储中,从而为企业提供业务系统数据之间的集成以及异构数据源之间的数据传输于一体的一站式的数据处理平台。
针对不同来源、存储类型、数据形态及数据使用要求,提供业务源库数据批量同步、本地接口集成及文件上传等多种数据归集方式,帮助用户简单、高效地实现业务应用数据库、应用程序接口、线下数据、非结构化数据等多源、异构、分散数据的统一归集。
数据加工可拖拽式、流程化的对关系型模型、Hive模型进行宽表构建、数据计算、数据汇总等加工处理,进而实现数据的深度整合、利用及新视图构建,满足企业数据仓库、数据集市、数据中台建设等场景需要。加工处理组件用于实现数据的赋值、清洗、转换、汇总等加工处理。
血缘分析可获取的元数据产生、同步、加工处理链路,自动解析并图形化展现数据融合过程中形成的表级、字段级数据血缘和影响关系,明确数据关联关系及变动影响范围,并输出全链关系图,直观展现数据流向,方便数据异常溯源及数据变更影响范围评估。也可通过“拖拽+配置”的方式手动维护元数据间的血缘、影响关系。支持将自动解析的血缘和手动维护的血缘关系的自动合并、统一展现,展示数据全链关系。
1. 数据源丰富:支持关系型数据库、MPP数据库、非关系型数据库、接口多源异构数据接入。
2. 性能卓越:基于presto+Hadoop的高性能计算引擎,海量数据秒级查询,高效处理,高并发支持。
3. 多重安全防护:统一网关、统一授权、服务健康状态监控、底层代码安全排漏、三员管理、数据加密、数据脱敏,多措并举保障系统安全和数据安全。