核心功能
数据采集
(1)基于CDC技术,提供不侵入业务系统的企业级实时数据同步服务,保障数据时效性、可用性; (2)基于WAL架构下的CKP异常自动保存技术,实现断点续传,面对再复杂的网络状况,也能保证数据传输的稳定性; (3)插件式能力扩展,快速迭代数据采集能力和数据源适配范围。
数据建模
(1)支持逻辑模型、物理模型设计,保障建模流程规范可控; (2)支持模型逆向工程,快速容纳管理企业存量数据模型; (3)融合多个行业最佳实践方法论,提升建模效率。
数据开发
(1)支持WEB SQL的可视化离线/实时任务开发,降低用户学习成本; (2)多种任务DAG组织形式,实现跨流程、跨项目任务依赖,方便支持多种业务场景; (3)丰富的大数据组件,根据资源现状灵活实现多种任务,资源利用率更高; (4)支持数据的开发与生产环境隔离、多人协同开发,更安全、更高效。
数据运维
(1)数据处理任务以DAG组织并监控,任务修复重跑、暂停、kill等操作更优雅; (2)完备的告警体系,支持自定义告警规则和丰富的日志信息,提高运维效率。
数据服务
(1)拖拽式工作流编排,实现复杂api的场景; (2)统一的企业数据共享服务,严格管控数据使用权限; (3)多视角监控及分析服务的使用情况,高效评估数据资产的价值。
数据目录
(1)基于统一的元数据管理,实现数据资产统一管理,支撑数据资产持续增值; (2)基于CWM规范,支持企业复杂异构数据源的元数据自动采集,可根据业务需要扩展元模型; (3)支持数据血缘、影响分析、数仓中无用库表分析、表字段备注信息及标准遵循率分析; (4)企业级数据地图,数据资产生产及分布一目了然,做到易获取、低闲置。
数据质量
(1)覆盖数据资产化全流程进行质量监管和检验,保障数据完整性、有效性、及时性、一致性、准确性、唯一性; (2)内置质量检测规则模板并支持自定义规则,使质量检查场景更丰富; (3)支持与ETL任务关联执行质量检查,及时发现问题数据,减少数据污染。
数据安全
贯穿数据资产化全程,提供对隐私数据的加密、脱敏、权限管理和安全审计等多种数据安全管理措施,全方位保障数据的安全运作。
产品架构
核心优势
毫秒级异构数据同步
基于CDC及any2any机制,实现复网络环境下的实时数据毫秒级同步,轻松应对海量异构数据源,全面覆盖各类数据同步场景。
数据质量闭环管理
支持离线/实时数据的规则配置、自定义质量指标及权重及数据质量趋势监控及报告,满足闭环的高质量数据资产管理需要。
一站式数据开发
全涵盖模型开发、离线/实时开发、运维监控、API开发等环节,支持Jar、shell、python、Spark等多种任务类型,灵活专注。
全域元数据汇集跟踪
支持多源数据采集,多维度管理,基于元数据,提供血缘分析,影响分析,快速定位数据,跟踪元数据变更。
技术兼容开放
兼容开源生态,支持多种计算引擎并可随心切换;兼容多种存储标准,满足多模态数据存储需求。
简单易用 & 多人协作
提供敏捷开发IDE,通过简单的SQL编译,即可让企业拥有大数据开发能力;多人协作设计、开发提高效率,缩短开发周期。
云中立
兼容打通多种公有云,屏蔽各云之间的壁垒,提供一致性的使用体验,保持中立性。
生态开放
对外提供数据基础设施的各项能力,助力实现多种大数据应用业务场景。
应用场景
精益制造
商业流通
医药健康
智慧政务
精益制造
商业流通
医药健康
智慧政务