阿里云云原生一体化数仓 — 数据建模新能力解读
发布网友
发布时间:2024-09-28 09:45
我来回答
共1个回答
热心网友
时间:2024-09-29 23:45
阿里云的云原生一体化数仓新增了智能数据建模功能,旨在提升数据仓库的规范化和可持续性。自2009年DataWorks立项以来,它一直支持阿里巴巴集团的数据中台建设,随着业务需求的扩展和内部数据模型的复杂化,数仓团队开始采用智能数据建模,以支持自顶向下的规范化构建,兼容传统的自底向上模式。
过去,数据建模主要依赖线下Excel,这导致规范定义繁琐,数据指标定义效率低,且模型设计和数据开发分离,易导致数据不一致。智能数据建模的出现,通过自动化和规范化的流程,提升了研发效率,解决了线下建模的诸多问题,使模型设计、开发和规范管理更加高效和统一。
该产品基于维度建模方*,适合高速发展、变化快速的业务场景,同时提供关系设计功能,支持ODS(原始数据层)、CDM(公共数据模型层,包括DIM、DWD、DWS)和ADS(应用数据层)的分层结构,以及业务分类、数据域、主题域等概念的清晰定义。通过可视化建模、Excel导入和多语言建模,正向建模可以更直观地设计模型,逆向建模则支持已有模型的导入和转换。
智能数据建模还提供了数据开发简代码生成,根据模型信息自动生成ETL代码,简化了数据开发流程。数据标准和质量规则的自动化关联,确保数据一致性。此外,该功能已经开放售卖,搭配DataWorks专业版使用,为众多企业提供一站式的数据建模解决方案。