问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

从零开始的 dbt 入门教程 (dbt-core 基础篇)

发布网友 发布时间:2024-10-21 08:09

我来回答

1个回答

热心网友 时间:2024-11-16 19:44

最近一直在处理数据分析和数据建模的任务,接触到了dbt等数据分析工具。由于国内关于dbt的详细资料不多,我计划写一系列关于dbt的文章,本文是系列的第一篇,主要介绍dbt的基本概念,并指导你如何配置dbt连接远端数据库,运行第一个数据模型。

一、数据分析前置概念

1.1 什么是dbt?
DBT(Data Build Tools)是一种数据转换工作流工具,帮助数据分析师将原始数据加工组合,满足复杂的数据分析需求。dbt的作用类似于厨师,将原始数据(食材)加工成有用的数据模型(菜肴)。

1.2 dbt core与dbt cloud的区别
dbt core和dbt cloud是两种不同的服务模式,前者是开源本地化搭建,后者是SaaS付费服务。本文将从dbt core的视角出发。

1.3 什么是dbt adapters?
dbt adapters是dbt的适配器,用于连接不同的数据库。适配器提供标准化的接口,让你可以使用相同的SQL语法与不同的底层数据平台交互。

1.4 什么是ELT和ETL,它们区别在哪?
ELT和ETL是两种常见的数据分析模式,它们的区别在于数据处理流程中的步骤顺序。

1.5 Dbt,bigQuery与Fivetran的作用
理解ELT(Extract, Load, Transform)和ETL(Extract, Transform, Load)的概念有助于更好地理解这三个工具在数据处理和分析中的角色。

1.6 dbt负责的数据转换,而Fivetran也能做数据转换,那为什么还需要dbt?
Fivetran负责将数据从源头搬移到数据仓库,而dbt则负责在数据仓库中进行进一步的处理和建模,以便更轻松地进行复杂的查询和分析。

二、dbt环境准备(以Python为例)

2.1 Python版本注意
推荐安装Python 3.8或3.9版本,避免安装3.10版本,因为可能会出现版本冲突问题。

2.2 安装dbt core
安装dbt core可以使用pip、docker、homebrew等方式。

2.3 安装dbt adapters
安装dbt adapters时,会默认安装与之关联的core包。以bigQuery为例,执行命令安装适配器,然后检查安装包的版本信息。

三、初始化dbt

4.1 通过命令
初始化dbt项目有两种方式,一种是直接通过命令,另一种是使用官网模版项目。

4.2 使用官网模版项目
推荐使用官网的模版项目,因为模版项目包含了模拟数据和模拟的数据模型,可以让你从零开始。

四、链接数据库

5.1 创建profiles.yml文件
在jaffle_shop项目下创建profiles.yml文件,并粘贴相关配置代码。

5.2 解释下配置
解释了配置文件中的各个字段含义。

5.3 检查链接是否成功
执行dbt debug命令检查项目与数据库的链接情况。

五、dbt命令注解

介绍了部分dbt命令的注解,例如test命令。

六、dbt视图(view)和表(table)的区别

介绍了dbt视图和表的区别,以及如何在模型文件中设置生成表而不是视图。

文章转载自:听风是风

原文链接:cnblogs.com/echolun/p/1...
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
...结构的施工分包给其他单位那么是不是EPC总承包就不能分包 Win11玩不了地平线4如何解决_Win11玩不了地平线4怎么办 Win11玩不了地平线4如何解决_Win11玩不了地平线4怎么解决 地平线5警告显卡内存过低怎么办 极限竞速地平线5闪退怎么解决 极限竞速地平线5闪退解决方法 怎样册除手机屏幕上(精品游戏)图标 烧结普通砖有哪些 烧结普通砖都有哪些 ...4年后的年龄与弟弟3年前的年龄和是35岁。今年哥与弟各几岁??_百度... ...等于弟弟7年后的年龄,哥哥4年后与弟弟3年前的年龄的和是35岁。哥哥... 淡竹1至2公分的那里有 安吉毛竹市场在哪里 毛竹价格多少钱一棵?毛竹如何种植? 荣威天窗复位怎么设置 乔山跑步机的正常寿命是多少 乔山跑步机是全国联保的吗 想买一辆10万左右的轿车,要带倒车雷达和天窗,老板们推荐推荐 长发怎么扎花苞头 扎花苞头 谁知道这个在淘宝很有名的模特叫什么(附图) 比基尼泳衣泳装女 美容冠恢复时间要多久 我用手机观看yy和快手都出现空白没有图片和字会不会与手机内存不足有... 50万货款5年年率利0.4每月还多少? 央行降贷款利率0.4个百分点20万5年少交多少钱 小名家买了一套房12万第一年首付3万从第2年起付5000元和上一年的余额... 0.4的利率折合一年是多少 有没有关于穿越医女的小说 12万人民币存在邮政储蓄存36年本息一共是多少. 邮政12万利率是3.06%请问利息是多少 python查询实例有多少方法 python3.7,django 2.21,for...in...Python int too large to convert... ...可以快速的提高英语水平学习英语起来又轻松点 核桃苗的修剪后空心进水怎么办 在Mac电脑上安装新字体的方法有哪些? 至今为止最好用的AI生成PPT工具-Gamma 我要做4.5厘米厚的压克力大字!价格多少? 我今年初一急求一些英语演讲稿 马上就要比赛了 可是题目太多写不完题材... ...钱包或一些别的实用品的方法,要附图片,不然我不会。 出售烫金纸 委婉安慰失去亲人的话经典句子节哀顺变慰问朋友失去亲人的短信 ...like my mother的英语演讲稿。160个单词左右。。 ...WiFi是之前用台式电脑设置的,之前还没有设置密码,现在我想用笔记本电 ... 小小和大大:爷爷的剩饭剩菜游戏信息 ...又启动,然后弹出这个界面。接着继续重启报警,怎么解决 ...登录的用户名为Administrator,昨天设置了一个密码,再次开机时输入昨 ... 开电脑前,有个开机密码,用administrator这个帐号进去了,如果正常关机... dnf弹药属于 物理还是魔法啊 称号选 力 还是 智啊???我... 5款低调有品位的小众香氛品牌推荐 乐高玩具拼图里边的数量都够吗?