kettle 采集API接口数据,入湖(入库),部署Windows同步任务

发布网友发布时间：2024-10-04 13:17

共1个回答

热心网友时间：2024-10-04 14:00

本文旨在阐述如何使用kettle进行数据采集，特别是从API接口获取数据并将其导入数据湖（或数据库）的过程。本教程以kettle7.0为例，适用于具备直接读取能力且无需token的GET接口，接口响应数据格式为JSON。

在开始之前，您需要在数据湖建立与API接口数据相对应的表，并在kettle中新建一个转换流程。在kettle的DB连接设置中，建立与数据湖的连接，然后选择“生成记录”功能。

随后，您需要在转换流程中使用REST_CLIENT组件，配置接口相关参数，包括URL、HTTP方法（GET）、接口返回数据类型（JSON）以及任何必要的接口头参数。接下来，利用JSON INPUT组件配置结果字段名、字段类型，确保与数据表中的字段一致，避免数据导入错误。

在字段选择步骤中，配置需要插入数据湖的列。然后选择插入/更新操作，设置查询关键字（主键）及更新字段。注意，由于kettle7.0的BUG，更新字段的顺序必须与表中字段的顺序一致，否则将导致数据无法正确插入。在数据量较大时，插入/更新操作可能会消耗较长时间。

对于需要多个API接口数据同步至数据湖的情况，可以创建一个新的作业，包含上述转换流程，并将多个API接口的数据导入操作整合在一起。

为了实现定时任务，您需要在Windows系统上部署脚本。首先，新建一个.bat文件（例如test.bat），并添加以下内容：首先切换到kettle的工作目录，然后进入kitchen.bat所在目录，最后执行kitchen.bat脚本并指定作业名称，即为数据导入任务。设置日志级别和输出目录。

接着，通过Windows任务计划程序新建任务，配置任务名称、触发器（如指定执行频率和开始时间），以及操作（执行之前新建的test.bat脚本）。设置完成后，定时任务即配置完成。