开源 ETL 工具,在 2026 年已经不是「选一个平台包打天下」的局面。今天常被一起提起的 Kettle、Apache Hop、Airbyte、NiFi、dbt,分别解决数据链路上的不同环节,而且它们的许可条款在过去两年里变动频繁 – 有的被收购换了东家,有的从开源许可改成了受限许可,还有一个已经退役却仍出现在大量旧文章的推荐名单里。本文按公开资料梳理它们各自的定位、许可现状与在中国落地时的实际问题。
要点速览
- Talend Open Studio 已于 2024 年 1 月 31 日退役,不应再出现在任何 2026 年的选型清单里。
- Pentaho 于 2026 年 6 月被 LEO Software(Constellation Software 旗下运营集团)收购,此前属 Hitachi Vantara;V11 于 2026 年 5 月 15 日发布。pentaho-kettle 代码仓库采用 Apache 2.0 许可。
- Apache Hop 是 PDI / Kettle 的社区分支,由原 PDI 贡献者离开 Hitachi Vantara 后创建,采用 Apache License 2.0,保留了 Kettle 的转换模型。
- Airbyte 核心已于 2025 年 7 月转为 Elastic License v2,Airbyte 协议与连接器开发套件仍为 MIT;提供 600 多个连接器。
- dbt Labs 于 2026 年 6 月把基于 Rust 的 Fusion 引擎开源并并入 dbt Core v2.0。
- 许可条款可能在同一个工具内部不一致 – 核心、连接器、协议各自适用不同许可,选型时要逐层看。
利益声明:本文作者所在公司开发的 iModel 基于 KNIME 开源内核二次开发,属于可视化数据准备与分析工具,与本文讨论的数据工程类 ETL 工具存在功能重叠。为此,文中对各工具的局限按同一标准列出,不做优劣排名,所有许可、版本与收购信息均附出处,核实日期为 2026 年 9 月。
开源 ETL 工具:先分清 ETL 不是一个环节
把这几个名字放进一张表里比「哪个最好」,得出的结论通常没有意义,因为它们覆盖的环节不同。更实用的分法是按数据链路拆成四段:
- 抽取与加载:把数据从源系统搬到目的地。Airbyte 是这一段的典型。
- 转换:在目的地里把数据算成可用的形态。dbt 只做这一段,且只在数据仓库内做。
- 可视化开发:用图形界面搭建转换流程。Kettle 与 Apache Hop 属于这一类。
- 编排与流转:调度多步骤任务、处理实时数据流。Airflow 与 NiFi 各管一头。
多数团队最终会同时用两到三个,而不是挑一个平台包办。这一点在选型会上先说清楚,能省掉后面很多无谓的比较。
逐个介绍:定位、许可与局限
Pentaho Data Integration(Kettle)
Kettle 是国内用得最久的一款开源 ETL 工具,图形界面搭转换、拖步骤连线的模式培养了一整代数据工程师,中文资料的存量也远超其他几个。它的变数在归属:Hitachi Vantara 在 2023 年 11 月推出 Pentaho+ 平台后,社区版的投入明显减少,重心转向付费的企业版;2026 年 6 月 Pentaho 又被 LEO Software 收购,V11 于同年 5 月发布。对已经把大量作业压在 Kettle 上的团队,需要关注的不是功能,而是社区版还能走多久。
- 中文资料与国内实践积累最多,招人相对容易
- 纯 Java,部署简单,内网离线环境友好
- 图形界面搭转换,不写代码也能上手
- 代码仓库采用 Apache 2.0 许可
- 社区版投入减少,新功能集中在付费企业版
- 两年内经历平台重组与易主,长期路线不确定
- 架构偏传统,对云原生与多引擎执行支持有限
- 作业文件是专有工程结构,跨平台迁移需重建
Apache Hop
Apache Hop 是 PDI / Kettle 的直接社区分支,由原 PDI 贡献者在离开 Hitachi Vantara 后创建。它保留了 Kettle 的转换模型,同时换了现代化的可视化开发环境,并支持在本地、Spark、Flink 等多种引擎上执行。对已有 Kettle 经验的团队,它是迁移成本最低的去处 – 概念基本能直接对应,不必重新培训。
- Kettle 用户几乎零学习成本,概念一一对应
- Apache 基金会项目,许可清晰、治理透明
- 支持多引擎执行,可按数据量选择运行方式
- 社区活跃,开发持续
- 中文资料极少,排障基本要看英文文档
- 没有厂商提供的商业支持体系
- 国内案例少,向管理层解释选型依据时材料不足
- Kettle 作业不能原样导入,需要按工具的迁移路径处理
Airbyte
Airbyte 解决的是「把数据从几百个源搬到仓库」这一段,提供 600 多个预置连接器,覆盖 API、数据库、数据仓库与数据湖。它的许可需要特别注意:核心平台已于 2025 年 7 月转为 Elastic License v2,只有 Airbyte 协议与连接器开发套件留在 MIT。Elastic License v2 不是开源促进会认可的开源许可,它限制把产品作为托管服务提供给第三方 – 自用通常没问题,但如果你打算把它包进对外售卖的服务里,必须先看条款。
- 连接器数量在自托管类工具里最多
- 提供连接器开发套件,可自建缺失的数据源
- 内置变更数据捕获,支持增量同步
- 与 dbt、Airflow 等工具的集成路径成熟
- 核心已非开源许可,商业分发前须逐条核对条款
- 连接器质量不均,社区维护的部分稳定性存疑
- 依赖容器与编排环境,内网离线部署门槛高
- 中文资料稀缺
dbt
dbt 只做转换,且只在数据仓库内部做 – 它不负责抽取,也不负责加载。用 SQL 写模型、用版本控制管理、自动生成血缘与文档,这套做法已经成为数据仓库转换层的事实标准之一。2026 年 6 月,dbt Labs 把基于 Rust 的 Fusion 引擎开源并并入 dbt Core v2.0,与付费版之间的性能差距因此缩小。
- 转换逻辑以 SQL 表达,数据团队上手快
- 模型血缘与文档自动生成,便于复核
- 天然适配版本控制与代码评审流程
- 核心引擎持续开源,性能在 v2.0 有明显改进
- 必须先有数据仓库,不能独立使用
- 只管转换,抽取与加载要另配工具
- 要求团队会写 SQL,业务人员参与不了
- 调度与编排需另接 Airflow 一类工具
Apache NiFi
NiFi 面向的是数据在系统之间的实时流动:按规则路由、转换、缓冲、重试,并记录每一条数据的来源与去向。它在实时采集、日志汇聚、设备数据接入这类场景里很强,但如果需求只是每天把几张表同步到仓库,用它属于杀鸡用牛刀。
- 实时流转与路由能力强,支持背压与重试
- 内置数据溯源,每条记录的流经路径可查
- Apache 基金会项目,许可清晰
- 图形界面配置流程,运维可见度高
- 概念多、学习曲线陡,不适合小团队
- 资源占用高,需要专门的运维投入
- 做批量表同步过于笨重
- 中文资料以早期版本为主,与现行版本有出入
Talend Open Studio(已退役)
它仍然出现在大量中文推荐文章里,但开源版 Talend Studio 已经退役,官方不再托管、不再更新,也不再提供安装包。已装的版本仍能运行,但不会再收到安全补丁。2026 年做选型时,它不应该出现在候选名单上。仍在使用的团队,四条可选路线与工程量评估方法见Talend Open Studio 迁移。
开源 ETL 工具:六个维度横向对比
下表中的定性判断基于各工具的官方文档与架构特点,手机上可左右滑动查看。
| 维度 | Kettle / PDI | Apache Hop | Airbyte | dbt | NiFi |
|---|---|---|---|---|---|
| 覆盖环节 | 抽取 + 转换 + 加载 | 抽取 + 转换 + 加载 | 抽取 + 加载 | 仅转换 | 实时流转 |
| 使用方式 | 图形界面 | 图形界面 | 配置 + 少量代码 | 写 SQL | 图形界面 |
| 许可 | 代码仓库 Apache 2.0 | Apache 2.0 | 核心 ELv2,协议与开发套件 MIT | Core 开源 | Apache 2.0 |
| 业务人员可参与 | 可以 | 可以 | 基本不行 | 不行 | 不行 |
| 内网离线部署 | 容易 | 容易 | 较难,依赖容器环境 | 取决于仓库 | 中等 |
| 中文资料 | 多 | 极少 | 少 | 少 | 中等,偏旧版本 |
| 长期确定性 | 两年内两次归属变动 | 基金会项目,较稳定 | 许可已收紧一次 | 核心持续开源 | 基金会项目,较稳定 |
近两年的关键变化
2023 年 11 月Hitachi Vantara 推出 Pentaho+ 平台,重心转向企业版,社区版投入减少。
2024 年 1 月开源版 Talend Studio 退役,官方不再托管与更新。
2025 年 7 月Airbyte 核心平台转为 Elastic License v2,协议与连接器开发套件保留 MIT。
2026 年 5 月Pentaho V11 发布。
2026 年 6 月Pentaho 被 LEO Software 收购;同月 dbt Labs 把 Rust 引擎开源并入 dbt Core v2.0。
两条线很清楚。一条是归属在动:Talend 在 Qlik 手里退役了开源版,Pentaho 两年内经历平台重组与易主。另一条是许可在收紧:Airbyte 把核心从开源许可换成了受限许可,这类做法在数据基础设施领域这两年并不少见。相比之下,Apache 基金会旗下的 Hop 与 NiFi 在治理稳定性上占优 – 这一点在做三年以上的技术押注时,权重应该高于功能清单。
在中国使用的情况
先说明:这些工具在中国的装机量与市场份额没有可靠的公开统计,本文不做排名。下面只列能核实的事实和实际落地中会遇到的问题。
许可合规
最容易出问题的是 Elastic License v2。它不是开源促进会认可的开源许可,核心限制在于不得把产品作为托管服务提供给第三方。自建自用通常不受影响,但如果你是集成商、要把它打包进交付给客户的平台,或者做成对外的数据服务,签合同前必须逐条核对。同一个工具内部的许可也可能不一致 – Airbyte 就是核心、协议、连接器分属不同许可,只看项目主页的一行标注是不够的。
内网与离线部署
这一条在国内比在海外重要得多。Kettle 与 Apache Hop 都是 Java 应用,拷贝解压即可运行,离线环境友好;Airbyte 依赖容器与编排环境,在不能联网的机房里部署要额外准备镜像与依赖,工作量不小;dbt 本身轻量,但它必须挂在数据仓库上,仓库能不能离线才是前提。选型时把部署环境当成第一约束,比按功能打分更实际。
中文资料
Kettle 一枝独秀,十几年的国内实践留下了大量中文教程与问答;Apache Hop 尽管是它的直接分支,中文内容却几乎为零,排障要看英文文档;Airbyte 与 dbt 的中文资料也少。团队英文能力一般时,这会直接变成项目风险,而不只是学习成本。
信创环境
上述工具的官方文档中,均未查到针对银河麒麟、统信 UOS 等国产操作系统的适配说明。Java 系的 Kettle 与 Hop 在国产操作系统上通常能跑起来,但需要自行完成安装与运行验证,不能默认支持。
怎么选
- 已有大量 Kettle 作业、团队也熟:优先评估 Apache Hop。概念对应、迁移成本最低,且治理更稳定。
- 需求是把几十个源同步进仓库:Airbyte 的连接器覆盖面最广,但先确认许可条款与你的使用方式不冲突。
- 仓库已经有了,缺的是转换层的规范:dbt。前提是团队会写 SQL 并接受版本控制流程。
- 要处理实时流、设备数据或日志汇聚:NiFi。只做每日批量同步的话不要选它。
- 还在考虑 Talend Open Studio:不要用,它已退役。
- 真正要做的其实是业务人员自己的数据准备:那需要的不是数据工程工具,而是可视化分析平台 – 这一类的对比见开源数据挖掘工具对比。两类工具经常被混在一起讨论,实际面向的是完全不同的使用者。
常见问题
开源 ETL 工具,哪个最适合企业长期使用?
没有单一答案,但有一条可操作的排序原则:先按部署环境筛(能否离线)、再按使用者筛(业务人员还是数据工程师)、最后才按功能比。做三年以上的押注时,治理稳定性的权重应该高于功能清单 – Apache 基金会项目在这一项上优于单一厂商产品。
Kettle 现在还能用吗?
能用,代码仓库仍是 Apache 2.0 许可。但要注意社区版投入已经减少,且 Pentaho 在两年内经历了平台重组与易主。新项目值得把 Apache Hop 一并纳入评估,它是 Kettle 的直接社区分支。
Airbyte 是开源的吗?
部分是。核心平台自 2025 年 7 月起采用 Elastic License v2,这不是开源促进会认可的开源许可;Airbyte 协议与连接器开发套件仍为 MIT。自用通常不受影响,作为托管服务对外提供则受限制。
ETL 工具和数据分析工具有什么区别?
使用者不同。ETL 工具面向数据工程师,解决的是数据从哪来、怎么进仓库;数据分析工具面向分析师与业务人员,解决的是拿到数据之后怎么算、怎么看。两者在「数据清洗」这一段有重叠,但目标用户和交付物完全不同。
内网环境能部署这些工具吗?
Kettle 与 Apache Hop 最容易,纯 Java 应用,拷贝即可运行。Airbyte 依赖容器与编排环境,离线部署需要准备镜像与依赖,工作量较大。dbt 本身轻量,但必须挂在数据仓库上。
Talend Open Studio 还能下载吗?
不能。官方已不再托管,支持渠道也不提供下载链接与安装包。仍在使用的团队可参考迁移页给出的四条路线,但不应把它列入新项目的候选。
参考资料(核实日期:2026 年 9 月)
- Pentaho 词条(V11 发布时间、LEO Software 收购、Pentaho+ 平台):Wikipedia
- pentaho-kettle 代码仓库(Apache 2.0 许可):github.com
- Apache Hop 官方文档,与 Kettle 的关系说明:hop.apache.org
- Pentaho 替代方案分析(Hop 为 PDI 社区分支、社区版投入变化):integrate.io
- 开源 ETL 工具综述(Talend Open Studio 退役、Airbyte 许可变更、dbt Core v2.0):kanerika.com
- Qlik 官网 Talend Open Studio 说明:qlik.com
分不清该选 ETL 工具还是分析工具?
如果做这件事的人是业务分析师而不是数据工程师,方向可能一开始就选偏了。可以先看看可视化分析工具那一类长什么样。
已有 Talend 作业要处理,见 Talend Open Studio 迁移;需要人工评估迁移工程量,可联系我们。