💡 导读:Qlik 数据目录,是指 Qlik 产品线中负责数据编目与治理的能力:把分散在各系统里的数据集、报表与业务术语集中编目,整合元数据并追踪数据血缘,让业务和技术人员能找到、看懂并放心使用数据。需要先说明的是,Qlik 在 2023 年收购 Talend 之后,这部分能力目前以 Talend Data Catalog 为主,早期资料里的产品名称已经不适用。本文讲清当前产品归属、核心能力、什么情况下才需要数据目录,以及落地时最常见的坑。
- Qlik 于 2023 年完成对 Talend 的收购,目前 Qlik 官网的数据目录产品页介绍的是 Talend Data Catalog。
- 早期的 Qlik Data Catalog 已进入产品生命周期末期,按旧产品名立项或续约之前,应先对照官方当前版本核实。
- 数据目录的主干能力是四项:统一编目、数据血缘、业务词汇表、搜索与共享。
- 数据源不多、指标口径没有争议的组织,未必需要独立的数据目录层;没有人维护元数据的目录,很快会变成没人打开的系统。
- 数据目录负责「数据是否可找到、可信任」,BI 与分析平台负责「用数据得出什么」,三者分工不同。
Qlik 数据目录:先弄清产品名称
搜索「Qlik 数据目录」时,最容易踩的坑是产品名称。不同年份的资料里出现过几个名字,指的并不完全是同一个产品:
| 名称 | 来历 | 现状 |
|---|---|---|
| Qlik Data Catalog(常简称 Qlik Catalog) | Qlik 收购 Talend 之前自有的数据编目产品 | 已进入产品生命周期末期,支持截止时间以 Qlik 官方产品生命周期说明为准 |
| Talend Data Catalog | Talend 的数据编目产品,随 2023 年的收购并入 Qlik | 目前 Qlik 官网 数据目录产品页 介绍的产品 |
也就是说,旧合同、旧方案书里写的「Qlik Catalog」,和现在能采购到的数据目录产品不一定是同一个。Talend Data Catalog 本身也有版本生命周期,例如 8.0 版已于 2024 年底结束支持。当前受支持的版本与各版本的截止时间,请以 Talend Data Catalog 产品生命周期页面 为准。
四类核心能力
数据编目类产品的能力主干基本相同,判断一个方案够不够用,主要看下面四项做到什么程度。
| 能力 | 做什么 | 谁最常用 |
|---|---|---|
| 统一编目 | 采集各数据库、数据仓库、BI 工具中的元数据,把数据集、报表与字段集中到一个可检索的目录。Talend Data Catalog 通过数百种元数据桥接器连接新旧数据源 | 数据工程师、数据治理岗 |
| 数据血缘 | 记录数据从来源系统经过哪些加工,最终进入哪张报表,包括跨多个 BI 工具的关系 | 数据工程师、审计与合规人员 |
| 业务词汇表 | 统一关键业务术语的定义与计算口径,并与具体字段关联 | 业务分析师、指标负责人 |
| 搜索与共享 | 按名称、术语、负责人搜索数据资产,查看说明与样例后申请使用 | 业务人员、分析人员 |
数据血缘最常用在三个场景:数据质量出问题时,快速定位是哪一环加工出错;修改上游字段之前,评估会影响哪些报表;审计或监管问询时,说明某个数字是怎么算出来的。
Qlik 数据目录:什么情况下才需要
数据目录属于基础设施,投入不小,也需要持续维护。下面四个信号出现两个以上,才值得认真评估:
- 同一个指标,各部门算出不同结果:会议上花大量时间争论数字是否正确,而不是讨论数字意味着什么。
- 找数据主要靠问人:新人或跨部门同事不知道某类数据在哪个系统、哪张表,只能挨个打听。
- 说不清数字的来源:审计、监管或管理层追问某个数字怎么来的,需要几天时间倒查。
- 不敢改上游:改一个源系统字段,没人知道会影响哪些报表,只能等报错再补救。
反过来,数据源不多、BI 工具自带的数据模型和字段说明已经够用,或者组织里没有人能持续维护元数据和词汇表时,先把 BI 的指标口径管好,往往比上一个独立的数据目录更划算。BI 与数据分析各自的定位,可参考 BI 和数据分析的区别。
落地时最常见的三个坑
- 只采集技术元数据,没有业务负责人:目录里全是表名和字段名,没有中文说明和责任人,业务人员打开一次就不会再来。每个核心数据集都应指定业务负责人。
- 词汇表建完就没人维护:业务口径会随制度调整而变化,词汇表需要明确的更新流程和负责人,否则半年后就与实际不一致。
- 一次性全量铺开:试图第一期就覆盖所有系统,结果每个系统都只做了一半。更稳妥的做法是先选一个口径争议最大的业务域,把编目、词汇表和血缘做完整,再逐步扩展。
与 BI、分析平台的分工
数据目录经常和 BI、分析平台混为一谈。三者处在数据链路的不同位置,解决的问题不同:
| 层次 | 回答的问题 | 典型产品 |
|---|---|---|
| 数据目录 | 有哪些数据、从哪来、口径是什么、可不可信 | Talend Data Catalog 等 |
| BI 与报表 | 关键指标现在怎么样、在哪里出了问题 | Qlik Sense 等 |
| 数据分析与建模 | 为什么会这样、接下来会怎样、应该怎么处理 | KNIME、iModel 等数据科学平台 |
三层不需要同时建设,取决于当前卡在哪里:问题是「数据找不到、口径不统一」,先补目录层;问题是「数据能拿到,但分析全靠手工、结果无法复现」,先补分析层。分析层的定位,可参考 什么是数据科学。
在国内的获取与服务
深圳市卓越方达科技有限公司自 2016 年起是 Qlik 授权渠道合作伙伴(Qlik Authorized Channel Partner),可以提供数据目录相关的选型咨询、部署实施、版本迁移评估与中文运维支持。Qlik 在国内的其他产品线与服务,见 Qlik 解决方案。
如果需要中文产品资料,可以通过 联系页面 索取。发送资料时,我们会一并附上旧产品名称与当前版本的对照说明,方便内部立项时核对。
关键事实
| 关键事实 | 内容 |
|---|---|
| 能力定位 | 数据编目与治理,面向数据的发现、理解与可信使用 |
| 当前主要产品 | Talend Data Catalog,随 Qlik 于 2023 年收购 Talend 并入 Qlik 产品线 |
| 早期产品 | Qlik Data Catalog,已进入产品生命周期末期 |
| 版本状态 | Talend Data Catalog 8.0 已于 2024 年底结束支持,当前受支持版本以 Qlik 官方产品生命周期页面为准 |
| 核心能力 | 统一编目、数据血缘、业务词汇表、搜索与共享 |
| 需要的前提 | 核心数据集有业务负责人,词汇表有持续维护的流程 |
| 国内服务方 | 深圳市卓越方达科技有限公司,自 2016 年起为 Qlik 授权渠道合作伙伴 |
| 核实日期 | 2026 年 9 月 17 日 |
常见问题
Qlik 数据目录,现在还能买到 Qlik Catalog 吗?
早期的 Qlik Data Catalog 已进入产品生命周期末期,目前 Qlik 官网数据目录产品页介绍的是 Talend Data Catalog。旧资料和旧合同里的「Qlik Catalog」与当前产品不一定对应,立项或续约前应先按官方生命周期说明核对产品与版本。
数据目录和 BI 工具会不会重复建设?
不会,两者分工不同。数据目录管理「有哪些数据、从哪来、口径是什么」,BI 工具负责「怎么看、怎么呈现」。很多组织在 BI 上线一两年后才意识到需要目录层,原因是报表越来越多,却没人说得清同一个指标为什么在不同报表里不一样。
数据血缘具体解决什么问题?
主要是三个场景:数据质量出问题时定位是哪一环加工出错;修改上游字段前评估影响哪些报表;审计或监管问询时说明某个数字是怎么算出来的。血缘的价值取决于采集是否完整,只覆盖部分系统时,结论要谨慎使用。
什么规模的组织才需要数据目录?
与规模相比,更关键的是症状:同一指标各部门结果不同、找数据主要靠问人、说不清数字来源、不敢改上游字段。出现两个以上时值得评估。如果组织里没有人能持续维护元数据和业务词汇表,建议先把 BI 的指标口径管好。
数据目录项目应该从哪里开始?
建议先选一个口径争议最大、对管理决策影响最直接的业务域,指定业务负责人,把这个域的编目、词汇表和血缘做完整,再逐步扩展到其他系统。一次性全量铺开,是数据目录项目最常见的失败方式。
在国内如何获取产品与服务?
深圳市卓越方达科技有限公司自 2016 年起是 Qlik 授权渠道合作伙伴,可提供选型咨询、部署实施、版本迁移评估与中文运维支持,也可以通过联系页面索取中文产品资料。