算法清单不是差异点
对比几款工具支持多少种算法,基本对选型没有帮助。
常用算法在哪个平台上都有。分类、回归、聚类、降维这些,开源生态早已成熟,能不能跑出一个 AUC 0.85 的模型,主要取决于数据和建模的人,不取决于工具。
差别出现在模型离开开发者之后。数据准备的逻辑藏在几百行脚本里、训练集的清洗规则和线上不一致、业务方问「为什么拒了这单」答不上来、写模型的人离职后没人敢动——这些才是把模型留在实验阶段的真正原因。
iModel 的做法是把整条链路做成一张能打开、能逐步查看、能交给别人的工作流:数据准备、特征处理、训练、评估、解释,全部在同一张图上。对金融风控、内审这类需要向第三方解释的场景,这一点比多支持几种算法重要得多。
建模全流程,以及各步需要什么
前四步桌面版就能做完,最后一步需要服务端承接。
从统计检验到模型评估
拖节点配置即可,不需要写代码;需要时脚本节点随时可以补上。
统计分析
建模之前先把数据看清楚,这一步省不掉。
- 描述统计:分布、分位数、分组汇总
- 假设检验:t 检验、方差分析、卡方检验
- 相关性分析与线性、逻辑回归
- R 与 Python 脚本节点扩展统计方法
机器学习算法
监督与无监督的常用算法,配置参数即可训练。
- 分类与回归:决策树、随机森林、梯度提升、SVM
- 聚类与降维:K-Means、层次聚类、DBSCAN、PCA
- 异常检测与关联规则
- 参数配置在节点面板上,不藏在代码里
特征处理
模型效果的大半取决于这一步,而且它最容易在训练与线上之间走样。
- 缺失值、异常值与类型转换
- 归一化、分箱、独热编码
- 特征选择与重要度排序
- 整段处理可被推理流程直接复用
模型评估
常用评估指标与图表有现成节点,不需要自己算。
- 分类:混淆矩阵、ROC 曲线、AUC、F1、PR 曲线
- 回归:MSE、MAE、R² 等
- 交叉验证与训练测试划分
- 多模型对比放在同一张流程里
「为什么是这个结论」要答得上来
在需要向监管、内审或客户解释的场景里,这不是加分项,是准入条件。
SHAP
量化每个特征对单次预测的贡献方向与大小。回答「这一单为什么被判为高风险」,而不只是给一个分数。
LIME
在单个样本附近构造局部可解释模型,说明该样本的判定依据。适合逐案解释的场景。
代理模型
用一棵可读的决策树近似复杂模型的整体行为,让人能看懂模型大致按什么规则在工作。
模型上线这一段,分界线在哪
这部分容易被含糊带过,提前说清楚免得预算漏项。
| 环节 | 是否需要服务端 | 说明 |
|---|---|---|
| 装上就能做 · 桌面版 | ||
| 训练与调参 | 免费版即可 | 完整的训练、交叉验证、参数调整与模型对比 |
| 模型导出 | 免费版即可 | 训练好的模型可保存为文件,供其他流程读取使用 |
| 推理流程搭建 | 免费版即可 | 把数据准备与模型预测组装成一条可重跑的推理流程,手动执行 |
| 要自动跑、要别人调用 · 企业版 | ||
| 定时批量预测 | 需企业版 | 每天或每小时自动拉取新数据跑一遍预测并输出结果 |
| 发布为接口服务 | 需企业版 | 让其他系统通过接口调用模型,需要服务端托管 |
| 集中管理与权限 | 需企业版 | 统一存放流程与模型,控制访问范围,保留版本记录 |
关于模型监控与再训练:这不是一个开箱即用的开关,而是需要按业务定义漂移指标、设定阈值、串联重训流程的实施内容。企业版提供了搭建它所需的调度与执行能力,具体方案需要单独评估。
动手之前应该知道的四件事
选型阶段说清楚,比上线后返工便宜。
节点配好就能跑出模型,但样本是否有偏、特征是否泄漏未来信息、AUC 高是不是过拟合,这些判断工具不做。没有建模基础的人很容易得到一个跑得通却不能用的模型。
图像、语音、大规模神经网络训练这类任务,专用框架更合适。iModel 的定位是结构化表格数据的分析与建模,这也是企业里绝大多数场景。
可解释性、时间序列等能力以独立扩展形式提供,是否已包含在贵司使用的版本中,建议在 POC 阶段确认。
千万行级别的训练需要调整内存配置、控制中间结果落盘策略。能跑,但不是装上就快,建议用真实数据量实测后再定方案。
信创环境的实际支持范围
按实测结果列,没验过的不写。
- 操作系统:银河麒麟 V10 / V11、统信 UOS 的 x86-64 版本,以及 Windows。
- 处理器:海光 C86 架构已验证可用。
- ARM 架构暂不支持:鲲鹏、飞腾等 ARM 平台在规划中,目前不能运行。
- 离线运行:建模训练全程在本地完成,不需要连接境外服务器,数据不出内网。
- 数据源:国产数据库通常通过通用 JDBC 驱动接入,需一次性配置并实测,详见数据集成。
- 技术来源:基于 KNIME 开源内核二次开发,增强部分自主研发,源码可供审查。
关于统计分析与机器学习
选型时问得最多的五个。
能搭出流程。训练、调参、评估这些节点拖过来配置参数就能跑,不需要写代码。
但要说清楚:不会编程不等于能做出可用的模型。判断样本是否有偏、特征有没有泄漏未来信息、指标好看是不是过拟合,这些需要建模基础。工具降低的是实现门槛,不是判断门槛。
单人做一次实验,Python 更快更灵活,这一点不用争。
差别在三处:数据准备的逻辑摊在流程上而不是藏在脚本里,训练和推理复用同一段处理不会两边不一致,以及模型交接时接手的人能看懂。如果你的模型要交给别人维护、要向业务方或监管解释,这三点的价值会超过灵活性的损失。而且需要写代码的地方,脚本节点照样可以用。
可以。SHAP、LIME 与代理模型这几种常见方法有对应的节点,可以做到单笔预测级别的归因说明,也可以给出模型整体行为的近似解释。
这部分能力以独立扩展形式提供,建议在 POC 阶段确认贵司使用的版本中是否已包含。另外要提醒:可解释性方法给出的是模型行为的近似说明,不等同于因果解释,在对外出具材料时用词要准确。
桌面版可以把模型导出成文件,并把数据准备加预测组装成一条推理流程,手动执行跑批。这条路很多客户跑了很久都够用。
要让它每天自动跑,或者让其他系统通过接口调用,需要企业版的服务端承接。至于模型监控和自动再训练,那是需要按业务定义指标和阈值的实施内容,不是一个开关,要单独做方案。
基础的神经网络建模可以做,但这不是 iModel 的定位。图像识别、语音、大规模模型训练这类任务,用专用框架更合适。
iModel 的主场是结构化表格数据:风控评分、流失预测、质量预测、异常识别这些。企业里绝大多数落地的机器学习场景都在这个范围内。
拿一个跑过的模型重搭一遍
判断合不合适最快的办法,是把你已经做过的一个模型在 iModel 里重搭一次。重点不看准确率能不能追平,看数据准备那一段摊开之后,是不是比原来清楚。这一步免费版就够了。
