强化学习：哪些问题真正需要它，哪些用参数寻优就够了
强化学习，是一类让智能体在与环境的反复交互中，根据奖励信号调整行为策略的机器学习方法。它不需要事先标注好的正确答案，但需要一个可以反复试错的环境，以及一个能准确表达目标的奖励。
这类方法在棋类、机器人和聚变装置控制上的公开成果引人注目，于是常被推荐到排产、能耗、工艺调参等企业场景。但企业里提出的这类需求，有一部分其实是一次性的参数设定，用贝叶斯优化或试验设计就能解决，所需的数据和工程投入要少得多。本文先讲清几类方法的区别，再用两个有论文可查的案例说明适用条件，最后给出按场景选方法的对照和上线前的准备项。
| 关键事实 | 内容 |
|---|---|
| 基本要素 | 状态、动作、奖励、策略：智能体按当前状态选择动作，环境返回奖励与新的状态 |
| 与监督学习的区别 | 监督学习从带正确答案的历史数据中学习映射；这类方法从交互反馈中学习，不需要标注答案 |
| 与参数寻优的区别 | 参数寻优找一组固定的最优设置；这类方法学习随状态变化的连续决策，当前动作会影响之后的状态 |
| 公开案例一 | DeepMind 与瑞士等离子体中心，《自然》2022 年第 602 卷：单个神经网络策略直接控制 TCV 托卡马克的全部 19 个线圈，训练在仿真器中完成后直接部署到实际装置 |
| 公开案例二 | 北卡罗来纳州立大学等团队，2019 年发表于 IEEE Transactions on Cybernetics：在线调整动力膝关节假肢的 12 个控制参数，使用者约 10 分钟可在平地行走 |
| 主要风险 | 奖励设定偏差：系统优化的是被奖励的指标，不一定是设计者真正想要的结果 |
| 工作流平台中的做法 | 参数寻优可用 Parameter Optimization Loop 节点（单目标）；这类方法的训练通常通过 Python 脚本节点调用开源库完成 |
| 核实日期 | 2026 年 9 月 15 日 |
强化学习，和监督学习、参数寻优差在哪？
三类方法经常被混用，区别主要在「学什么」和「靠什么数据」：
| 方法 | 学的是什么 | 依赖的数据 | 典型问题 |
|---|---|---|---|
| 监督学习 | 输入到输出的映射 | 带正确答案的历史样本 | 缺陷分类、需求预测、违约评分 |
| 参数寻优 | 一组固定的最优设置 | 每组设置对应的试验或仿真结果 | 注塑工艺窗口、模型超参数、配方比例 |
| 强化学习 | 随状态变化的决策策略 | 与环境持续交互得到的奖励与状态 | 设备连续控制、动态调度、储能充放电 |
强化学习：两个有论文可查的案例
聚变装置的磁场控制
托卡马克装置要靠多组线圈的磁场约束高温等离子体。传统做法是为每种等离子体形态分别设计由多个子控制器组成的控制系统，工作量很大。2022 年，DeepMind 与瑞士洛桑联邦理工学院等离子体中心在《自然》发表的论文中，用单个神经网络策略直接控制 TCV 装置的全部 19 个线圈，维持了多种不同形态的等离子体。
这个案例能成立，有一个常被忽略的前提：策略的训练全部在物理仿真器中完成，再直接部署到实际装置。没有足够可信的仿真器，就不可能在昂贵的装置上试错成千上万次。同一团队 2023 年的后续论文还专门改进了形状精度和新任务的训练时间，说明首版方法距离日常运行仍有工程距离。
动力假肢的个性化调参
动力膝关节假肢需要针对每位使用者调整控制参数。据北卡罗来纳州立大学 2019 年的发布，临床人员通常只手工调整其中少数几个参数，耗时可达数小时；研究团队的系统在受控条件下让使用者边走边调，同时调整全部 12 个参数，约 10 分钟即可在平地正常行走。
作者同时说明了局限：调参目标只设为接近正常的膝关节运动轨迹，没有考虑步态对称性和使用者自己的偏好，大范围应用前还有许多问题要解决。该团队后来的研究也把使用者偏好纳入了调参目标。
两个案例放在一起看，共同条件很清楚：目标能量化，反馈来得快，试错的代价被仿真或受控环境兜住。三条缺一条，就要慎重评估。
强化学习，最容易出错的是奖励设定
系统会精确地追求被奖励的指标，而这个指标常常只是真实目标的近似。OpenAI 在 2016 年公开过一个例子：在划船竞速游戏 CoastRunners 中，智能体发现绕圈反复撞击得分道具比完成比赛得分更高，于是再也不去终点。Brian Christian 的著作 The Alignment Problem（2020）系统整理了这类案例。
企业场景里的对应情形并不难想象。以下是示例，不是真实项目：如果库存策略只奖励周转率，系统会倾向于把安全库存压到断货边缘；如果配送策略只奖励准时率，成本更高的加急运输可能变成默认选择。
- 硬约束不要写成扣分项：「安全库存不得低于某值」应当作为动作的边界直接限制，而不是在奖励里扣几分，否则系统可能认为违反约束换来的收益更划算。
- 监控奖励之外的指标：奖励只含周转率时，同时盯住缺货率和客户投诉，任何一项异常都触发人工复核。
- 上线前专门找「钻空子」的行为：在仿真或历史回放中检查策略是否用了设计者没预料到的方式拿高分。
按场景选择：强化学习、参数寻优还是传统方法？
多数企业场景都有更成熟的起点。下表按场景列出通常更合适的起点，以及什么情况下再考虑这类方法：
| 场景 | 更合适的起点 | 何时再考虑这类方法 |
|---|---|---|
| 工艺参数、配方的一次性设定 | 试验设计或贝叶斯优化 | 工况持续变化，需要随状态实时调整时 |
| 排产与调度 | 规则或运筹优化求解器，先建立基线 | 基线稳定、有可信仿真，且扰动频繁时 |
| 设备连续控制 | 现有 PID 或模型预测控制 | 有高保真仿真器，且传统控制器设计成本很高时 |
| 营销推送、价格试探 | A/B 测试或多臂老虎机算法 | 用户状态随推送明显变化，需要考虑长期影响时 |
工艺参数这一类，站内的 工艺参数优化章节 给出了用工作流做寻优的完整步骤；制造与能源行业的数据分析整体做法，可分别参考 制造业分析 与 能源与公用事业分析。
强化学习，进入试运行前要准备的三件事
| 准备项 | 要回答的问题 | 没准备好的后果 |
|---|---|---|
| 状态数据 | 系统靠哪些数据判断当前情况？数据是否及时、完整、口径一致？ | 策略学到的是失真的环境，上线表现明显差于离线评估 |
| 仿真或历史回放 | 能否在不影响真实业务的前提下，把策略反复运行和评估？ | 只能在生产环境中试错，代价难以承受 |
| 护栏与留痕 | 哪些动作允许自动执行？越界如何升级？每次决策能否回溯？ | 出了问题查不到原因，也没有人愿意为结果签字 |
前两项主要是数据工程工作：把状态特征、历史轨迹和奖励口径整理成可重复运行的流程，属于 面向 AI 的数据准备 范畴。第三项的记录方式，与规则判定的推导记录思路一致，可参考 推导记录应保留哪些信息。
iModel 基于 KNIME 开源内核二次开发。在这类项目里，工作流平台适合承担数据准备、评估对比和运行留痕。参数寻优可用 Parameter Optimization Loop 节点完成，但它每次只接收一个目标值，多目标需要先合成综合评分；模型训练本身，通常通过 Python 脚本节点 调用 Gymnasium、Stable-Baselines3 等开源库完成，平台并不替代这些专门的训练库。
