本文第一作家来自国防科技大学数智建模与仿真国度级要点实验室（State Key Laboratory of Digital Intelligent Modeling and Simulation）2024 级博士生原方，通信作家为国防科技大学曾俊杰助理商讨员、李庆伦博士，并由尹三军商讨员、秦龙副拔擢、沈想淇长聘副拔擢（厦门大学）、谢毓湘拔擢、杨俊强副商讨员共同合营完成。商讨团队长久聚焦建效法真、强化学习等联系地方商讨。

进修强化学习智能体时，一个常见问题是：有些 level 太肤浅，智能体跑几遍就会；有些 level 又太难，智能体简直得不到有用反应。前者仅仅在叠加已有能力，后者则会把进修预算破钞在无效探索上。信得过有价值的进修环境，往往位于二者之间。它刚好独特智能体刻下能力界限，但又莫得难到透彻学不会。换句话说，强化学习进修也存在某种「最近发展区」：高效进修的要害，不仅仅生成更多 level，而是找到刻下阶段最值得学的 level。

Unsupervised Environment Design（UED）恰是围绕这一问题张开。UED 不再把进修环境看作固定数据集，而是通过自动生成、聘用或重放 level，动态塑造进修散布，让智能体在不息学习中取得更好的泛化能力。但 UED 濒临一个中枢艰巨：系统需要知说念，哪些 level 信得过推动了智能体学习。

近日，来自国防科技大学、厦门大学等机构的商讨者提倡了 PACE（Parameter Change Environment Design）。PACE 使用 level 邻接的计谋参数变化当作进修价值信号，凯旋估量该 level 是否带来实践学习进展。该责任已被 ICML 2026 继承。

论文题目：PACE: Parameter Change for Unsupervised Environment Design

论文皆集：https://doi.org/10.48550/arXiv.2605.01358

UED：让进修环境我方造成课程

UED 的起点并不复杂。传统强化学习一样先给定一批进修环境，再让智能体在其中反复学习。但进修环境并非越多越好，也不是越难越好。要是 level 太肤浅，2026世界杯中国体彩官网入口智能体很快干与「答应区」，只可安祥仍是掌持的行径；要是 level 太难，智能体又会干与「张惶区」，长久得不到有用奖励。两种情况都会收缩学习后果和最终泛化能力。

在 UED 之前，Domain Randomization 仍是标明，环境千般性有助于进步泛化能力；但这类范例一样仅仅静态地马上采样环境参数，难以字据智能体刻下的学习气象动态改动进修内容。

UED 进一步将「进修什么」纳入学习过程：系统不再把进修环境视为固定布景，而是动态生成、聘用或重放 level，并字据某种评价信号决定哪些 level 更值得保留、重放或进一步裁剪。盼愿情况下，这些 level 应该不息靠近智能体刻下能力界限：既抵挡缓被科罚，轮盘APP也不透彻超出可学习限度。

现存 UED 范例一样需要一个 score 来评价 level。常见作念法包括 regret、GAE、MaxMC 等。这些信号在扩充中有用，但它们更多从可解性差距、价值揣度误差或酬劳揣度启航，莫得评估「此次进修到底带来了若干计谋改造」。另一类范例更凯旋，举例 Marginal Benefit 会比拟计谋更新前后的发达变化，因此更接近的确学习独特。但它需要颠倒 rollout 来揣度更新前后的酬劳，谈判支拨更高，揣度方差也更大。

因此，UED 的中枢问题就变成了：如何肤浅而准确地判断一个 level 是否信得过推动了智能体的学习？

PACE：用参数变化估量学习独特

PACE 的中枢判断很凯旋：要是一个 level 信得过促成了学习，那么智能体在这个 level 上进修后，计谋参数应该发生专门想酷好酷好的变化。也即是说，PACE 不再把 level 的价值成就在 regret、GAE 或 Monte Carlo return 等迂覆信号上，而是凯旋不雅察该 level 邻接的计谋更新。

进一步假定这一步更新沿着局部梯度地方进行，即

将其代入一阶张开，可得想法进步的访佛形态：

这个访佛关系发挥：在局部梯度更新假定下，一个 level 带来的想法进步与其邻接的计谋参数变化通俗范数成正比。因此，PACE 将 level score 界说为：

图 1：PACE 责任历程图。

基于这一 score，PACE 的驱动过程不错分为两个部分：level scoring 和 policy training（图 1）。

总计过程不拒却替进行：新 level 被生成并打分，高价值 level 被写入 buffer，buffer 中的 level 又被优先重放来进修计谋。由此，PACE 用计谋参数变化构造出一种内生的学习独特信号，并用它驱动进修课程随智能体能力动态演化。

实验已毕：从迷宫泛化到盛开式任务

博亚体育中国一站式服务官网

图 2：MiniGrid 上的零样本迁徙性能。

表 1：MiniGrid 上的全体泛化方针。

为了进一步磨砺 PACE 在更复杂任务中的适用性，论文还在 Craftax 上进行实验。Craftax 是一个面向盛开式强化学习的 JAX benchmark。跟着探索鼓舞，智能体会遭受新的区域、机制和想法，任务散布也会不息变化，因此更能磨砺 UED 范例是否能在前途修过程中不息提供有用课程。

表 2：Craftax 上 20 个未见过 levels 上的平均酬劳和范例差。

结语与瞻望

在强化学习智能体需要不息符合未见环境的布景下轮盘游戏app(中国)官方下载，如何准确识别信得过推动学习的 levels 是 UED 的要害问题；PACE 通过参数变化这一肤浅、低方差、谈判友好的内生信号，将环境评价凯旋成就在 realized learning progress 之上，从而减少代理方针偏差、高方差揣度和颠倒 rollout 支拨的影响，并为构建更踏实、更可彭胀的自符合进修课程提供了新的想路。