字节&MAP重塑大模型推理算法优化重点，强化学习重在高效探索助力LLM提升上限

强化学习（RL）范式虽然显著提升了大语言模型（LLM）在复杂任务中的表现，但其在实际应用中仍面临传统RL框架下固有的探索难题。

一个普遍存在的现象是：在训练过程中，模型的熵值迅速下降，推理路径趋于固化，导致“利用（exploitation）”远超“探索（exploration）”，严重失衡。

这种过早收敛不仅削弱了模型的多样性生成能力，也限制了其性能上限的进一步突破。

受OpenAI经典论文《First Return, Then Explore》中“先返回，再探索”思想的启发，来自字节跳动、MAP，曼彻斯特大学的联合团队提出了一种全新的结构化探索框架：First Return, Entropy-Eliciting Explore（FR3E）。

该方法通过识别推理轨迹中具有高不确定性的关键token，并以此为锚点引导后续的多样化展开，系统性地重建了LLM在强化学习中的探索机制，旨在实现利用与探索之间的动态平衡，从而释放RL训练的更高潜力。

值得一提的是，FR3E发布后，《First Return, Then Explore》的作者之一Jeff Clune还在X（原 Twitter）上转发了这篇文章。

算法框架

FR3E的算法框架分为两个阶段：

第一阶段：First Return

在该阶段，模型对每条prompt进行多次rollout，自由探索可能的解题路径，并收集相应的轨迹及其奖励信号。

随后，采用拒绝采样（rejection sampling）策略过滤掉全正确的样本（避免对已掌握知识的重复学习），并针对剩余样本构建基准路径：对于存在部分正确结果的prompt，选取其中一条正确轨迹作为基准；

对于全部错误的prompt，则随机选取一条作为参考路径。

在此基础上，计算基准路径中每个token的生成熵，筛选出top-n个高熵token作为关键决策点。

这些关键点将整条轨迹划分为n+1个partial rollout。通过将原始prompt与前n个partial rollout依次拼接（最后一个包含答案的部分被排除），形成n+1个中间状态（state），初始状态即为原始prompt本身。

第二阶段：Entropy-Eliciting Explore

基于构建的多状态prompt组，FR3E在GRPO++（融合了拒绝采样与Clip-Higher机制的GRPO变体）的基础上，进一步引入动态优势调制机制，以更精细地调控学习信号。具体而言，通过引入了一个优势调制因子，它基于从上一个状态到当前状态的价值边际改善来缩放学习信号。

优势调制因子定义为：

字节&MAP重塑大模型推理算法优化重点，强化学习重在高效探索助力LLM提升上限

调控后的Advantage定义为：

当

表示当前state prompt中的partial rollout部分对最终答案有正向影响，此时需要适当降低它的advantage，防止模型过早锁定当前推理路径，保留探索空间。

反之，当

则意味着当前state prompt中的partial rollout部分对思考过程没有或有负向影响，需要放大其优势信号，激励模型在该节点进行更积极的探索，以突破推理瓶颈。

在数据构建方面，团队采用双难度混合策略：低难度数据来自DeepScaler，用于稳定训练初期的收敛过程；

高难度数据则取自SimpleRL中难度等级为3–5的样本，旨在激发模型的深层推理能力。这种组合既保障了训练稳定性，又提供了足够的挑战性以推动能力跃迁。

实验结果

为全面评估FR3E的有效性，团队在多个权威数学推理基准上进行了实验，包括GSM8K、Math500、Minerva Math、Gaokao2023en、OlympiadBench、College Math以及AIME24。并在Qwen2.5-7B、Qwen2.5-Math-7B和Qwen2.5-32B三种模型上进行了评测。