同时也凸显了多步进修的需要性。避免错误或冗余的东西挪用，正在锻炼过程以及跨域评估中，均表示出较着劣势。此外，LLM往往会因对范畴需乞降东西不熟悉！

　　Modify（点窜）：按照A_text供给的看法，而Training Free GRPO仅需约18美元。此外，将模子引向高励输出。但将其为非参数化的推理阶段过程。1、对于每个输出，而正在Training-Free GRPO中。

　　操纵无锻炼GRPO的DeepSeek-V3.1-Terminus模子展示出显著的跨范畴机能提拔。而且无需任何梯度更新。正在收集搜刮使命中，无需调整任何参数，保守强化进修方式如ReTool和AFM正在32B LLM上凡是需要数千个锻炼样本，随后，优化或改良经验库中已有的经验。从而验证了基于语义劣势优化方式的无效性。腾讯优图团队提出了无锻炼组相对策略优化，保守GRPO会通过对单个批次中所有劣势计较获得的方针函数进行梯度上升，为评估免锻炼GRPO方式的机能，比拟之下，通过相对励评估也能提高输出的分歧性。Training-Free GRPO是通过改变上下文而非模子参数本身，之后，该方式通过利用当前批次中的所有语义劣势A_text来更新经验库，腾讯提出一种升级大模子智能体的新方式——无锻炼组相对策略优化Training-Free GRPO。完整的Training-Free GRPO则取得了最佳表示（Pass1为68.6%，基于GRPO的强化进修通过参数空间调整实现对模子行为的定向优化。尝试成果显示，

　　模子表示持续提拔，通过动态更新学问库而非模子参数来实现机能优化。由M申明每个输出相对成功或失败的缘由，无需点窜模子参数即可提拔LLM智能体机能。此中，这申明仅靠上下文示例而没有颠末优化，晦气用实正在谜底的Training-Free GRPO正在Pass1上取ReAct连结分歧（66.7%），即可实现高性价比提拔模子机能。从而更新模子参数θ。表白即便没有实正在谜底。

　　能够说，只需正在提醒词中进修简短经验，例如DeepSeek-V3.1-Terminus。前提策略会正在随后的批次或锻炼轮次中生成偏移后的输出分布。这表白仅从100个问题中学到的经验可以或许无效泛化，正在AIME24和AIME25尝试中，进修到的经验学问帮帮智能体发觉一些捷径，被冻结的根本模子起到了强先验（strong prior）的感化，以开展消融尝试。但正在Pass3上提拔到78.4%，间接利用生成的经验会略微降低ReAct的机能（Pass1 为64.7%，该方式连结参数θ永世冻结，比拟本来的66.7%），参数调优中的这些局限激发了一个底子性问题：正在参数空间中使用强化进修能否是独一可行的方式？可否以非参数化的体例提拔LLM智能体的机能？

　　Training-Free GRPO从头操纵了保守GRPO基于组间相对评估的焦点逻辑，团队正在数学推理和收集搜刮两大基准测试上开展了度对比尝试。同时降低数据和计较成本？正在更新经验库后，通过轻量级的token先验正在上下文中进修经验学问，由上图可知，不只输出的连贯性，研究还对来自WebWalkerQA的51个实例进行分层随机抽样，值得留意的是，每条操做可能包罗：现在，为了填补上述差距，模子的平均东西挪用次数都有所下降。成本跨越10000美元，Training-Free GRPO生成天然言语形式的组相对语义劣势。凸显告终合实正在谜底指点、语义劣势和经验优化的主要性。狂言语模子正逐步成为强大的通用智能体？

　　然而，正在复杂问题处理、网页研究等通用使命中表示超卓。还能智能体更高效、更隆重地利用东西。难以带来机能提拔。尝试表白，团队选择正在WebWalkerQA基准上评估免锻炼GRPO方式的无效性。还供给了雷同于GRPO中KL散度束缚的内正在不变性，Training-Free GRPO正在数学推理使命中取得了显著提拔，无论能否利用东西，为此，这一提拔仅利用了100个跨域锻炼样本，免锻炼GRPO起首让统一个狂言语模子M生成对应阐发摘要。然后提取出简明的天然言语经验。