波束搜索是一种结构化的搜索格式，可以系统地探索解空间，这让它成为在推理时校正模子输出的遍及器具。与 PRM 磋商使用时，波束搜索可以优化解题中间挨次的生成和评估。其职责神色如下:

通过留心固定数目的 “波束” 或活动旅途 ，迭代生成多个候选解。

第一次迭代时，从温度为 的 LLM 中零丁采样出 个中间挨次，以升迁题解的千般性。咱们还可认为其界说一个住手圭臬，举例在遭遇新行 \n 或双新行 \n\n 时绝交。

使用 PRM 对每个挨次进行评分并秉承得分最高的 个中间挨次干涉下一轮生成，这里 示意下一轮的 “波束宽度”。与拔萃法通常，咱们使用 “最终分” 归约来对每次迭代的部阐发进行评分。

无间向后采样，每个激活旅途再生成 个候选中间挨次

重叠 (3)、(4) 步，直到遭遇 EOS 词元或进步最大搜索深度。

通过允许 PRM 评估中间挨次的正确性，波束搜索可以在经过早期识别并优先接头有后劲的旅途。这种迟缓评估的神色对数学等复杂推理任务绝顶有效，对部阐发进行考证可以权贵改善最终为止。

伸开剩余59%

齐全细节

在咱们齐全基于经过监督的波束搜索时，咱们遭遇了与 Llama 3 聊天模板相干的问题，如下:

默许情况下，其聊天模板每轮王人会删掉临了的新空行。因此，淌若咱们用 \n 或 \n\n 来绝交一个中间挨次，这些词元会在后续挨次中丢失，这会导致模子产生奇怪的输出。

聊天模板以 Llama 的 BOS 词元为前缀。当将阵势化后的字符串输入给 vLLM 时，vLLM 还会再加一个 BOS 词元，这会导致为止变差，尽管大无数情况下输出是一致的🤯。

责罚有谋划是掩饰 Llama 3 聊天模板以提神其删新行，并幸免重叠 BOS 前缀。

在推行中，咱们秉承了跟 DeepMind 交流的超参并使用以下设置启动波束搜索:

各狡计预算的波束宽度 区分 4、16、64、256

固定波束宽度

采样温度

迭代次数最大为 40，即树深最大为 40 步

如下所示，为止很是惊东谈主：在 的推理时预算下，波束搜索的精度与拔萃法在 时的精度交流，即狡计效力升迁了 4 倍！此外，在 时，波束搜索与 Llama 3.1 8B 的性能很是。接头到狡计机专科的博士生的数学平均获利约为 40%，因此近 55% 的得分对 1B 模子来讲很是可以了 💪！

发布于：湖南省