六合彩网址2016年欧洲杯冠军之路 A Survey of Chain of Thought Reasoning: Advances, Frontiers and Future 想维链推理的综述：进展、前沿和改日 摘抄：想维链推理，动作东说念主类智能的基本领会流程，在东说念主工智能和当然讲话处理领域引起了极大的豪情。可是，这一领域仍然衰退全面的综述。为此，咱们迈出了第一步，全面而平凡地呈现了这一研究领域的深入窥伺。咱们使用X-of-Thought（想维X）来平凡地指代想维链推理。具体来说，咱们把...
A Survey of Chain of Thought Reasoning: Advances, Frontiers and Future
想维链推理的综述：进展、前沿和改日
摘抄：想维链推理，动作东说念主类智能的基本领会流程，在东说念主工智能和当然讲话处理领域引起了极大的豪情。可是，这一领域仍然衰退全面的综述。为此，咱们迈出了第一步，全面而平凡地呈现了这一研究领域的深入窥伺。咱们使用X-of-Thought（想维X）来平凡地指代想维链推理。具体来说，咱们把柄方法的分类系统地组织了刻下的研究，包括XoT构建、XoT结构变体和增强的XoT。此外，咱们描画了XoT在前沿应用中的使用，涵盖了策动、器用使用和蒸馏。此外，咱们有计划了挑战并探讨了一些改日的发展标的，包括赤诚度、多模态和表面。咱们但愿这份综述粗略成为寻求在想维链推理领域立异的研究者的可贵资源。
1 小序
预试验讲话模子（PLMs）粗略自动从无标签文本中学习通用示意，并通过鄙人游任务上的微调结束出色的性能（Devlin等东说念主，2019年；Raffel等东说念主，2020年；Radford和Narasimhan，2018年）。最近，扩大讲话模子的限制显赫提高了性能，并带来了很多惊喜，举例突现才略（Wei等东说念主，2022a；Schaeffer等东说念主，2023年）。因此，当然讲话处理的范式正从预试验加微调改变为预试验加高下体裁习。可是，到现在为止，大限制讲话模子（LLMs）在复杂推理任务上，如数学推理（Cobbe等东说念主，2021年；Patel等东说念主，2021年）、知识推理（Talmor等东说念主，2021年；Mihaylov等东说念主，2018年）等，仍有极端大的改进空间。
据消息人士透露，最近一场国际友谊赛，某国家队明星门将XXX中表现不佳，据说是因为熬夜博彩网站狂输一笔钱。为了专揽LLMs科罚复杂推理任务，Wei等东说念主（2022b）通过慢慢推理流程膨胀了高下体裁习，起初引入了想维链（CoT）教唆的主意。Kojima等东说念主（2022年）发现，轻便地在教唆中添加一个魔法短语“让咱们一步步来”就能使LLMs在莫得任何东说念主类注释的情况下奉行零样本想维链推理。这些研究凸起了想维链在增强模子复杂推理才略以及提高其推理和策动才略方面的进军性。
随后，对于X-of-thought（XoT）的多半责任像雨后的蘑菇一样在NLP社区赶紧涌现，举例自动XoT构建（Kojima等东说念主，2022年；Zhang等东说念主，2023f；Xu等东说念主，2023年），XoT结构变体（Chen等东说念主，2022a；Ning等东说念主，2023年；Lei等东说念主，2023a；Yao等东说念主，2023b）等。请防卫，为了与原始的CoT区分开来，咱们使用XoT来平凡地指代CoT，这是一个集体术语，用于指代慢慢推理方法的使用。
可是，这些方法和数据集尚未经过系统性的回来和分析。为了填补这一空缺，咱们提议这项责任来进行对XoT眷属的全面和珍摄分析。尽管如故有一些综述有计划了想维链，但它们仅限于特定方面，举例使用教唆的LLM推理（Qiao等东说念主，2023年）和想维链教唆战略（Yu等东说念主，2023c）。比拟之下，咱们的综述不仅提供了对他们如故涵盖的主题的更全面和全面的有计划，还包括了特等的主题和有计划，如XoT构建、XoT结构变体和前沿应用等。具体来说，在本文中，咱们起初先容了关联布景和初步知识（第2节）。此外，咱们从多个角度仔细分类了XoT系列责任，并完成了深入分析（第4节），包括XoT构建方法（4.1节）、XoT结构变体（4.2节）和XoT增强方法（4.3节）。然后，咱们提供了XoT在前沿领域的本质应用（第5节）。为了激励XoT后续责任的灵感，咱们提供了对这一领域改日研究潜在道路的视力（第6节）。临了，咱们比较并有计划了现存的方法（第7节）。
ag真人官网图片
太平洋官网2 布景和初步
2.1 布景
连年来，跟着规划才略的不停膨胀，大限制讲话模子如棋布星罗般涌现（Brown等东说念主，2020年；OpenAI，2023年；Touvron等东说念主，2023a；Scao等东说念主，2022年；Touvron等东说念主，2023b；Zhao等东说念主，2023b），跟着模子限制的抓续增长，很多新才略如故出现，举例高下体裁习和想维链推理（Brown等东说念主，2020年；Wei等东说念主，2022b，a；Schaeffer等东说念主，2023年）。
Brown等东说念主（2020年）发现，大限制讲话模子具有出色的高下体裁习（ICL）才略。ICL将输入-输出演示融入到教唆文本中。通过ICL，现成的LLMs不错在不进行特等微调的情况下使用，同期结束可比的性能。可是，这种端到端的方法在面对复杂推理任务经常时会施展欠安。
太平洋在线官网Wei等东说念主（2022b）发现，通过在演示中添加慢慢推理流程，不错提高LLMs的推理才略，这被称为想维链教唆。CoT教唆使模子粗略更精准地团结问题的复杂性和推理流程。此外，模子生成了一系列推理门径，这为咱们提供了对模子领会流程的透明视图，进一步提高了可解释性。
2.2 基础
在本节中，咱们先容了使用LLMs进行想维链推理的初步知识，并援用了（Qiao等东说念主，2023年）中的公式界说。假定有一个问题Q，一个教唆T和一个概率讲话模子PLM。模子将问题和教唆动作输入，给出旨趣R和谜底A。咱们起初推敲高下文场景，其中演示不包含推理链。咱们需要最大化谜底A的可能性，如公式(1,2)所示。
图片
在想维链推理场景中，演示包含推理流程，咱们需要最大化谜底A和旨趣R的可能性，如公式(3,4,5,6)所示。
图片
3 基准测试
3.1 数学推理
数学推理平方用来揣度模子的推理才略。早期的基准测试包含轻便的算术运算（Hosseini等东说念主，2014年；Koncel-Kedziorski等东说念主，2015年；Roy和Roth，2015年；Koncel-Kedziorski等东说念主，2016年）。Ling等东说念主（2017年）以当然讲话体式标记了推理流程，而Amini等东说念主（2019年）在AQUA的基础上，通过以圭表体式标记推理流程进行了构建。其后的基准测试（Miao等东说念主，2020年；Patel等东说念主，2021年；Cobbe等东说念主，2021年；Gao等东说念主，2023年）包含了更复杂和各样化的问题。（Zhu等东说念主，2021年；Chen等东说念主，2021年，2022b年）需要基于表格内容进行推理。还有一些通用基准测试（Hendrycks等东说念主，2021年；Mishra等东说念主，2022a,b年）和阅读团结体式的基准测试（Dua等东说念主，2019年；Chen等东说念主，2023年）。最近，（Yu等东说念主，2021a年）通过使用端倪推理和知识，赋予了预试验模子数学推理的才略。
图片
3.2 知识推理
知识推理是基于平方在日常生计寰宇中渊博涌现和渊博感知的知识进行推断、判断和团结的流程。怎样获取和团结知识知识是模子面对知识推理时靠近的主要忙绿。很多基准测试和任务都集会在知识团结上（Talmor等东说念主，2019年，2021年；Bhakthavatsalam等东说念主，2021年；Mihaylov等东说念主，2018年；Geva等东说念主，2021年；Huang等东说念主，2019年；Bisk等东说念主，2020年），事件期间知识推理（Rashkin等东说念主，2018年；Zhou等东说念主，2019年）和知识考证（Wang等东说念主，2019年）。
3.3 标志推理
这里的标志推理专指模拟一些对东说念主类来说轻便但对LLMs来说具有挑战性的轻便操作。临了一个字母串联、抛硬币和回转列表（Wei等东说念主，2022b年）是最常用的标志推理任务。此外，团结基准测试BigBench（Srivastava等东说念主，2022年）和BigBench-Hard（Suzgun等东说念主，2023年）也包含了几个标志推理数据集，如气象追踪和对象计数。
3.4 逻辑推理
逻辑推理分为演绎推理、归纳推理和溯因推理（Yu等东说念主，2023a年）。演绎推理从一般前提中推导出论断（Liu等东说念主，2020年；Yu等东说念主，2020年；Tafjord等东说念主，2021年；Han等东说念主，2022年）。归纳推理从特殊案例中推导出一般论断（Yang等东说念主，2022年）。溯因推理为不雅察到的气候提供合理的解释（Saparov和He，2023年）。
3.5 多模态推理
2016年欧洲杯冠军之路在现实寰宇中，推理还触及除文本除外的其他模态信息，其中视觉模态最为渊博。为此，提议了很多视觉多模态推理的基准测试（Zellers等东说念主，2019年；Park等东说念主，2020年；Dong等东说念主，2022年；Lu等东说念主，2022年），其中ScienceQA（Lu等东说念主，2022年）注释了推理流程，是使用最平凡的视觉多模态推理基准测试。视频多模态推理（Lei等东说念主，2020年；Yi等东说念主，2020年；Wu等东说念主，2021年；Xiao等东说念主，2021年；Li等东说念主，2022a年；Gupta和Gupta，2022年）更具挑战性，因为它与视觉多模态推理比拟引入了特等的期间信息。
3.6 目的
准确率 准确率用于评估模子在分类任务上的才略，平方用于多项采纳（Ling等东说念主，2017年；Mihaylov等东说念主，2018年；Liu等东说念主，2020年；Lu等东说念主，2022年）和口角（Talmor等东说念主，2021年；Geva等东说念主，2021年；Han等东说念主，2022年）任务。
图片
EM和F1 EM和F1是用于评估解放体式（Mishra等东说念主，2022a年；Wang等东说念主，2019年；Yi等东说念主，2020年）和跨度索取（Dua等东说念主，2019年；Zhu等东说念主，2021年；Mishra等东说念主，2022b年）任务的目的。两者都在词符级别上规划。
图片
其中P和R分别代表精准度和调回率，EM规划预测和谜底竣工调换的比例。
4 方法
在本节中，咱们通过三种不同的分类探讨X-of-thought（想维X）推理：X-of-thought的构建（4.1节）、X-of-thought的结构变体（4.2节）以及X-of-thought的增强方法（4.3节）。
4.1 构建方法
经过深入分析，咱们将X-of-thought的构建分为三类：1）手动XoT，2）自动XoT，3）半自动XoT，具体描画如下。
4.1.1 手动XoT
尽管大型讲话模子通过教唆进行一丝样本的高下体裁习，但在推理任务中仍有纵容。为了探索大型讲话模子的潜在推理才略，一种圭表方法是在示例中提供不同体式的想考。
Wei等东说念主（2022b）初度提议想维链教唆（Few-shot CoT），通过手动提供当然讲话体式的旨趣来演示。为了进一步确保推理流程中的笃定性并减少推理旅途和谜底之间的不一致性，PAL（Gao等东说念主，2023）、PoT（Chen等东说念主，2022a）和NLEP（Zhang等东说念主，2023e）专揽编程讲话动作注释旨趣，将问题科罚转动为可奉行的Python圭表。同期，为了同期专揽当然讲话和编程讲话的上风并提高推理输出的置信度，MathPrompter（Imani等东说念主，2023）使用零样本想维链教唆生成多个代数抒发式或Python函数，这些不错互相考证并提高阻隔的可靠性。此外，由于示例中的推理复杂性，如包含更多推理门径的链，会导致性能教会，Fu等东说念主（2023a）提议了基于复杂度的教唆，其中在高复杂度旨趣之间进行投票以得出最终谜底。
手动构建的X-of-thought方法通过向示例中添加不同类型的慢慢中间推理流程来膨胀高下体裁习。它们允许LLMs师法并生成推理旅途。尽管手动XoT方法为东说念主类团结和复杂任务（如数学推理、知识推理、标志推理等）提供了更大的可解释性和可靠性，但手动注释旨趣需要显赫的资本，并存在诸如示范采纳困难和任务泛化等盘曲。具体来说，不同的任务需要不同花样的示范。因此，其他责任尝试自动构建推理旅途，如在§4.1.2中有计划的。
4.1.2 自动XoT
想维链教唆（Wei等东说念主，2022b）通过在一丝样本成立中使用特定任务示例激励了LLMs的复杂推理才略，这纵容了可膨胀性和泛化才略。为了减少手工制作的一丝样本示例的资本，Kojima等东说念主（2022）提议了零样本CoT，通过在问题后引入一个魔法短语“让咱们一步步来”，使LLMs粗略以零样本的花样生成推理链。可是，零样本CoT存在推理旅途质料差、诞妄多的问题。由于示范的各样性在推理链生成中起着至关进军的作用，Auto-CoT（Zhang等东说念主，2023f）通过聚类和代表性示例采纳自动生成示范，提高了各样性并一致性地匹配或逾越了Few-shot CoT的性能。COSP（Wan等东说念主，2023）引入了问题的输出熵来赞助示范采纳。Xu等东说念主（2023）提议了Reprompting，通过迭代使用Gibbs采样来找到灵验的CoT教唆。同期，推理链中的一些诞妄来自遗漏门径的诞妄，Wang等东说念主（2023f）将零样本CoT膨胀到计划和科罚（PS）教唆，通过想象一个计划将系数这个词任务差异为更小的子任务，并把柄计划奉行子任务，带有更珍摄的指示。LogiCoT（Zhao等东说念主，2023c）使用标志逻辑来考证零样本推理流程，从而减少推理中的诞妄。此外，PoT（Chen等东说念主，2022a）也探索了讲话模子，如Codex，通过添加“让咱们一步步编写Python圭表...”，在零样本成立中生成可奉行的Python圭表来科罚数学问题，这减少了中间推理门径中的诞妄。一些责任引入了代理来科罚推理问题。举例，Agent Instruct（Crispino等东说念主，2023a）专揽代理生成与任务关联的、有信息量的指示，领导LLMs奉行零样本推理。
送彩金的平台菠菜与手动XoT不同，自动XoT使用零样本教唆工程或采样，是可膨胀的，而且不错在莫得东说念主类侵犯的情况下在领域之间泛化。可是，由于衰退东说念主类对都，自动生成的想维链靠近质料差、幻觉和事实不一致等挑战。因此，以半自动花样构建XoT是必要的，这在§4.1.3中先容。
4.1.3 半自动XoT
www.crowndicezone.com半自动XoT方法集合了手动和自动构建方法的优点。Shao等东说念主（2023）提议了合成教唆，专揽少数东说念主工注释的示例来教唆模子通过轮流的前向-后向流程生成更多示例，并采纳灵验的示范以激励更好的推理，缓解了AutoCoT中衰退东说念主类对都的问题。尽管之前的责任科罚了手动注释的问题，示范采纳也不错显赫影响性能。Automate-CoT（Shum等东说念主，2023）袭取强化学习与方差裁汰的战略梯度战略来猜度黑盒讲话模子中每个示例的进军性，激励更好的示范采纳。雷同，Lu等东说念主（2023b）提议了PromptPG，它专揽战略梯度来学习在表格推理中采纳示范。Ye和Durrett（2023）率先使用两个代理目的来评估每个示例，然后在示例中搜索以找到在银标拓荒集会产生最好性能的示范。同期，Pitis等东说念主（2023）提议了Boosted Prompting，这是一种教唆集成方法来提高性能，它在遭遇刻下示范难以处理的问题时，通过迭代膨胀示例。Zou等东说念主（2023）引入了Meta-CoT，它把柄问题类别自动采纳示范，捣毁了特定任务教唆想象的需求。
六合彩网址
半自动XoT方法减少了手动标记的责任量，同期引入了东说念主类对都信号和示范采纳战略，增强了推理的才略和巩固性。此外，它还结束了资本效益高的领域泛化。可是，示范采纳问题尚未竣工科罚，需要更多的悉力和研究。
4.2 XoT结构变体
最原始的想维链是一个链式结构，用当然讲话描画中间推理门径。在本节中，咱们先容修改原始链式结构的结构变体，包括链式结构变体、树状结构变体和图状结构变体。
图片
图2展示了推理的发展流程，从径直的输入/输出，到链式结构，再到树和图结构。
链式结构 PAL（Gao等东说念主，2023年）和 PoT（Chen等东说念主，2022a）引入编程讲话来描画推理流程，从而将推理问题转动为可奉行圭表的结束，以获取最终谜底。由于圭表奉行是笃定性的而且粗略准确奉行算术规划，这种方法在数学推理中施展出色。此外，标志序列是另一种想维示意类型。标志链（Chain-of-Symbol，Hu等东说念主，2023a）在策动期间用简化的标志链示意示意复杂环境，这减少了模拟环境的复杂性。链式结构变体如图2(c,d)所示。想维算法（Algorithm of Thought，Sel等东说念主，2023）将算法才略注入模子，通过添加基于算法的示例使模子的推理愈加逻辑化。它莫得树搜索（Long，2023；Yao等东说念主，2023b）的高大搜索空间，勤俭了规划资源并取得了出色的性能。
树状结构 原始的链式结构骨子上纵容了探索范围。通过集合树状结构和树搜索算法，模子获取了在推理流程中灵验探索和回溯的才略（Long，2023；Yao等东说念主，2023b），如图2(e)所示。集合对中间想维的自我评估，模子不错结束全局最优解。ToT（想维链）的推理流程触及不笃定性，这可能导致级联诞妄。TouT（Mo和Xin，2023）在推理中引入了蒙特卡洛dropout，推敲了不笃定性。Yu等东说念主（2023b）深入研究了近似的问题，专揽它们的科罚决议教会LLMs复杂的推理才略。这些近似的问题呈现出树状结构，最终集聚科罚主要问题。可是，刻下的想维树在采纳任务上有很大的局限性，需要为每个任务想象特定的教唆，这费劲了它的平凡应用。SoT（Ning等东说念主，2023）是树状结构的另一种变体，它将问题剖析为不错并行处理并同期科罚的子问题，以加速推理速率。可是，它的实用性仅限于可并行剖析的问题，不适用于复杂推理任务。
图状结构 与树比拟，图引入了轮回和环，带来了更复杂的拓扑相关，并允许建模更复杂的推理，如图2(f)所示。GoT（Besta等东说念主，2023；Lei等东说念主，2023a）将中间想维视为图中的节点，集合探索和回溯操作，并与想维树比拟特等引入了团聚和细化操作。特等的操作，团聚和细化，在复杂任务中激励了更好的推理。可是，它靠近着与想维树调换的窘境，即任务纵容和较差的泛化才略。此外，它的推理资本加多了。与明确构建想维图的GoT不同，ResPrompt（Jiang等东说念主，2023a）在教唆文本中引入了想维之间的残差团结，允许不同门径的推理互相交互。
跟着模子从线性链过渡到端倪化的树和复杂的图，想维的互相作用逐步变得愈加复杂，从而慢慢增强了科罚复杂问题的才略。可是，跟着拓扑复杂性的加多，关联方法对任务采纳施加了更多纵容，导致它们的泛化才略显赫裁汰，使其应用变得困难。将基于复杂拓扑结构的方法膨胀到通用领域是改日研究靠近的一个主要挑战。
4.3 XoT增强方法
在本节中，咱们将先容XoT增强方法。统统，咱们将提供五个类别的概述，分别是添加考证和细化（4.3.1节）、问题剖析（4.3.2节）、专揽外部知识（4.3.3节）、投票和排行（4.3.4节）以及提高后果（4.3.5节）。
4.3.1 考证和改进
想维链推理经常倾向于产生幻觉，产生诞妄的推理门径。中间推理门径中的诞妄又可能触发一系列诞妄。引入考证以获取响应，随后把柄这些响应细化推理流程，不错灵验地自便这种气候，近似于东说念主类反想的流程。图3描画了考证和细化的概述。
图片
图3：考证和改进减少推理中的级联诞妄。
VerifyCoT（Ling等东说念主，2023年）想象了一种当然圭表，这是一种演绎推理体式，允许模子产生准确的推理门径，每个后续门径严格基于前一步。DIVERSE（Li等东说念主，2022c）使用投票机制来捣毁诞妄谜底，然后对每个推理门径进行细粒度的考证。SCREWS（Shridhar等东说念主，2023）以为后修改的阻隔并不一定优于原始阻隔，因此它引入了一个采纳模块来在原始和修改之间采纳更好的阻隔。为了便于知识密集型任务，Verify-and-Edit（Zhao等东说念主，2023a）引入外部知识来再行推理不笃定的示例，减少推理中的事实诞妄。一些研究悉力尝试挖掘模子的里面知识。为了科罚事实诞妄，一些研究尝试挖掘LLMs的内在知识。他们在回答问题之前从模子中获取知识（Dhuliawala等东说念主，2023年；Zheng等东说念主，2023年）。Ji等东说念主（2023年）进一步考证了内在知识的正确性，Liu等东说念主（2023b）通过强化学习提高了内在知识获取的准确性。
不一致性是推理中的另一个主要挑战，Dua等东说念主（2022年）迭代地使用先前的推理阻隔动作教唆，直到模子给出一致的谜底。Paul等东说念主（2023年）试验一个品评模子来提供对于推理流程的结构化响应。Self-Refine（Madaan等东说念主，2023）奉行迭代自我响应和细化以自便推理中的诞妄。与Self-Refine比拟，Reflexion（Shinn等东说念主，2023）引入了强化学习进行反想，这也带来了决策才略。同期，一些责任引入了反向推理（Yu等东说念主，2023a）进行考证。
RCoT（Xue等东说念主，2023）把柄推理链重构问题，其与原始问题的不一致性披露了推理流程中的诞妄。FOBAR（Jiang等东说念主，2023b）和Self Verification（Weng等东说念主，2022）通过从谜底中推断问题中的条目进行考证。FOBAR推断问题中的变量，而Self Verification推断问题中的条目。可是，Huang等东说念主（2023a）发现LLMs在莫得外部响应的情况下难以自我改进，致使可能导致性能下落。
LLM推理是一个无监督流程，在中间推理门径中来自响应信号的领导在提高推理中起着至关进军的作用。来自响应信号的领导不错灵验地减少推理中的幻觉气候。在获取相宜的响应并把柄该响应进行准确改进方面仍有很大的研究空间。
4.3.2 问题剖析
X-of-thought推理的骨子在于其慢慢科罚问题。可是，原始的想维链推理方法并莫得明确地剥离出慢慢推理流程，仍然使用一次性生成。在本节中，咱们将有计划问题剖析方法，皇冠体育版源码该方法明确地慢慢科罚问题。概述如图4所示。
图片
图 4：问题剖析通过慢慢科罚轻便的子问题来科罚复杂问题。
Wang等东说念主（2022a）迭代地从模子中获取知识，在多跳QA中取得进展。Zhou等东说念主（2023b）提议了Least-to-Most教唆，率先以自顶向下的花样将问题剖析为子问题，随后，它一次科罚一个子问题，并专揽它们的科罚决议来促进后续子问题。Successive Prompting（Dua等东说念主，2022）选择了与Least-to-Most教唆近似的方法，不同之处在于它袭取了交错的子问题和谜底的剖析，而不是两阶段剖析。上述方法莫得为各相貌问题制定定制科罚决议。Decomposed Prompting（Khot等东说念主，2023）想象了一个模块化分享库，每个库有意针对一类子问题，不错为不同类别的子问题定制更灵验的科罚决议。除了一般任务，一些责任专注于表格推理中的问题剖析。BINDER（Cheng等东说念主，2023）以神经标志花样将推理映射到圭表，并通过圭表奉行器（如Python或SQL）获取最终谜底。Ye等东说念主（2023）引入了DATER，它将大型表格剖析为较小的表格，将复杂问题剖析为轻便问题。前者减少了不关联信息，后者减少了推理的复杂性。
径直回回话杂问题可能是具有挑战性的。通过将问题剖析为轻便的子问题并慢慢科罚它们，难度裁汰了。此外，每个子问题都不错回顾到特定的推理门径，使推理流程愈加透明和可解释。刻下的责任大多使用自顶向下的剖析战略，而基于反向推理的自底朝上剖析战略仍有待在改日的责任中探索。
4.3.3 专揽外部知识
模子内参数化的知识是有限的且过期的。因此，在面对知识密集型任务时，平方发生事实诞妄。引入外部知识不错自便这种气候，如图5所示。
图片
皇冠博彩图5：引入外部知识不错减少推理中的事实诞妄。
Lu等东说念主（2023a）在教唆中引入多讲话辞书以增强机器翻译。Li等东说念主（2023d）提议了知识链（CoK-Li），通过查询生成器从知识库中获取结构化知识以奉行知识领导推理。Wang等东说念主（2023b）（CoK-Wang）也从知识库中检索结构化知识。此外，它猜度了推理链的事实性和赤诚度，并教唆模子再行想考不行靠的推理，这自便了CoK-Li中的知识检索诞妄。KD-CoT（Wang等东说念主，2023c）通过多轮QA方法科罚事实推理问题。他们想象了一个响应增强的检索器，在每轮QA中检索关联外部知识以校准推理流程。其他研究使用模子我方的牵挂动作外部知识。举例，Memory-of-Thought（Li和Qiu，2023）起初进行预见考，将高置信度的想维保存到外部牵挂，在推理期间，它让LLM回忆关谋划念以赞助推理。
模子中的参数化知识在预试验收尾时固定，这导致其在知识容量和知识更新方面的不及。固然引入外部知识不错在一定进程上缓解这一丝，但它仍然是一个不齐全的科罚决议。要从压根上科罚这个问题，抓续学习（Lange等东说念主，2022年；Wang等东说念主，2023g）是改日研究责任的一个有但愿的道路。
4.3.4 投票和排行
由于生成流程中固有的立时性，LLM推理施展出立时性和不笃定性。通过多种抽样战略，不错灵验自便这个问题，如图6所示。
图片
图 6：投票和排序通过从多个采样中采纳最终谜底来减少不一致性。
一些方法袭取排行，如（Cobbe等东说念主，2021年），它试验一个考证器通过排行采纳高置信度的推理链。同期，其他方法通过投票机制采纳推理链。Self-consistency（Wang等东说念主，2023j）通过基于最终谜底的采样推理链的多数投票采纳最一致的谜底。此外，（Fu等东说念主，2023a）提议了Complex CoT，它专揽基于复杂度的投票战略，倾向于采纳由更复杂的推理链生成的谜底。可是，基于谜底的投票机制莫得推敲推理链的正确性。
Miao等东说念主（2023年）在投票时推敲了推理门径，这不错同期获取一致的谜底和真实赖的推理流程。此外，为了推敲跨链中间门径之间的相关，Yoran等东说念主（2023年）在推理链之间羼杂信息，并采纳最关联的事实对多个推理链进行元推理。GRACE（Khalifa等东说念主，2023年）通过对比学习试验一个鉴识器，并使用这个鉴识器对每个中间推理门径进行排行。曩昔的方法基于概率分散进行抽样，而Diversity-of-Thought（Naik等东说念主，2023年）通过使用不同的指示教唆获取多个推理旅途。
从集成学习中领受灵感，随后进行投票和排行的多重抽样作念法有助于减少不笃定性。此外，与单样本方法比拟，它展示了显赫的性能教会。多重抽样与投票已成为刻下X-of-thought研究中的常用期间。将推理链整合到投票中仍然是改日研究的一个进军领域。
4.3.5 后果
可惜年代久远，现如今观众们对这个版本的包青天似乎没有太多印象了。
LLM推理和手动注释的推理链带来了昌盛的支拨。Aggarwal等东说念主（2023年）通过动态调整样本数目提高自一致性，这不错在旯旮性能下落的情况下显赫裁汰推理资本。Ning等东说念主（2023年）并行地剖析问题并同期处理它们，减少了推理期间支拨。但它无法处理复杂问题。Zhang等东说念主（2023b）通过采纳性跳过一些中间层并随后在另一个前向传递中考证草稿来加速推理。Diao等东说念主（2023年）模仿了主动学习的想想，对具有高不笃定性的示例进行注释，减少了东说念主工注释资本。大限制讲话模子展示了高大的才略，但它们也带来了高大的支拨。在改日的研究责任中，均衡性能和支拨之间的量度可能需要多半的豪情。
5 前沿应用
5.1 器用使用
尽管大型讲话模子（LLMs）展示了平凡的知识，但也伴跟着一些挑战。这些挑战包括无法探听最新新闻、在回答触及领域外知识的查询时倾向于产生幻觉，以及衰退复杂的推理才略，如数学规划或标志推理。通过赋予LLMs使用外部器用的才略，不错增强模子的推理才略并整合外部知识，使其粗略进行信息检索和环境交互。
MRKL（Karpas等，2022年）引入了一种包含可膨胀模块（称为民众）和路由器的新框架。这些民众不错是神经相聚或标志体式。可是，这项研究主要集会在主意化和有意针对数学规划试验LLM，而莫得深入结束其他模块内容。TALM（Parisi等，2022年a）和Toolformer（Schick等，2023年）将文本为中心的方法与赞助器用集合，以增强讲话模子的才略。他们袭取自监督机制启动性能增强，从一组有限的器用教唆启动。近似地，HuggingGPT（Shen等，2023年）专揽视觉和语音模子处理来自不同模态的信息，从而赋予LLMs多模态团结和生成的才略。另一个问题是怎样采纳相宜的器用。LATM（Cai等，2023年）使LLMs粗略在不同任务中生成通用的API，而GEAR（Lu等，2023年c）则通过使用较小的模子来录用器用的基础和奉行，从而推敲器用使用的后果。
可是，将用户肯求诊疗为API花式平方并退却易。上述现存方法在促进屡次器用调用和改进查询诞妄方面存在局限性。为了科罚这个问题，ReAct（Yao等，2023年c）整合了推理和活动的上风，互相增强和补充，提高了问题科罚才略。ART（Paranjape等，2023年）使用任务库采纳关联的器用使用和推理链。MM-REACT（Yang等，2023年）进一步专揽视觉民众结束多模态推理和活动。
上述研究责任集会在想象器用（或API）以增强LLMs在各个领域的才略。将XoT与器用集合灵验应酬了LLMs靠近的挑战。X-of-thought推理使模子粗略灵验地引出、追踪和更新活动计划，同期经管极端情况。同期，活动操作促进模子与外部资源（如知识库和环境）的交互，使其粗略相聚特等信息。为了评估器用的才略，API-Bank（Li等，2023年c）和MetaTool（Huang等，2023年c）引入了概述基准，提供了评估器用增强型LLMs性能和灵验性的坚实基础。
5.2 策动
LLMs在径直提供复杂问题的准确谜底方面靠近挑战，需要将其剖析为连气儿的门径和子任务。固然想维链（CoT）提供了一种轻便的策动方法，但在科罚高度复杂的问题时却显得不及，且衰退通过回溯评估和改进诞妄的才略。
很多研究将想维链的框架膨胀到各样体式，以进一步增强策动才略。树形想维（Tree-of-Thought，Yao等，2023b）使LLMs粗略在树中推敲多种推理旅途并自我评估以笃定下一走路动。在需要全局决策的情况下，ToT允许通过深度优先搜索或广度优先搜索等期间进行前向或后向探索。通过策动进行推理（Reasoning via Planning，RAP，Hao等，2023年）也将问题差异为树，并通过蒙特卡洛树搜索算法进行探索，使用LLMs动作寰宇模子和推理代理。另一种方法，图形想维（Graph of Thought，GoT，Yao等，2023d），使用图节点示意各个想维并专揽外部图神经相聚进行组织。LLM+P（Liu等，2023年a）和LLM+DP（Dagan等，2023年）促进LLMs生成策动域界说讲话（PDDL）（Gerevini，2020）。PDDL有助于剖析复杂问题并专揽专科模子进行策动，然后将阻隔诊疗为当然讲话供LLM处理。可是，需要防卫的是，这些方法使用树/图/PDDL节点来示意想维，这在示意体式上有局限性，只可处理特定的策动问题。
皇冠客服飞机：@seo3687
另一种期间是提高模子改进诞妄和总结历史教会的才略。自我改进（Self-Refine，Madaan等，2023年）袭取了一种特有的方法，即使用归并模子评估并响应模子生成的输出。反想（Reflexion，Shinn等，2023年）使模子粗略反想并改进之前活动中的诞妄，近似于文本花式的强化学习，并将牵挂差异为始终和短期因素。可是，当出现计划外诞妄时，Reflexion无法更新计划。AdaPlanner（Sun等，2023年）引入了自稳妥闭环计划改进，把柄环境响应迭代细化任务计划。ISR-LLM（Zhou等，2023年c）将自我改进与PDDL集合，在始终间律例任务中取得了更高的到手率。同期，LATS（Zhou等，2023年a）专揽基于讲话模子的蒙特卡洛树搜索进行更纯真实策动流程。
策动不错纯真地与器用（Ruan等，2023年）或代理（Crispino等，2023年b）集合，以丰富推理才略。ToRA（Gou等，2023年）想象了带有外部器用的数学专科代理，AutoUI（Zhang和Zhang，2023年）径直与多模态环境交互，而不是将视觉输入诊疗为文本，从而提高推理后果并减少诞妄传播。
策动增强方法通过引入基于搜索、基于图形和基于界说讲话的方法，推进了传统律例策动的发展。另一方面，一些方法集合了活动、策动、反想或器用，旨在增强LLMs的始终策动和抗诞妄才略。
5.3 想维链蒸馏
通过蒸馏推理门径，大型讲话模子（LLM）不错自我改进以科罚复杂问题。Huang等（2022年）袭取了一种自一致性LLM，从未标记数据生成想维链。随后专揽这些链条微调模子，增强其平凡的推理才略。Zelikman等（2022年）提议了STaR，一种使用自轮回领导战略改进讲话模子推理才略的小样本学习方法。SECToR（Zhang和Parkes，2023年）使用想维链获取算术谜底，然后微调模子以径直生成谜底而无需想维链。
想维链是一种主要在大型讲话模子中不雅察到的新兴才略，在微型模子中进展有限。可是，通过蒸馏等期间教会微型模子的想维链才略是可行的。Magister等（2023年）展示了通过使用较大锻真金不怕火模子生成的推理链微调T5，并使用外部规划器科罚谜底，不错显赫提高各样数据集上的任务性能。Ho等（2023年）生成和筛选多条推理旅途以丰富各样性。
很多悉力旨在通过使用未标注（或很少标注）数据和自一致性（Wang等，2023j）来减少东说念主工资本。Hsieh等（2023年）使用教唆从一丝标注/未标注数据生成谜底，然青年景旨趣，教唆讲话模子为给定谜底提供推理。SCoTD（Li等，2023年）发现，从锻真金不怕火模子中为每个实例采样多条推理链对于提高学生模子的才略至关进军。SCOTT（Wang等，2023h）在生成锻真金不怕火模子的旨趣时使用对比解码（Li等，2022b；O'Brien和Lewis，2023年）。此外，为了科罚快捷花样问题，它在试验学生模子时袭取反事实推理主张。DialCoT（Han等，2023年）将推理门径剖析为多轮对话，并使用PPO算法采纳正确旅途。Jie等（2023年）；Wang等（2023i）为数学问题添加了特殊标记。这种高端倪信息提高了推理门径的一致性。
上述研究袭取了分享范式，通过具有更高推理才略的LLMs生成想维链，然后将这些想维链蒸馏到较小的模子中。通过增强较大模子的采样战略，举例专揽多条采样旅途、一致性或对比解码，蒸馏流程的灵验性得以提高，这带来了生成推理链的各样性和准确性，最终成心于向较小模子的蒸馏流程。值得防卫的是，讲话模子在多维才略上存在复杂的量度和均衡。Fu等（2023年b）强调，通过蒸馏加多任务特定的想维链才略可能会对模子科罚平凡问题的性能产生不利影响。
6 改日标的
固然想维链推理在很多任务中施展出了显赫的性能，但仍有一些挑战需要进一步探索。在本节中，咱们简要概述了改日研究的三个有出息的标的：多模态想维链推理（§6.1）、真实的想维链推理（§6.2）和想维链推理表面（§6.3）。
6.1 多模态想维链
从单一模态的文本到视觉-文本的多模态诊疗引入了更丰富的信息，同期也带来了更多的挑战。一些研究尝试通过微调多模态模子在多模态场景中生成高质料的想维链来探索想维链推理。Multimodal-CoT（Zhang等，2023年g）起初微调多模态模子生成想维链，然后在这些旨趣上进行推理以获取最终谜底。可是，它受到推理流程线性纵容的影响，而且在不同模态之间的交互方面存在困难。为了科罚Multimodal-CoT遭遇的挑战，Yao等（2023年d）提议了想维图（Graph-of-Thought，GoT），将想维流程建模为图。它将推理链解析为想维图，通过捕捉非律例的信拒却互，使想维流程的示意愈加真实。这一纪律通过图形结构破损了线性结构的纵容，并进一步提高了性能。此外，Yao等（2023年a）提议了超图想维（Hypergraph-of-Thought，HoT），用超图取代想维图，使模子具有更好的高阶多跳推理和多模态比较判断才略。同期，一些责任袭取了基于知识蒸馏的方法。T-SciQ（Wang等，2023年d）从LLM生成高质料的想维链旨趣动作微调信号，并引入了一种新颖的数据羼杂战略，以生成适用于不同问题的灵验样本。
上述研究在小模子和微调场景中探索了多模态推理，这被视为多模态想维链推理领域的初步尝试。咱们以为，集合高下体裁习的视频多模态推理当该成为改日研究的要点。一方面，与图像比拟，视频引入了特等的期间信息，具有内在的链条相关。通过想维链推理，不错当然地团结不同帧中的信息，显式建模期间相关，这相配得当视频多模态推理。另一方面，小模子在才略上有限，需要微调才能获取想维链才略。更灾祸的是，多模态推理链难以获取，这进一步加重了挑战。比拟之下，刻下的视觉-讲话基础模子（VLMs）（Alayrac等，2022年；Li等，2023年a；Wang等，2022年b；Huang等，2023年b；Peng等，2023年；Yu等，2021年b）具有强劲的视觉-讲话团结才略，如故粗略在文本和图像交错的高下文中进行学习。它们为集合高下体裁习的想维链推理提供了坚实基础。专揽想维链进行视频推理仍然是一个未被充分探索的领域，唯一少数研究触及。CoMT（Hu等，2023年b）在视频推理中集合了快想维和慢想维，并引入了策动的树搜索战略，初度在视频多模态推理中应用了想维链。
尽管一些研究如故启动专揽想维链推团结决多模态推理任务，但之前的责任仅豪情于怎样构建高质料的微调数据，仍有多少挑战需要科罚：
- 怎样调和视觉和讲话特征以引出更好的多模态团结。
- 如安在不进行微调的情况下使用VLMs进行想维链推理。
- 怎样将图像多模态推理稳妥到视频多模态推理。
6.2 真实度
多半研究标明，想维链推理可能导致幻觉气候，如事实诞妄和高下文不一致。推敲到讲话模子骨子上属于统计模子，而且由于数据噪声和知识淡忘等因素，幻觉气候是不行幸免的。
一些责任专注于自便事实诞妄。He等（2023年a）引入外部知识来评估推理链，并通过投票过滤偷换含事实诞妄的链条，但不进行改进。Wang等（2023年b）袭取了近似的方法，不同之处在于特等引入了反想机制以改进低评分的推理。Zhao等（2023年a）通过一致性过滤掉低置信度的推理，并领导模子基于关联外部知识再行推理。固然上述方法在知识密集型任务中施展考究，但在科罚高下文不一致性挑战方面却有所不及。Zhang等（2023年d）探索了推理流程中幻觉滚雪球气候。其他一些研究旨在科罚不一致性问题。Radhakrishnan等（2023年）不雅察到，模子在处理轻便问题时更为真实。因此，通干预题剖析来提高真实度。Faithful CoT（Lyu等，2023年）率先生成标志推理链，然后笃定性地奉行标志函数，以自便推理不一致性。Lanham等（2023年）探讨了影响真实度的因素，提供了教会性视角。研究发现，不同任务的真实度不同，跟着模子限制的加多，真实度下落。CoNLI（Lei等，2023年b）提议了一种后剪辑战略以减少幻觉。SynTra（Jones等，2023年）在易引发幻觉的合成数据集上进行前缀调优，然后将此才略转机到本质任务中。
尽管在科罚大型讲话模子幻觉问题上作念出了很多悉力，这些责任仅在某种进程上缓解了问题。要竣工提肥硕型讲话模子的真实度还有很长的路要走。咱们总结了改日的研究标的如下：
- 提高识别推理流程中的幻觉气候的才略。
- 提高外部知识检索和专揽的准确性，以减少事实诞妄。
- 提高识别和改进高下文不一致和逻辑诞妄的才略，这更具挑战性。
- 怎样从压根上捣毁幻觉气候，举例通过特定的预试验方法。
6.3 想维链表面
尽管想维链推理施展出了令东说念主印象深切的才略，但仍然衰退对于按照指示生成想维链的全面解释。
一些研究从教会角度动手，可动作本质领导。Madaan和Yazdanbakhsh（2022年）将教唆剖析为三个部分：标志、模式和文本，通过反事实教唆探索想维链的影响。Wang等（2023年a）分析了示范采纳的影响。他们发现，推理链的正确性影响很小，而与问题的关联性和正确的推理律例很进军。Tang等（2023年）探索了语义的作用。研究发现，想维链推理在很猛进程上依赖于预试验期间引入的语义知识，在标志推理方面施展欠安。
其他一些研究从表面上分析，探索潜在的旨趣和里面机制。Li等（2023年e）将想维链推团结构为一个多门径组合函数。他们标明，想维链减少了高下体裁习处理复杂问题的复杂性。Feng等（2023年）表面诠释了一个固定大小的Transformer足以完陋习划任务和动态策动任务，并撑抓想维链。Merrill和Sabharwal（2023年）不雅察到，想维链不错增强推理才略，跟着中间推理门径数目的加多，改进幅度也加多。Wu等（2023年）专揽基于梯度的特征归因方法探索想维链对输出的影响。阻隔标明，想维链对问题中的扰动和变化施展出鲁棒性。此外，有一些不雅点以为，想维链才略源自预试验阶段的代码数据（Madaan等，2022年；Zhang等，2023年c），但现在莫得系统的责任来阐述这一不雅点。
刻下对想维链表面的研究仍处于初步探索阶段。咱们总结了改日的研究标的如下：
- 探索想维链才略的开头，以结束想维链推理的有针对性改进。
- 从表面上分析想维链相对于高下体裁习的上风，并探索其才略鸿沟。
7 有计划
7.1 想维链构建比较
现存方法构建想维链主要有三种花样：(1) 手动标注推理链。 (2) 模子自动生成推理链。 (3) 半自动生成，专揽一丝手动标注的推理链进行自动膨胀。
咱们不雅察到，手动构建方法（Wei等，2022b；Gao等，2023年）靠近与高下体裁习近似的挑战，即示范采纳、指示花式化等（Dong等，2023年）。这导致其应用困难重重，而且费劲了跨不同任务的转机才略。自动构建方法（Zhang等，2023年f；Chen等，2022年a；Xu等，2023年）衰退高质料标注的领导，导致性能不及。成绩于手动标注带来的信号，半自动方法（Shum等，2023年；Shao等，2023年）不错通过自领导和近似期间生成高质料的推理链，灵验科罚了以往方法靠近的挑战。在取得优异性能的同期，还能自满结束跨不同任务的转机。
7.2 考证/改进与策动的比较
策动方法与基于考证/改进的方法之间存在很多相似之处，因为两者都依赖于中间流程的响应来调整和改进步履。区别在于策动方法包括决策流程，而基于考证/改进的方法仅科罚中间诞妄，而不触及更高端倪的领会流程。
LLM的推理流程平方存在幻觉，导致事实和逻辑诞妄。基于考证和剪辑的方法（Ling等，2023年；Zhao等，2023年a；Madaan等，2023年；Shinn等，2023年）考证推理流程的正确性并改进可能导致幻觉的推理门径。通过考证和改进，大大减少了推理流程中的连锁诞妄和幻觉气候。
策动方法（Long，2023年；Yao等，2023年b,c；Liu等，2023年a；Shinn等，2023年）在推理中引入了决策流程。他们评估中间推理门径以获取响应，并基于响应进行探索和回溯，以在全局层面上获取更优的科罚决议。其专科化在于处理复杂问题，非常是在面对复杂的多跳推理和策动任务时，粗略取得显赫的性能。
7.3 弥补固有弱势
LLM在推理方面存在很多固有的局限性，举例无法探听外部信息、算术诞妄和不一致的推理。这些问题不错通过将特定职责寄托给专用模块或模子来好意思妙地躲避。
针对模子在探听外部信息方面的局限性，（Li等，2023年d；Wang等，2023年b；Lu等，2023年a；Schick等，2023年；Karpas等，2022年；Yoran等，2023年）专揽知识库、搜索引擎和盛开域问答系统等外部知识资源。一些责任引入了规划器来科罚算术诞妄（Schick等，2023年；Karpas等，2022年；Parisi等，2022年b）。代码奉行是笃定性的，一些责任通过引入代码奉行器提高推理流程的一致性（Gao等，2023年；Chen等，2022年a；Bi等，2023年；Imani等，2023年）。咱们以为，将LLM用作中央策动和推理的代理，将特定子任务寄托给专用子模子，是改日在复杂场景中应用大模子的潜在道路（Wang等，2023年e；Xi等，2023年）。
7.4 其他责任
在本章中，咱们将列出其他代表早期尝试想维链推理或专为特定领域想象的责任。Katz等（2022年）；Zhang等（2022年）提供了基准和资源。一些责任教会性地诠释了想维链教唆的灵验性（Lampinen等，2022年；Ye和Durrett，2022年；Arora等，2023年），Shi等（2023年）探索了多讲话想维链推理。其他责任专注于特定领域，如机器翻译（He等，2023年b）、脸色分析（Fei等，2023年）、句子镶嵌（Zhang等，2023年a）、摘抄（Wang等，2023年k）、算术（Lee和Kim，2023年）和表格推理（Chen，2023年；Jin和Lu，2023年）等。此外，一些研究专揽特定的预试验来增强某些才略，如数学推理（Lewkowycz等，2022年；Zhao等，2022年）。
8 论断
本文对现存的想维链推理研究进行了平凡的窥伺，提供了对该领域的全面回来。咱们先容了广义想维链（X-of-Thought）的主意，并从多个角度谛视了X-of-Thought推理的进展。此外，咱们还探讨了X-of-Thought在前沿领域的应用。咱们还强调了现在这一研究靠近的挑战，并瞻望了改日的出息。据咱们所知，这项窥伺是对想维链推理的初度系统性探索。咱们的主张是为对想维链推理感兴味的研究东说念主员提供全面的概述，但愿这项窥伺能促进该领域的进一步研究。
Chu Z, Chen J, Chen Q, et al. A survey of chain of thought reasoning: Advances新2管理端app, frontiers and future[J]. arXiv preprint arXiv:2309.15402, 2023.
本站仅提供存储事业，系数内容均由用户发布，如发现存害或侵权内容，请点击举报。
