近年来，大言语模型（LLMs）因为其通用的疑问处置才干而惹起了少量的关注。现有钻研标明，适当的揭示设计（promptenginerring），例如思想链（Chn-of-Thoughts），可以解锁LLM在不同畛域的弱小才干。

但是，在处置触及重复子义务和/或含有诈骗性内容的义务（例如算术计算和段落级别长度的虚伪资讯检测）时，现有的揭示战略要么受限于表白才干无余，要么会遭到幻觉引发的两边失误的影响。

为了使LLM更好地分辨并尽或者防止这种两边失误，来自南加州大学、微软的钻研者提出了一种基于分治算法的揭示战略。这种战略应用分治程序来疏导LLM。

论文地址：

详细来讲，咱们将一个大义务的处置环节解耦为三个子环节：子疑问划分、子疑问求解以及子疑问兼并。通常剖析标明，咱们的战略可以赋予LLM逾越固定深度Transformer的表白才干。试验标明，咱们提出的方法在遭到两边失误和诈骗性内容困扰的义务中（例如大整数乘法、幻觉检测和失误信息检测）可以比经典的揭示战略取得更好的性能。

太长不看版：咱们发如今运行LLM处置较长的疑问输入时，把输入拆分而后分而治之可以取得更好的成果。咱们从通常上解释了这一现象并试验角度启动了验证。

钻研动机

本文的钻研动机来自于试验中观察到的幽默现象。详细来说，咱们发现关于触及重复子义务和/或含有诈骗性内容的义务（如段落级别长度的虚伪资讯检测），对输入启动拆分可以优化模型关于失误信息的分辨才干。下图展现了一个详细的例子。

在这个例子当中，咱们调用大言语模型来评价一段总结性文天性否与完整的资讯报道存无理想性抵触。

在这个义务中，咱们尝试了两种战略：耦合战略和分治战略。在耦合战略下，咱们间接为模型提供完整的资讯报道和整段总结性文本，而后要求模型评价二者能否存在抵触。模型失误地以为二者不存在抵触，并且漠视了咱们标红的抵触点（资讯中明白表示考查人员否认了录像的存在，但是总结中的第一句话表示录像已被完成还原）。

而当咱们采取分治战略，也就是便捷地将总结性文本拆分红多句话，而后区分对每句话启动评价，模型完成地识别出了抵触。

这个例子向咱们展现了：对长输入启动划分可以协助咱们更好地解锁模型的才干。基于这一点，咱们提出应用分治程序来疏导LLM，从而赋予模型更强的分辨力。

基于分治的揭示（prompting）战略

咱们提出经常使用分治（Divide-and-Conquer,DaC）程序来疏导LLM。该程序包括三个不同的子环节： 子疑问划分、子疑问求解以及子解答兼并 。

在子疑问划分，咱们揭示LLM将义务分解为一系列具有较小规模的并行同质子义务（例如将长段落分解为句子）。这里的并行准则保障模型可以区分处置这些子义务而不依赖于某些特定的求解顺序。也因此，一个子义务的解答不会依赖于其它子义务的解答的正确性，这增强了模型关于两边失误的鲁棒性，使模型取得更强的分辨力。

之后，在子疑问求解阶段，咱们揭示LLM区分求解每个子义务。

最后，在子解答兼并阶段，咱们揭示LLM将每个子义务的答案组合起来并取得最终答案。在这个环节中，一切三个阶段的推理环节都被隔退进去以防止搅扰。它们都由一个程序而不是LLM来疏导，以防止幻觉或来自输入高低文的诈骗。

在上方的示用意中，咱们将自己的方法和目前盛行的揭示战略启动了对比。

为了处置不同规模的义务，咱们提出了两种变体： 单级分治战略(Single-LevelDivide-and-Conquer) 和 多级分治战略(Multi-LevelDivide-and-Conquer) 。单级战略中，咱们只对输入启动一次性划分，而后就开局启动求解。在多级战略中，咱们可以递归调用分治程序，从而把求解环节开展成一棵多层的树。

通常剖析

咱们经过通常剖析展现了为什么分治战略能够优化大言语模型的分辨力。

此前的上班（Fengetal2023,Merrill&Sabharwal2023）曾经证实，现有的通用大言语模型所普遍驳回的固定深度与对数精度的预训练Transformer，存在表白才干上的限度。

详细来说，假定NC1类疑问严厉难于TC0类时（TC0和NC1是并行计算通常中的两大类疑问，其相关相似P与NP），那么这些Transformer模型在处置NC1齐全疑问时，其模型宽度须要以超多项式（如指数）级别的速度随疑问规模增长。NC1齐全疑问蕴含了很多经常出现的疑问，比如两色2叉子树婚配疑问。

而咱们此前提到的评价两段文天性否存无理想性抵触的疑问，恰恰可以被视为判别总结文本所对应的语义树能否婚配资讯资料的语义树的一棵子树。因此，当总结性文本足够长时，大言语模型会面临表白才干无余的疑问。咱们的通常剖析严厉证实了，在基于分治的揭示战略下，存在一个宽度和深度均为常数的Transformer，可以在log（n）的时期复杂度下处置恣意规模的两色2叉子树婚配疑问

试验结果

咱们思考了三个义务： 大整数乘法、幻觉检测、资讯验证 。咱们基于GPT-3.5-Turbo和启动评价。关于大整数乘法，此前的上班曾经证实，难以正确计算4位以上的整数乘法疑问。因此咱们经常使用5位乘5位的乘法来验证咱们的揭示战略的有效性。

结果如下图所示，可以看出，无论是准确率目的还是编辑距离目的，咱们的方法相对其余baseline都具有显著长处。

关于幻觉检测，咱们驳回HaluEval数据集中的SummarizationHallucinationDetection子集。关于该子集，模型须要依据一段资讯资料判别一段总结性文天性否蕴含幻觉。咱们将总结性文本划分为单句并区分启动检测。

检测结果如下，可以看到，咱们的方法相对baseline更好的平衡了准确度和召回率，从而取得了更好的准确率和F1score。

关于资讯验证，咱们基于SciFact数据集结构了一个段落验证数据集。关于该数据集，模型须要依据一篇学术论文中的段落判别一段资讯报道是真资讯还是假资讯。咱们将资讯报道划分为单句并区分启动检测。

检测结果如下，可以看到，咱们的方法相对baseline取得了更好的准确率和G-Meanscore。

援用

Merrill,W.andSabharwal,A.Theparallelismtradeoff:Limitationsoflog-precisiontransformers.TransactionsoftheAssociationforComputationalLinguistics.

Feng,Guhao,etal."Towardsrevealingthemysterybehindchainofthought:atheoreticalperspective."AdvancesinNeuralInformationProcessingSystems36(2024).

最大子段和问题的算法完整程序

/*简单算法:**v[0]不保存数据**T(n)=O(n^2).*/int MaxSum(int *v,int n,int *besti,int *bestj){int sum=0;int i,j;for (i=1;i<=n;i++){int thissum=0;for (j=i;j<=n;j++){thissum+=v[j];if (thissum>sum){sum=thissum;*besti=i;*bestj=j;}}}return sum;}/*分治法:**将a[1n]分成a[1n/2]和a[n/2+1n],则a[1n]的最大字段和有三种情况:**(1)a[1n]的最大子段和与a[1n/2]的最大子段和相同**(2)a[1n]的最大子段和与a[n/2n]的最大子段和相同**(3)a[1n]的最大子段和为ai++aj,1<=i<=n/2,n/2+1<=j<=n**T(n)=2T(n/2)+O(n)**T(n)=O(nlogn)*/int MaxSum_DIV(int *v,int l,int r){int k,sum=0;if(l==r)return v[l]>=0?v[l]:0;else{int center=(l+r)/2;int lsum=MaxSum_DIV(v,l,center);int rsum=MaxSum_DIV(v,center+1,r);int s1=0;int lefts=0;for (k=center;k>=l;k--){lefts+=v[k];if(lefts>s1)s1=lefts;}int s2=0;int rights=0;for (k=center+1;k<=r;k++){rights+=v[k];if(rights>s2)s2=rights;}sum=s1+s2;if(sumsum=lsum; if(sum sum=rsum; } return sum; } /*动态规划算法: **b[j]=max{a[i]++a[j]},1<=i<=j,且1<=j<=n,则所求的最大子段和为max b[j]，1<=j<=n。 **由b[j]的定义可易知，当b[j-1]>0时b[j]=b[j-1]+a[j]，否则b[j]=a[j]。 故b[j]的动态规划递归式为: **b[j]=max(b[j-1]+a[j],a[j])，1<=j<=n。 **T(n)=O(n) */ int MaxSum_DYN(int *v,int n) { int sum=0,b=0; int i; for (i=1;i<=n;i++) { if(b>0) b+=v[i]; else b=v[i]; if(b>sum) sum=b; } return sum; }

计算机常用算法有那些？

递归，折半，冒泡，链表 堆栈等