码农狂喜!微软提出CodePlan,跨168个代码库编码任务,LLM自动化完成

更新时间:2023-10-06 12:09:20作者:橙橘网

码农狂喜!微软提出CodePlan,跨168个代码库编码任务,LLM自动化完成



新智元报道

编辑:桃子

【新智元导读】这一次,微软提出的CodePlan让码农的生产力又提高了!

对于大模型来说,擅长的是本地化编码任务。

但如果任务跨越了多个相互依赖的文件,LLM却无法解决。


对此,微软研究人员设计了一个任务无关的神经网络框架,名为CodePlan。


论文地址:https://arxiv.org/pdf/2309.12499.pdf

论文中,CodePlan综合了多步骤编辑链(chain-of-edits),是一种将程序分析、规划和LLM结合在一起的新方法。

一起来具体看看,CodePlan是如何设计的?

CodePlan:大模型+规划

软件工程活动中,例如软件包迁移、修复静态分析或测试的错误报告,以及向代码库添加类型提示或其他规范,涉及到对整个代码存储库的普遍编辑。

研究人员将这些活动规划,为「存储库级别的编码任务」。

随着编码工具如GitHub Copilot、Code Whisperer得到了大模型能力加持,已经为码农在本地化编码问题提供了解决方案。

然而,现实是,「存储库级别的编码任务」更加复杂,不能直接通过LLM解决,因为存储库中的代码是相互依赖的,整个存储库可能太大而无法纳入提示。


这项研究中,微软团队将库级编码框架作为一个规划问题,并提出了一个任务不可知的框架,称为CodePlan。

CodePlan综合了一个多步骤的编辑链(计划) ,其中每一步都会调用代码位置上的LLM。该代码位置上的上下文来自整个存储库、以前的代码更改和特定于任务的指令。

CodePlan是基于增量依赖分析、变更可能影响分析和自适应规划算法的新型组合。


如下图,展示了复数库API的变化,微软研究人员的任务是根据这一变化迁移代码库。


图3左侧显示了代码库中使用复数库的相关部分。

具体来说,Create.cs文件中的方法func,调用了库中的create_complex方法,Process.cs文件中的方法Process.cs调用了func。


研究人员将图1中的任务描述和func主体传递给LLM,以生成修改后的func代码,如图3右侧所示。

可以看到,LLM已经正确地编辑了对create_complex API的调用,以便它返回一个Complex类型的对象,而不是两个浮点值的元组。

注意,这个编辑导致了方法func的签名发生了变化——它现在返回了一个Complex类型的对象。

这就需要修改方法func的调用者,比如Process.cs中的process方法,如图3左下角所示。如果不对process方法的主体进行适当的修改,代码就不能构建!

图3右下方显示了对process方法的适当修改,它能使版本库达到一致的状态,从而在编译时不会出错。

对于研究人员来说,最主要的是构建一个「存储库级别的编码系统」,能自动生成编辑所需的派生规范。

LLM驱动的库级编码任务定义如下:


CodePlan整体框架中,输入是一个存储库、一个通过自然语言指令或一组初始代码编辑表达种子规范的任务,一个正确性oracle和一个 LLM。

CodePlan构建了一个计划图,图中的每个节点都标识 LLM需要履行的代码编辑义务,而边则表示目标节点需要在源节点之后履行。

CodePlan监控代码编辑,并自适应地扩展计划图。

一旦计划中的所有步骤都已完成,存储库将由oracle进行分析。如果oracle验证了资源库,则任务完成。如果发现错误,错误报告将作为下一轮计划生成和执行的种子规范。


此外,CodePlan算法还维护了一个依赖关系图,图4说明了依赖关系图的结构。


刷新SOTA

研究人员评估了CodePlan在两个存储库级任务上的有效性: 包迁移 (C#)和时态代码编辑(Python)。

每个任务在多个代码库上进行评估,每个代码库都需要对多个文件(2-97个文件)进行相互依赖的更改。


这种复杂程度的编码任务,以前从未使用过LLM自动完成。

研究结果表明,与基线相比,CodePlan更符合基本事实,能够让5/6个存储库通过有效性检查,比如,无差错构建和正确的代码编辑。

总之,CodePlan为自动化复杂的库级编码任务提供了一种有前途的方法,既提高了生产率,又提高了准确性。

它成功应对了许多挑战,为高效可靠的软件工程实践开辟了新的可能性。

参考资料:

https://twitter.com/adityakanade0/status/1706291449674039711