GPT-4代码生成中API误用率超过62%，你敢使用吗？

🆕最新资讯🆕
近年来，大型语言模型（LLM）的能力非凡，不仅可以理解自然语言，还可以根据用户需求生成定制代码。越来越多的软件工程师倾向于通过查询大型语言模型来解决编程问题，例如使用API生成代码段或检测代码中的错误。然而，尽管大型语言模型的生成速度很快，但其中代码生成可能存在潜在风险。因为大型语言模型生成的代码没有经过同行审查，所以可能存在API误用的问题，例如在文件读取和变量索引中缺少边界检查、缺少文件I/O关闭等。即使这些生成的代码样本能够执行和满足功能要求，误用也可能导致严重的潜在风险，如内存泄漏、程序崩溃等。因此，在评估大型语言模型的代码生成能力时，必须考虑代码的可靠性。加州大学圣迭戈分校的研究人员提出了RobustAPI框架，用于评估大型语言模型生成的代码的可靠性和稳健性。他们通过收集真实的Java编程问题和相应的API信息来创建一个接近真实软件开发的评估设置，并设计了一个使用抽象语法树（AST）的评估器。该研究全面分析了常见的API误用情况，并为大型语言模型的评估提供了新的维度。
来源：https://www.jiqizhixin.com/