论文阅读：Can LLM Replace Stack Overflow? A Study on Robustness and Reliability of Large Language Model C

Can LLM Replace Stack Overflow? A Study on Robustness and Reliability of Large Language Model Code Generation

这篇论文提出了一个名为 RobustAPI 的新基准测试，旨在评估大型语言模型（LLMs）生成代码时的 API 误用行为。以下是对论文内容的总结：

1. 背景与动机：随着大型语言模型在编程领域的应用日益增多，它们生成的代码的可靠性和鲁棒性成为了关键问题。尽管这些模型能够生成语法正确的代码，但它们在实际软件开发中可能不够可靠，尤其是在 API 使用方面。

2. RobustAPI 基准测试：作者创建了 RobustAPI，一个包含 1208 个 Stack Overflow 上的问题和相关 Java API 的数据集，用以评估 LLMs 生成的代码的可靠性和鲁棒性。

3. 实验设置：论文中对几个主流的 LLMs（包括 GPT-3.5、GPT-4、Llama-2 和 Vicuna-1.5）进行了评估，考虑了零样本、单不相关样本和单相关样本三种实验设置。

4. 评估方法：使用静态分析方法，特别是基于抽象语法树（AST）的技术，来检测代码中的 API 误用。

5. 主要发现：

   <