NL2SQL-BUGs：用于检测NL2SQL翻译中语义错误的基准

自然语言到SQL（即 NL2SQL）翻译对于实现数据库访问的民主化至关重要，但即使是最先进的模型也经常生成语义不正确的 SQL 查询，阻碍了这些技术被数据库供应商广泛采用。虽然现有的 NL2SQL 基准主要关注正确查询翻译，我们认为一个专门用于识别 NL2SQL 翻译中常见错误的基准同样重要，因为准确检测这些错误是任何后续校正的前提——无论是由人类还是模型完成。为了解决这一空白，我们提出了 ，这是第一个专门用于检测和分类 NL2SQL 翻译中语义错误的基准。采用了两级分类法系统地对语义错误进行分类，涵盖了9个主要类别和31个子类别。该基准包含2,018个专家注释的实例，每个实例包含一个自然语言查询、数据库模式和 SQL 查询，并对语义不正确的查询进行了详细的错误注释。通过全面的实验，我们证明当前的大语言模型在语义错误检测方面存在显著限制，平均检测准确率仅为75.16%。尽管如此，这些模型成功检测到了广泛使用的 NL2SQL 数据集 BIRD 中的 106 个错误（占 6.91% ），这些错误之前是基准中的标注错误。这突显了语义错误检测在 NL2SQL 系统中的重要性。