PromptBench：大型语言模型的试金石

PromptBench介绍

PromptBench是由微软研究人员设计的基准，用于评估大型语言模型（LLMs）对对抗提示的稳健性。这种创新性工具是对理解LLMs的漏洞越来越重要的一个重大进展，因为这些模型在各种应用中变得更加普遍。

研究报告 — 2306.04528.pdf (arxiv.org)

PromptBench 代码链接：GitHub —— microsoft/promptbench：用于对敌对提示上的大型语言模型进行稳健性评估的框架。

研究及其方法论

使用PromptBench进行的研究全面而彻底。它采用了各种针对多个级别和任务的提示的对抗性文本攻击。研究人员生成了4000多个对抗性提示，然后在8个任务和13个数据集上进行了评估。这种全面的方法确保了对潜在漏洞的广泛覆盖，并提供了对LLMs性能的强大评估。