国际 Web 安全非营利基金会开放 Web 应用程序安全项目 (OWASP)公布了大型语言模型 (LLM)应用程序中常见的 10 个最严重的漏洞，并警告了相关风险。示例包括提示注入、数据泄漏、不当沙箱和未经授权的代码执行。

OWASP公布漏洞排名的目的是通过教育开发人员、设计师、架构师、管理人员和公司了解部署和管理LLM时潜在的安全风险，从而提高对漏洞的认识并提出应对策略。应用程序的姿势。

ⓒ 格尔德·阿尔特曼 (CC0)

基于法学硕士的生成式人工智能聊天机器人的出现及其对网络安全的影响最近成为争议的主要话题。新技术带来的风险包括通过先进的自学习算法共享敏感业务信息的可能性，以及恶意行为者可能利用此类算法显着增强攻击的可能性。出于数据安全、保护和隐私的原因，一些国家、美国各州和公司正在考虑或已经禁止使用 ChatGPT 等生成式人工智能技术。

以下是 OWASP 公布的影响 LLM 应用程序的 10 个最严重的漏洞

根据 OWASP 的说法，提示注入 土耳其电话号码数据 是使用精心设计的提示来操纵 LLM 或通过使 LLM 忽略先前的指令或执行意外操作来绕过过滤器。OWASP 表示：“即时注入漏洞可能会导致意想不到的后果，包括数据泄露、未经授权的访问或其他安全漏洞。”

常见的提示注入漏洞包括使用特定语言模式或标记绕过过滤器或限制、利用 LLM 标记化或编码机制中的弱点以及向 LLM 提供误导性上下文以引发意外行为。

例如，恶意用户可以通过使用 LLM 无法识别为受限内容的特定语言模式、令牌或编码机制来绕过内容过滤器，从而执行应被阻止的操作。

LLM 会定期更新和微调 以提高 LLM 对恶意输入和异常情况的理解

当法学硕士的回复无 EK 线索 感信息、专有算法或其他机密细节时，就会发生数据泄露。OWASP 表示：“这可能会导致安全漏洞，包括未经授权访问敏感数据或知识产权或隐私泄露。敏感信息过滤不完整/不恰当、敏感数据过度学习、误解或错误是常见的数据泄露漏洞。OWASP 警告，在某些情况下，攻击者可能会向 LLM 提出。

善意的问题，并带有精心设计的提示，以提取 LLM 从其训练数据中记住的敏感信息，或者合法用户无意中向 LLM 提出问题，可能会导致该问题的发生。泄露敏感/机密信息。