ITCOW牛新网 4月2日消息，随着生成式AI技术的快速发展和广泛应用，其安全性、隐私性和可靠性问题日益受到关注。为了应对这些挑战，微软公司近日推出了一系列解决方案，旨在防止生成式AI失控，并确保其安全、负责任地运行。
微软在官方公告中强调了防止提示词注入攻击的重要性，这种攻击中，恶意行为者试图操纵人工智能系统做一些超出其预期目的的事情。为了应对这一挑战，微软采取了多项措施。
首先，微软限制了Copilot等生成式AI工具的字符数量，以减轻严重的幻觉发作。这一措施有助于防止AI生成过长、不切实际或有害的文本内容。
其次，微软引入了“基础检测”（Groundedness Detection）功能。该功能能够自动检测文本中的“ungrounded material”，即那些与事实不符或缺乏依据的内容，从而支持LLM（Large Language Model）输出的质量，并提高用户对AI生成内容的信任度。
此外，微软还推出了一系列相关工具，以增强生成式AI的安全性和可靠性。其中，Prompt Shields用于检测和阻止提示注入攻击，保护AI系统免受恶意行为者的操纵。Safety system messages则可引导AI模型朝着安全、负责任的方向发展，确保其输出内容符合社会道德和法律规定。
同时，微软还提供了Safety evaluations工具，用于评估应用程序在越狱攻击和生成内容风险方面的脆弱性。该工具可帮助开发人员识别和修复潜在的安全漏洞，提升应用程序的整体安全性。
最后，Risk and safety monitoring功能可帮助用户了解哪些模型输入、输出和最终用户会触发内容过滤器，从而为减轻风险提供有价值的信息。这一功能使得用户能够更加主动地监控和管理AI系统的运行情况，确保其始终在安全、可控的范围内运行。
微软公司推出的这一系列解决方案旨在全面提升生成式AI的安全性、隐私性和可靠性。通过这些措施的实施，微软期望能够为用户提供一个更加安全、可信赖的AI环境，并推动生成式AI技术的健康发展和社会应用。