在 AI 迅速发展的背景下，CISO 们必须迅速掌握局势。AI 技术的风险包括提示注入攻击、数据泄露及治理与合规问题。所有的 AI 项目都有这些问题，但生成性 AI 的迅猛增长正在挑战现有的控制措施，同时也打开了新的脆弱性。
从市场研究来看，CISO 值得注意的是，预计将有 70 的组织会探索生成性 AI。这一趋势主要受 ChatGPT 的推动。根据普华永道的报告，几乎所有企业领导者都表示，公司在短期内将优先考虑与 AI 系统相关的至少一项举措。
投资热潮并非只是防御性的。高盛预测生成性 AI 可能提升全球 GDP 7。麦肯锡则指出，AI 的主要使用场景在于客户运营、市场营销和销售、研发及软件工程。例如，全球战略咨询公司 Altman Solon 的调查显示，近四分之一的科技公司已在软件开发中使用 AI，66 的公司可能在明年采用 AI。
根据 Gartner 的数据，68 的高管认为生成性 AI 的收益大于风险，而仅有 5 的人认为风险超过收益。然而，随着投资的加深，观点可能会发生变化。Gartner 分析师 Frances Karamouzis 表示：“组织在开始开发和部署生成性 AI 时，会面临一系列信任、风险、安全、隐私和伦理问题。”
最新的风险之一是提示注入攻击，这是一种新兴的攻击向量，可以通过 “越狱” 手段使得 AI 完成不该做的事情，诸如撰写恶意软件或提供制造炸弹的指南。一旦企业开始推行自己的生成性 AI，例如用于客户服务，越狱可能允许恶意参与者访问他人的账户或进行其他有害行为。
蚂蚁加速npv早些时候，OWASP 发布了其大语言模型应用的十大关键脆弱性，提示注入攻击位列第一。攻击者也可能利用这些模型来执行恶意代码、访问受限资源或污染训练数据。企业在自己部署这些模型时，可以对提示实施防火墙保护，增强实时监控和异常检测，“你可以看到发生了什么，并可以建立控制措施，”Litan 说道。
对于第三方供应商而言，情况则并非如此。即使供应商在训练数据的初步使用上有优秀的安全控制，但聊天机器人仍需要访问操作数据才能正常工作。“遗留的保护控制对数据的适用性及提示注入是不够的，”Litan 说。“将这些数据保留在本地会更合逻辑，但必须事先做好保护措施。”
根据一项涉及 9000 多名美国专业人士的测评，员工们对 ChatGPT 的热爱显而易见，80 的人反对禁止使用这一技术。然而，ChatGPT 和类似的大语言模型是基于与用户的交互不断被训练的。如果用户请求帮助编辑包含公司机密的文档，AI 可能会因此了解到这些机密，并可能在未来向其他用户泄露信息。“这个问题是非常现实的担忧，”Forrester Research 分析师 Jeff Pollard 说道。
“我们发现医生将病人信息上传到 ChatGPT 用以撰写信件，”Cyberhaven 的 CSO Chris Hodson 说道。
专为企业使用而设计的平台非常重视这一问题，Pollard 表示：“他们不希望保留你的数据，因为他们明白这会阻碍采用。”
部署生成性 AI 的最安全方法是在自身基础设施上运行私有模型。然而，Altman Solon 的
