卓越方达logo200*800

生成式人工智能和网络安全

生成式 AI 是一种新兴的人工智能形式,允许用户利用经过训练的模型生成各种形式的新内容,包括文本、图像、音频和视频。N早期,所有企业都使用或至少考虑使用生成式人工智能来支持其日常运营和业务工作流程。

然而,生成式人工智能的快速增长引发了网络安全和监管合规方面的担忧。这些担忧当然是有道理的,在公司管理其网络安全态势时需要从各个角度进行检查。但许多人还没有意识到的是,如果战略性地使用,同样的技术也可以补充安全管理工具和团队。

在本指南中,您将了解生成式 AI 在网络安全方面的利弊、大公司目前如何使用这项技术来支持其网络安全工具,以及如何使用生成式 AI 来平衡有效性与网络安全和道德最佳实践。

生成式 AI 的主要网络安全风险 #

生成式人工智能给企业和消费者带来了一些潜在的安全风险,尤其是在数据层面。以下是使用生成式 AI 时出现的一些主要安全风险:

模型训练期间和之后的漏洞 #

由于生成式 AI 模型是根据从各种来源收集的数据进行训练的,而且并不总是以透明的方式进行训练,因此尚不清楚究竟哪些数据会暴露在这种额外的攻击面上。

再加上这些生成式 AI 工具有时会长时间存储数据,并且并不总是有最好的安全规则和保护措施,威胁行为者很有可能在训练过程的任何阶段访问和操纵训练数据。

侵犯个人数据隐私 #

几乎没有适当的结构来规范用户输入生成模型的数据类型。这意味着企业用户(实际上是其他任何人)都可以在不遵守法规或获得源头许可的情况下使用敏感数据或个人数据。

同样,通过这些模型的训练方式和数据存储方式,个人身份信息 (PII) 很容易落入坏人之手,并导致从帐户接管到信用卡盗窃的任何事情。

知识产权的曝光 #

三星等公司已经无意中以有害的方式将公司专有数据暴露给生成模型。当员工将公司代码上传到系统时,最常发生这种暴露,暴露知识产权、API 密钥和其他机密信息。

网络安全越狱和解决方法 #

许多在线论坛提供“越狱”,即用户教生成模型违反既定规则的秘密方法。通过这些越狱和其他解决方法,出现了安全问题。

例如,ChatGPT 最近能够欺骗人类代表它解决 CAPTCHA 难题。使用生成式 AI 工具以如此多不同的、类似人类的方式生成内容的能力使复杂的网络钓鱼和恶意软件计划成为可能,这些计划比传统的黑客攻击更难检测。

使用生成式 AI 的网络安全提示和最佳实践 #

尽管使用生成式 AI 时风险很高,但如果您遵循以下网络安全最佳实践,则可以减轻或完全避免其中许多风险:

仔细阅读生成式 AI 供应商的安全策略 #

在最初对生成式人工智能供应商在模型训练和其他流程中缺乏透明度的强烈抗议之后,许多主要供应商已经开始提供广泛的文档,解释他们的工具如何工作以及用户协议如何工作。

为了更好地了解您的数据输入发生了什么,请查看供应商关于数据删除和时间范围的政策,以及他们使用哪些信息来训练模型。搜索他们的文档,了解可追溯性、日志历史记录、匿名化以及特定法规遵从性要求可能需要的其他功能也是一个好主意。

最重要的是:查找任何有关选择加入和选择退出的提及,以及如何选择加入或退出正在使用或存储的数据。

使用生成模型时不要输入敏感数据 #

保护最敏感数据的最佳方法是将其排除在生成模型之外,尤其是那些你不太熟悉的模型。

通常很难说有多少数据可以或将用于训练生成模型的未来迭代,更不用说您的数据将在供应商的数据日志中存储多少以及存储多长时间。

与其盲目信任这些供应商可能有或没有的任何安全协议,不如创建合成数据副本或在处理机密数据时完全避免使用这些工具。相反,在处理不太敏感的信息时,使用生成式 AI 来补充您的工作。

更新生成式 AI 模型 #

生成模型会定期接收更新,有时,这些更新包括错误修复和其他安全优化。留意升级工具的机会,使它们保持最佳性能。

培训员工正确使用 #

生成式 AI 工具易于使用和误用。重要的是,您的员工知道他们可以使用哪些类型的数据作为输入,工作流程的哪些部分可以从生成式 AI 工具中受益,以及监管合规性期望。此外,他们作为组织成员应遵循的任何其他最佳实践和程序都是必不可少的。

对员工进行基本的网络安全意识培训也很有帮助 ,这样他们就可以帮助识别网络钓鱼企图和其他攻击媒介,以免他们走得太远。

使用数据治理和安全工具 #

许多数据治理和安全工具可以保护您的整个攻击面,包括您可能正在使用的任何第三方生成式 AI 工具。

考虑投资数据丢失防护、威胁情报、云原生应用程序保护平台 (CNAPP) 和/或扩展检测和响应 (XDR) 工具,以保持领先地位。

生成式 AI 如何支持网络安全工作 #

生成式人工智能可能会使组织面临新的攻击媒介和安全风险,但当这些工具被战略性地使用时,它们实际上也可以支持网络安全目标。以下是生成式 AI 工具可用于网络安全的几种方式:

  • 场景化网络安全训练:通过合成数据等功能,生成模拟攻击、场景、环境,进行网络安全训练。
  • 合成数据生成:可用于更安全地生成匿名数据副本,用于 AI 和软件应用程序开发。
  • 情境化安全监控、报告和建议:帮助安全团队搜索现有代码和网络以查找漏洞,并提供情境化建议以进行修正。
  • 供应链和第三方风险管理:支持风险管理、预测性维护、欺诈检测、关系管理以及供应链和合作伙伴网络安全管理的其他组成部分。
  • 威胁情报和搜寻:可以同时评估大量数据,寻找安全漏洞和更大的问题。某些工具还可以就应使用哪些工具以及应进行的基础结构更改以获得更好的安全结果提出建议。