生成式AI有时会让人感觉被夸大了，但数据显示，越来越多的企业员工正在使用它。

安全公司Cyberhaven基于300万员工的使用模式进行的一项调查显示，在2023年3月至2024年3月期间，添加到人工智能平台的企业数据量增长了485%。

同样的数据显示，最受欢迎的生成式人工智能工具来自市场上的大公司(OpenAI、谷歌和微软)，尽管有近二十多家初创公司和较小的公司被列为提供替代方案的公司。

然而，在生成式人工智能的前景中，潜伏着一个安全问题，专家们现在将其称为“Shadow AI”，类似于之前与新技术相关的网络安全问题，这些新技术开始潜入企业网络和基础设施。以前，当业务部门或个人员工开始尝试未经批准和测试的新工具版本时，“Shadow IT”和“shadow cloud”给那些试图防止企业数据泄露的技术专业人员带来了麻烦。

Cyberhaven的报告发现，目前部署的ChatGPT帐户中有73.8%是非公司实例，缺乏ChatGPT企业版的安全和隐私控制，谷歌人工智能工具的这一比例更高。该调查还指出:“2024年3月，27.4%的企业员工输入人工智能工具的数据是敏感的，高于一年前的10.7%。这些数据的种类也在增加。”

最近在旧金山举行的RSA大会上，首席信息安全官和其他网络安全领导者表示担心，与Shadow IT和云相关的风险在生成式人工智能中再次出现，这推动了对如何部署技术以及批准在大型语言模型(LLM)测试中使用哪些数据的更多政策和企业审批流程的需求。

每隔几年，一些热门的新趋势就会颠覆技术堆栈，改变我们保护敏感数据和资产的方式。

对于负责帮助将生成式人工智能引入企业、保护它、保护数据和创建策略的技术和安全专业人员来说，随着企业环境的变化以适应这些现代工具和平台，了解Shadow AI及其后果对于开发新技能至关重要。

理解人工智能的潜在风险

自从OpenAI的ChatGPT发布以来，网络专业人士和政府机构对生成式人工智能平台固有的风险发出了警告。例如，美国国家标准与技术研究院(NIST)最近发布了一系列关于人工智能风险的文件草案，涵盖了一系列主题，从网络犯罪分子如何利用该技术部署恶意软件和网络钓鱼计划，到威胁行为者如何利用这些平台来泄露敏感信息。

其他文件对部署人工智能平台的问题提出了警告，例如隐私攻击，攻击者通过利用人工智能模型的弱点收集私人个人数据或敏感的公司信息。

今年2月，安全公司Group-IB发布的一份报告发现，在暗网上出售的超过22.5万个包含被泄露的ChatGPT凭证的实例，表明这些不安全版本可能对企业基础设施造成损害。

无论是被称为Shadow AI还是AI sprawl，其结果与技术和安全专业人士对BYOD或shadow cloud的看法相似：当企业在没有全面治理和控制的情况下迅速采用新技术时，企业数据的风险就会增加，Salt security的网络安全战略主管Eric Schwake说。

Schwake告诉Dice：“这些问题都有共同的线索，如Shadow IT的扩散、攻击面增加、缺乏可见性和资源紧张。“然而，由于人工智能本身的独特性，包括其复杂性、数据依赖性和自主决策的潜力，与以前的问题相比，这带来了独特而紧迫的挑战。”

Schwake还指出，人工智能模型仍然不透明，这使得解释它们具有挑战性，并且可能容易出现偏见或漏洞。对数据的依赖引发了对隐私和滥用的重大担忧。

“人工智能的自主决策能力可能会导致不可预见的、潜在的严重后果，”Schwake补充道。“主要的安全影响包括数据泄露、有偏见的模型造成的歧视性结果、操纵人工智能系统的对抗性攻击，以及遵守围绕人工智能使用的不断变化的法规所面临的挑战。”

由于生成式人工智能是一种新技术，企业仍在努力了解其全部用途和潜力，SlashNext Security的首席技术官Stephen Kowski表示，企业必须重新考虑他们雇用的技术和安全专业人员的类型，以应对这些技术对其基础设施和数据构成的风险。当员工使用未经测试的工具时，问题就会成倍增加。

Kowski告诉Dice:“这些系统需要专业的管理技能，而且容易出现道德和隐私风险。“最大的安全影响包括攻击面增加和数据泄露风险增加，需要全面的人工智能治理来有效缓解这些威胁。”

随着企业不断投资和试验生成式人工智能工具，技术和安全专业人士必须重新思考他们的工作方式，以及他们需要哪些技能才能保持领先地位。这还包括确保员工接受培训，负责任地使用人工智能，以及部署未经授权平台的后果。

Kowski补充说：“为了管理人工智能的扩展，确保负责任的人工智能的采用、安全性，IT专业人员需要关注人工智能素养、提示工程、数据治理、安全意识和人工智能伦理原则。”“建立一个明确的人工智能治理框架，实施技术控制，培养负责任的人工智能创新文化，并随时了解人工智能趋势，这些都是降低风险和有效利用人工智能的基本策略的力量。”

掌握生成式人工智能

RSA大会的对话显示，首席信息安全官和安全负责人正在努力处理Shadow AI和人工智能的扩展，以避免与影子云等过去问题相关的一些网络安全问题。

“人工智能对于许多首席信息安全官来说，扩展正日益成为一个令人担忧的问题，他们不仅认识到潜在的风险，而且还采取了积极的措施来解决这个问题。他们正在制定管理和管理人工智能部署的战略，表明他们致力于在这个问题上保持领先地位。”“然而，由于人工智能开发的分散性，特别是在研发环境中，一些组织已经在努力应对人工智能的扩展。在问题变得更普遍之前，建立有效的治理是一场与时间的赛跑。”

除了ciso, IT和安全团队也必须做出反应。Bambenek补充说，这包括更多地了解模型是如何工作的，以及数据科学领域的发展。

Bambenek告诉Dice:“当然，IT和安全人员需要了解一点数据科学，然而，模型和机制并不是人工智能系统中最有趣的部分。”“了解一点人工智能是如何做到这一点的，以及它如何以及从哪里获得数据是很重要的。很快，我们将不得不应对威胁行为者将数据大量输入GenAI系统的问题，这对未来的解决方案意味着什么。”

对于Zendata首席执行官Narayana Pappu等人来说，对抗Shadow AI的关键在于理解数据流。这包括了解组织内哪些员工或经理正在访问公司数据，以及他们的团队如何在法学硕士中使用这些数据。从那里，技术和安全专业人员可以更好地了解他们面临的问题，以及如何教育员工保护数据。

“我们正处于采用新技术的兴奋和试验阶段。因此，在许多数字优先的公司中，这是一个普遍存在的问题。如果你还记得云计算和Dropbox和Box等工具出现的日子，那么你就会记得它们带来的数据暴露和安全问题。”

Pappu补充说:“员工和未来的员工需要了解数据流和数据使用的背景——不仅仅是他们拥有什么信息，还有如何使用这些信息——工程师、首席信息安全官和首席数据官角色之间日益融合和合作的重要性。”

作者：Dice Staff