网络安全研究人员警告称,在发现20多个漏洞后,机器学习(ML)软件供应链存在安全风险,这些漏洞可能被利用来针对MLOps平台。这些漏洞被描述为固有和实现方面的缺陷,可能会产生严重后果,从任意代码执行到加载恶意数据集。
MLOps平台提供了设计和执行ML模型管道的能力,模型注册表作为存储和版本训练ML模型的存储库。然后可以将这些模型嵌入到应用程序中,或允许其他客户端使用API(即模型即服务)查询它们。
JFrog研究人员在一份详细报告中表示:“固有漏洞是由技术中所使用的底层格式和过程引起的。”固有漏洞的一些例子包括利用ML模型运行攻击者选择的代码,这是通过利用模型在加载时支持自动代码执行的事实(例如Pickle模型文件)。
这种行为也扩展到某些数据集格式和库,它们允许自动代码执行,从而在仅加载公开可用的数据集时就可能为恶意软件攻击敞开大门。另一个固有漏洞涉及JupyterLab(前身为Jupyter Notebook),这是一个基于Web的交互式计算环境,使用户能够执行代码块(或单元格)并查看相应的结果。
简单来说,攻击者可以输出恶意JavaScript代码,使其在当前JupyterLab笔记本中添加一个新单元格,将Python代码注入其中并执行它。特别是在利用跨站脚本(XSS)漏洞的情况下,这一点尤其明显。JFrog表示,它发现了一个MLFlow的XSS漏洞(CVE-2024-27132,CVSS评分:7.5),可导致在JupyterLab中执行客户端代码。
研究人员说:“我们从这项研究中的一个主要收获是,我们需要将ML库中的所有XSS漏洞视为潜在的任意代码执行,因为用户可能会将这些ML库与Jupyter Notebook一起使用。”
第二类漏洞涉及实现弱点,例如MLOps平台中缺乏身份验证,可能会允许具有网络访问权限的威胁行为者通过滥用ML管道功能获得代码执行能力。这些威胁并非理论上的,以经济利益为动机的对手可能滥用这些漏洞,如在未打补丁的Anyscale Ray(CVE-2023-48022,CVSS评分:9.8)的情况下,部署加密货币矿工。
第二种实现漏洞是针对Seldon Core的容器逃逸,使攻击者能够超越代码执行,在云环境中横向移动并访问其他用户的模型和数据集,方法是将恶意模型上传到推理服务器。它们不仅可以被武器化,在组织内部渗透、传播,还可以威胁服务器。
Palo Alto Networks Unit 42详细说明了开源LangChain生成式AI框架中的两个现已修复的漏洞(CVE-2023-46229和CVE-2023-44467),这两个漏洞可能允许攻击者执行任意代码和访问敏感数据。
上个月,Trail of Bits还揭示了Ask Astro中的四个问题,这是一个检索增强生成(RAG)开源聊天机器人应用程序,可能导致聊天机器人输出中毒、文档摄取不准确和潜在的拒绝服务(DoS)。
正如安全问题在人工智能驱动的应用程序中被暴露出来一样,人们也在设计技术来用最终目标欺骗大型语言模型(LLMs)产生易受攻击的代码来毒害训练数据集。
康涅狄格大学的一位学者表示:“与最近将恶意负载嵌入代码的可检测或不相关部分的攻击不同,CodeBreaker利用LLMs(例如GPT-4)进行复杂的负载转换(不影响功能),确保微调的毒害数据和生成的代码都可以规避强大的漏洞检测。”
本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理