谢谢您的订阅!
当新的内容发布后您将开始接收邮件。您也可以点击邮件内的链接随时取消订阅。关闭Close

在微软 Azure 上使用 Ubuntu 机密虚拟机和 Nvidia H100 GPU 的 Confidential AI 集成预览

by Canonical on 15 August 2024

使用 Azure 上的 Ubuntu 机密 AI,企业可以放心地承担各种任务,包括 ML 训练、推断、多方机密数据分析和联合学习。

AI 模型的有效性在很大程度上取决于能否访问大量高质量的数据。虽然可以使用公开可用的数据集,但对于医疗诊断或财务风险评估等任务,我们需要在训练和推断过程中访问私人数据。 

在云中执行机器学习任务时,企业担心其敏感数据隐私和模型相关知识产权可能受到损害,这是可以理解的。此外,严格的行业法规通常禁止共享此类数据。这使得利用大量有价值的私人数据变得困难,甚至完全不可能,从而限制了 AI 在重要领域的真正潜力。

机密 AI 可以直接解决这一问题,提供了一个跨越 CPU 和 GPU 的基于硬件的执行环境。该环境可以帮助保护 AI 数据和代码免遭特权系统软件(如管理程序或主机操作系统)和云中特权操作人员利用,从而增强对运行时 AI 数据和代码的保护。

为了应对这一挑战,我们很高兴于今日宣布推出 Azure 上集成了 Nvidia H100 Tensor 核心 GPU 的 Ubuntu 机密 AI 预览版。该解决方案采用 Ubuntu 22.04 机密虚拟机 (CVM) 构建而成,使用了集成 SEV-SNP 和 NVIDIA H100 GPU 的 AMD 第四代 EPYC 处理器。Ubuntu 22.04 是在 Azure 上唯一支持此产品的操作系统。

机密 AI 的运作原理

Confidential AI 成为可能,要得益于颠覆性的机密计算技术,该技术完全有别于公共云的传统威胁模型。过去,云中特权系统软件(包括操作系统、管理程序和固件)的大量代码库中存在漏洞,这对运行代码和数据的机密性与完整性构成了持续的风险。同样,恶意云管理员未经授权进行访问,可能会危及虚拟机 (VM) 及其平台的安全性。

Ubuntu CVM 旨在让您夺回对虚拟机安全保障的控制权。它们可以让您在受硬件保护的可信执行环境 (TEE) 中运行工作负载。这些安全且隔离的环境专为防止未经授权的访问或在运行时更改应用程序和数据而构建,帮助管理敏感和受监管数据的企业组织提升安全性。

因此,CVM 的主要目标是保护客机工作负载免受各种潜在的软件威胁,包括平台上的虚拟机管理器和其他非 CVM 软件所带来的威胁。CVM 还可以提高工作负载的安全性,使其免遭平台存储器上的特定物理访问攻击,包括离线动态随机访问存储器 (DRAM) 分析,如 DRAM 接口上的冷启动攻击和主动攻击。

从机密计算到机密 AI

虽然机密计算历来主要侧重于 CPU,但随着具有机密计算功能的 Nvidia H100 GPU 的出现,也为将这种安全范例扩展到 GPU 也迎来了新的可能性。Azure 解决方案集成了 CPU 和 GPU 组件,是实现机密 AI 的关键。从高层次的角度来看,该解决方案依赖于以下组件:

  • CPU-TEE:在集成 SEV-SNP 的 AMD 第四代 EPYC 处理器上运行的 Ubuntu 机密虚拟机,可以保护 CPU 中的工作负载计算:
    • 运行时机密性:得益于 CPU 存储控制器内新的 AES-128 硬件加密引擎,Ubuntu CVM 的 DRAM 可以保持加密状态。每当有存储器读取或写入操作时,该引擎就会对存储页面进行加密和解密。工作负载代码和数据不是以纯文本形式存储在系统存储器中,而是使用硬件管理的加密密钥进行加密。该加密和解密过程在 CPU 内无缝进行,确保了机密工作负载的强内存隔离。
    • 运行时完整性:Ubuntu CVM 使用新的 AMD SEV SNP 指令和数据结构,允许对通常由特权系统软件执行的安全敏感型任务进行审计。这些任务涉及存储管理和平台设备访问。例如,在读取映射到机密工作负载的存储页面时,这些新指令还会提供有关最后写入页面的值的信息。此功能通过检测对存储页面未经授权的修改,帮助防止数据损坏和重放攻击。
  • GPU-TEE:NVIDIA H100 Tensor Core GPU,保护 GPU 内工作负载计算的机密性和完整性。
  • CPU 和 GPU 之间的 PCIe 加密通信。
  • 认证组件:使依赖方(无论是工作负载的所有者还是工作负载所提供服务的使用者)能够使用密码验证 CPU 和 GPU TEE 的安全性声明。

将这些组件集成到一个内聚性解决方案中,不仅可以实现机密 Ai,而且机密 AI 还很实用,使企业组织能够利用 AI 的强大力量,同时保持最高标准的数据安全性和机密性。机密 AI 可以通过加密原语(如差分隐私)进一步得到增强,从而保护工作负载免遭更复杂的数据泄露。

立即使用 Ubuntu 构建您的机密 AI 工作负载

机密 AI 可以支持 AI 应用程序整个构建和部署生命周期内的许多用例。例如,您可以在训练阶段使用 Ubuntu CVM 保护您的数据、模型 IP 及其权重。

机密 AI 还有利于微调大型语言模型,在这种情况下,企业需要使用私人数据来优化通用模型并提高面向特定行业的模型性能。

我们坚信,机密 AI 是释放 AI 全部潜力的关键机会,对于医疗保健、金融等需要处理安全敏感型数据的行业而言尤其如此。我们诚邀您加入我们,一起见证 Ubuntu 变革之程。我们可以携手前行,在持续保持最高标准的敏感数据隐私性和安全性的同时在 AI 创新方面开拓新视野。

立即加入我们,注册使用集成了 Ubuntu 机密虚拟机的 Azure 机密 AI 预览版。 

与我们分享您的问题、用例和反馈。我们渴望聆听您的心声,并与您携手塑造 AI 安全与创新领域的未来。

更多阅读资料

订阅博客文章

订阅您感兴趣的主题

在提交此表格的同时,我确认已阅读和同意的隐私声明隐私政策。

查看更多内容

分步指南:在 Ubuntu 上使用 Azure IoT Operations

简介 随着最近 Azure IoT Operations 的发布,Microsoft 为其客户提供了一个统一的数据平面,在节点数据捕获、基于边缘的遥测处理和云入口方面做出重大改进。  Azure IoT Operations 与 Ubuntu 的结合可谓是相得益彰,可以构建开箱即用的安全可靠的解决方案。  这篇博客是 Microsoft 的 Azure IoT Operations 入门的分步指南。最后,您会将 Azure IoT Operations 服务部署到本地支持 Azure Arc 的 microk8s Kubernetes 集群,并使用 X509 证书身份验证配置了与集群的 MQTT 代理的安全通信。为了实现这一点,您将执行命令、创建和编辑文件并发布自签名证书 […]

由 MediaTek Genio 1200 驱动的新型单板计算机 Advantech RSB-3810,现已通过 Ubuntu 22.04 LTS 认证

探索此款专为物联网和边缘应用设计的全新硬件解决方案 2023 年,Canonical 与 MediaTek 为实现物联网创新,合作优化 Ubuntu 并宣布推出针对 MediaTek 的 Genio 1200 片上系统(SoC)优化的首批 Ubuntu 镜像。该解决方案旨在实现不同市场的 AI 创新。基于 MediaTek Genio 平台和认证版 Ubuntu 构建的设备享有可靠高效的无线更新,从而实现下一代安全、开放且可扩展的物联网设备。 今天,MediaTek 和 Canonical 很高兴地宣布,行业领先的嵌入式 AI 解决方案提供商 Advantech 已成功发布 RSB-3810 2.5” Pico-ITX ——第一款运行于 MediaTek Genio 12 […]

什么是 IoT 设备管理?

IoT 设备管理是指用于部署、监控和维护 IoT 设备的流程或实践。随着组织扩大其 IoT 工作,可靠的设备管理方法对于运行安全、简化的设备群至关重要。  全球联网设备的激增(预计 2024 年达到 188 亿台)意味着 IoT 设备管理变得越来越复杂,这一现实并没有被恶意行为者忽视。事实上, 2023 年平均每个组织每周遭受 60 次 IoT 攻击。这是因为设备以及它们之间的连接和您的管理系统构成了一个相当大的攻击面。 在这篇博客中,我们将通过关注您需要实现的 3 个目标来讲解 IoT 设备管理的基础:可见性、互操作性和安全性。我们将介绍开放式设备管理方法如何确保您在任何行业、任何规模的任何设备中实现这三个目标。 可统合并保护您设备的一把伞 您可以将自己的 IoT 管理 […]