本地 AI 部署:您应当了解的相关信息
by Canonical on 5 March 2024
企业组织正在重塑自身的数字战略,而 AI 是这些变化的核心,许多项目如今已准备好在生产环境中运行。企业通常在公共云上启动这些 AI 项目,因为这样可以最大限度地减少硬件负担。然而,随着项目规模的扩大,出于成本、数字主权或合规性要求等原因,企业组织往往希望迁移本地工作负载。在自身的基础架构上运行 AI 有很多明显的益处,但同时也带来了基础架构和 MLOps 专家需要考虑的一些重大挑战。
MLOps 是以可重复和可再现方式运行 AI 工作负载的推动者。MLOps 平台,如 Charmed Kubeflow,是在 Kubernetes 上运行的云原生应用程序。在本地构建这样的架构有助于企业组织轻松部署、管理和扩展其 AI 应用程序。
本地 AI 部署的优点
在构建自身的 AI 战略时,企业组织应考虑成本效益、管理能力、安全性和合规性以及性能等因素。下面我们来看看本地运行 AI 项目如何解决这些优先考虑的因素
现有基础架构上的 AI
为 AI 项目建立一个全新的数据中心是一项巨大且耗时的工程,但不见得一定有必要。如果您已经拥有现成的但没有充分利用起来的基础架构,那么它可能适合您的 AI 项目。在现有基础架构上进行本地 AI 部署是快速启动新项目和实验,评估不同用例的可能投资回报,以及从现有硬件中获得额外价值的好方法。
确保本地 ML 工作负载安全性
许多企业组织已经制定了明确的内部政策,任何新的 AI 项目也需要遵循这些政策。使用本地基础架构更容易遵循这些政策,从而为 MLOps 平台奠定一个安全兼容的基础,并使您能够构建可重复和可再现的 ML 管道。尤其是在监管严格的行业中,在本地运行 AI 项目可以加快合规性和安全性检查进程,帮助您专注于构建模型而非安全问题。
具有成本效益的解决方案
虽然现在的公共云提供不同类型的实例来运行机器学习工作负载,但对于将所有数据存储在自身基础架构之上的企业来说,数据迁移将产生巨大的成本。通过在已经存储数据的相同位置运行 AI 项目,可以完全规避这一挑战。这正是企业组织通常更喜欢在本地构建 AI 工作负载的原因之一
本地 AI 部署的缺点
构建和扩展 AI 项目对计算能力有一定的需求。对于需要更多计算能力的企业组织而言,这甚至是在开始之前就需要进行的一项巨大投资。同时,本地基础架构需要大量的前期成本,并且伴随着部署后基础架构的运营负担。本地部署也只有数量有限的预训练模型和现成服务可供企业利用。
另一方面,公共云很容易上手,不需要大量的投资。公共云中有大量的预训练模型,比如 Amazon BedRock,可以让企业组织领先一步。话虽如此,但从长远来看,公共云往往具有较低的成本效益。
推出一项新的战略举措,如人工智能项目,会带来一系列新的挑战。在决定是否在本地运行 AI 项目时,您应当考虑以下几个关键因素,以确定其对您而言是否适合:
什么情况下应该在本地运行 AI 项目?
- 计算性能:众所周知,AI 项目需要强大的计算能力,而且这些需求只会增加。只有当您确定拥有满足这些计算需求的资源和扩展空间时,您才应该致力于采用本地 AI 部署策略。
- 行业法规:当您可以完全控制自身硬件上的数据时,遵守行业法规通常会更容易。如果您在医疗保健或金融服务等监管严格的行业开展业务,那么内部 AI 部署可能是正确的选择。
- 隐私性:这些原则同样可以延伸到更广泛的数据隐私领域,这在任何 AI 项目中都将发挥着重要的作用。对于希望最大限度地控制自身数据和 ML 模型的企业组织来说,本地基础架构是一个不可抗拒的选择。
- 初始投资:最佳的基础架构选择将在很大程度上取决于分配给初始投资的预算。如果您缺乏支撑前期硬件成本的资源,公共云可能更合适——除非您拥有现成的、未使用的且可以利用的本地基础架构。
- 定制化解决方案:您想要一个现成的解决方案,还是一个能够让您根据自身特定需求定制 AI 部署方案的平台?如果您追求灵活性,本地部署方案无疑是最佳选择。
本地 AI 部署的开源解决方案
开源是 AI 革命的核心。越来越多的开源解决方案受益于在机器学习领域的广泛采用。企业组织可以使用一些可用的领先工具在本地构建一个完全开源的 MLOps 平台:
- OpenStack:一款功能齐全的云平台,可与 GPU 等领先的性能提速设备顺畅集成。
- Kubernetes:可用作容器编排工具。
- Kubeflow:用于开发和部署机器学习模型的 MLOps 平台。
- MLflow:用于模型注册的机器学习平台。
开源工具带来了很多益处。但是,选择正确的版本非常重要。为了确保工具的安全性以及无缝集成,企业组织需采用适合企业部署的官方发行版——比如 Canonical 发布的版本。
想要了解更多关于开源私有云上 AI 的内容吗?立即观看我们的网络研讨会录影
结合开源的混合策略
根据思科《2022 年全球混合云趋势报告》,82% 的 IT 决策者采用了混合 IT 策略。将这一点与当今企业组织对人工智能战略的关注联系起来,很容易就能发现,许多新项目都将在混合云环境中运行。开源工具——就像 Canonical 支持并集成在端到端解决方案中的那些工具——如前面所提到的,使企业组织能够在自身选择的云上构建和扩展其 AI 项目。它可以帮助用户在公共云上启动项目,以最大限度地减少硬件负担,随之制定混合云策略,确保时效性和成本效益。
AI 系列网络研讨会
关注我们的系列网络研讨会,了解行业最新动态。
- 使用 PostgreSQL 让您的 AI 应用程序变得更强大
- 托管 AI
- 公共云 AI
- AI 存储
更多阅读资料
订阅博客文章
查看更多内容
利用开源机器学习基础架构加速 AI 发展
人工智能技术在迅速发展,对稳健强大且可扩展的基础架构具有迫切需求。为应对这些挑战,我们精心打造了一套全面的参考架构(RA),充分利用了开源工具与尖端硬件的强大功能与性能。这套架构基于 Canonical 的 MicroK8s 和 Charmed Kubeflow 构建,运行于 Dell PowerEdge R7525 服务器之上,并借助NVIDIA NIM 微服务实现加速,为部署和管理机器学习工作负载提供了一个简便高效的途径。 为数据科学家与工程师赋能 该解决方案旨在为数据科学家和机器学习工程师赋能,使其能够实现更快迭代、无缝扩展以及强有力的安全保障。对于基础架构构建者、解决方案架构师、DevOps 工程师以及首席技术官(CTO)而言,这套参考架构提供了一条畅通无阻的途径 […]
Ubuntu 正式支持 NVIDIA Jetson
Ubuntu 正式支持 NVIDIA Jetson:助力边缘 AI 未来发展 Canonical 宣布推出支持 NVIDIA® Jetson Orin™ 的 Ubuntu 正式发布版本,该版本专为边缘 AI 和机器人领域打造,为全球 AI 开发者带来优化的性能、开箱即用的兼容性以及实现高性能 AI 解决方案的便捷途径。 Ubuntu 发行商 Canonical 宣布正式支持 NVIDIA Jetson 平台,标志着其与 NVIDIA 的合作迎来重要里程碑,为加速边缘 AI 领域创新再添动力。此次正式发布(GA)版本为 Ubuntu 与 NVIDIA Jetson 系统级模块解决方案的强大组合赋予了企业级的稳定性与技术支持。 为各行各业 AI 创新赋能 此次通过 Canon […]
NIS2 合规指南:第 2 部 — 了解 NIS2 合规要求
在上一篇博客文章中,笔者详细介绍了 NIS2 及其适用对象。本系列的第二篇文章中将详细介绍 NIS2 中的主要要求,并将这些要求具体转化为切实可行的行动措施,助力企业组织满足 NIS2 合规要求。欢迎阅读本文,一同深入了解 NIS2 的内容。 NIS2 适用于您。那么,您需要做些什么来满足 NIS2 合规要求? 如果您正在阅读本文,想必已经意识到 EU NIS2 适用于您所在的公司。接下来,让我们深入探究其中的具体要求,以及为实现合规性需要采取的行动。 该指令规定,相关实体必须落实网络安全风险管理措施,且这些措施必须“适当适度”。尽管这一要求看似宽泛,存在一定的解释空间,但指令中明确规定了一系列必须落实的最低限度的网络安全风险管理措施。 下面将细入探讨这些措施,并将其转化 […]