本地 AI 部署：您应当了解的相关信息

by Canonical on 5 March 2024

企业组织正在重塑自身的数字战略，而 AI 是这些变化的核心，许多项目如今已准备好在生产环境中运行。企业通常在公共云上启动这些 AI 项目，因为这样可以最大限度地减少硬件负担。然而，随着项目规模的扩大，出于成本、数字主权或合规性要求等原因，企业组织往往希望迁移本地工作负载。在自身的基础架构上运行 AI 有很多明显的益处，但同时也带来了基础架构和 MLOps 专家需要考虑的一些重大挑战。

MLOps 是以可重复和可再现方式运行 AI 工作负载的推动者。MLOps 平台，如 Charmed Kubeflow，是在 Kubernetes 上运行的云原生应用程序。在本地构建这样的架构有助于企业组织轻松部署、管理和扩展其 AI 应用程序。

本地 AI 部署的优点

在构建自身的 AI 战略时，企业组织应考虑成本效益、管理能力、安全性和合规性以及性能等因素。下面我们来看看本地运行 AI 项目如何解决这些优先考虑的因素

现有基础架构上的 AI

为 AI 项目建立一个全新的数据中心是一项巨大且耗时的工程，但不见得一定有必要。如果您已经拥有现成的但没有充分利用起来的基础架构，那么它可能适合您的 AI 项目。在现有基础架构上进行本地 AI 部署是快速启动新项目和实验，评估不同用例的可能投资回报，以及从现有硬件中获得额外价值的好方法。

确保本地 ML 工作负载安全性

许多企业组织已经制定了明确的内部政策，任何新的 AI 项目也需要遵循这些政策。使用本地基础架构更容易遵循这些政策，从而为 MLOps 平台奠定一个安全兼容的基础，并使您能够构建可重复和可再现的 ML 管道。尤其是在监管严格的行业中，在本地运行 AI 项目可以加快合规性和安全性检查进程，帮助您专注于构建模型而非安全问题。

具有成本效益的解决方案

虽然现在的公共云提供不同类型的实例来运行机器学习工作负载，但对于将所有数据存储在自身基础架构之上的企业来说，数据迁移将产生巨大的成本。通过在已经存储数据的相同位置运行 AI 项目，可以完全规避这一挑战。这正是企业组织通常更喜欢在本地构建 AI 工作负载的原因之一

本地 AI 部署的缺点

构建和扩展 AI 项目对计算能力有一定的需求。对于需要更多计算能力的企业组织而言，这甚至是在开始之前就需要进行的一项巨大投资。同时，本地基础架构需要大量的前期成本，并且伴随着部署后基础架构的运营负担。本地部署也只有数量有限的预训练模型和现成服务可供企业利用。 

另一方面，公共云很容易上手，不需要大量的投资。公共云中有大量的预训练模型，比如 Amazon BedRock，可以让企业组织领先一步。话虽如此，但从长远来看，公共云往往具有较低的成本效益。

推出一项新的战略举措，如人工智能项目，会带来一系列新的挑战。在决定是否在本地运行 AI 项目时，您应当考虑以下几个关键因素，以确定其对您而言是否适合：

什么情况下应该在本地运行 AI 项目？

• 计算性能：众所周知，AI 项目需要强大的计算能力，而且这些需求只会增加。只有当您确定拥有满足这些计算需求的资源和扩展空间时，您才应该致力于采用本地 AI 部署策略。 
• 行业法规：当您可以完全控制自身硬件上的数据时，遵守行业法规通常会更容易。如果您在医疗保健或金融服务等监管严格的行业开展业务，那么内部 AI 部署可能是正确的选择。 
• 隐私性：这些原则同样可以延伸到更广泛的数据隐私领域，这在任何 AI 项目中都将发挥着重要的作用。对于希望最大限度地控制自身数据和 ML 模型的企业组织来说，本地基础架构是一个不可抗拒的选择。
• 初始投资：最佳的基础架构选择将在很大程度上取决于分配给初始投资的预算。如果您缺乏支撑前期硬件成本的资源，公共云可能更合适——除非您拥有现成的、未使用的且可以利用的本地基础架构。
• 定制化解决方案：您想要一个现成的解决方案，还是一个能够让您根据自身特定需求定制 AI 部署方案的平台？如果您追求灵活性，本地部署方案无疑是最佳选择。

本地 AI 部署的开源解决方案

开源是 AI 革命的核心。越来越多的开源解决方案受益于在机器学习领域的广泛采用。企业组织可以使用一些可用的领先工具在本地构建一个完全开源的 MLOps 平台：

• OpenStack：一款功能齐全的云平台，可与 GPU 等领先的性能提速设备顺畅集成。
• Kubernetes：可用作容器编排工具。
• Kubeflow：用于开发和部署机器学习模型的 MLOps 平台。
• MLflow：用于模型注册的机器学习平台。 

开源工具带来了很多益处。但是，选择正确的版本非常重要。为了确保工具的安全性以及无缝集成，企业组织需采用适合企业部署的官方发行版——比如 Canonical 发布的版本。

想要了解更多关于开源私有云上 AI 的内容吗？立即观看我们的网络研讨会录影

结合开源的混合策略 

根据思科《2022 年全球混合云趋势报告》，82% 的 IT 决策者采用了混合 IT 策略。将这一点与当今企业组织对人工智能战略的关注联系起来，很容易就能发现，许多新项目都将在混合云环境中运行。开源工具——就像 Canonical 支持并集成在端到端解决方案中的那些工具——如前面所提到的，使企业组织能够在自身选择的云上构建和扩展其 AI 项目。它可以帮助用户在公共云上启动项目，以最大限度地减少硬件负担，随之制定混合云策略，确保时效性和成本效益。

AI 系列网络研讨会

关注我们的系列网络研讨会，了解行业最新动态。

• 使用 PostgreSQL 让您的 AI 应用程序变得更强大
• 托管 AI
• 公共云 AI
• AI 存储

更多阅读资料

• [白皮书] MLOps 工具包
• [白皮书] MLOps 指南（中文）
• 2024 年的 AI——未来会怎样？
• 生成式 AI 介绍