谢谢您的订阅!
当新的内容发布后您将开始接收邮件。您也可以点击邮件内的链接随时取消订阅。关闭Close

本地 AI 部署:您应当了解的相关信息

by Canonical on 5 March 2024

企业组织正在重塑自身的数字战略,而 AI 是这些变化的核心,许多项目如今已准备好在生产环境中运行。企业通常在公共云上启动这些 AI 项目,因为这样可以最大限度地减少硬件负担。然而,随着项目规模的扩大,出于成本、数字主权或合规性要求等原因,企业组织往往希望迁移本地工作负载。在自身的基础架构上运行 AI 有很多明显的益处,但同时也带来了基础架构和 MLOps 专家需要考虑的一些重大挑战。

MLOps 是以可重复和可再现方式运行 AI 工作负载的推动者。MLOps 平台,如 Charmed Kubeflow,是在 Kubernetes 上运行的云原生应用程序。在本地构建这样的架构有助于企业组织轻松部署、管理和扩展其 AI 应用程序。

本地 AI 部署的优点

在构建自身的 AI 战略时,企业组织应考虑成本效益、管理能力、安全性和合规性以及性能等因素。下面我们来看看本地运行 AI 项目如何解决这些优先考虑的因素

现有基础架构上的 AI

为 AI 项目建立一个全新的数据中心是一项巨大且耗时的工程,但不见得一定有必要。如果您已经拥有现成的但没有充分利用起来的基础架构,那么它可能适合您的 AI 项目。在现有基础架构上进行本地 AI 部署是快速启动新项目和实验,评估不同用例的可能投资回报,以及从现有硬件中获得额外价值的好方法。

确保本地 ML 工作负载安全性

许多企业组织已经制定了明确的内部政策,任何新的 AI 项目也需要遵循这些政策。使用本地基础架构更容易遵循这些政策,从而为 MLOps 平台奠定一个安全兼容的基础,并使您能够构建可重复和可再现的 ML 管道。尤其是在监管严格的行业中,在本地运行 AI 项目可以加快合规性和安全性检查进程,帮助您专注于构建模型而非安全问题。

具有成本效益的解决方案

虽然现在的公共云提供不同类型的实例来运行机器学习工作负载,但对于将所有数据存储在自身基础架构之上的企业来说,数据迁移将产生巨大的成本。通过在已经存储数据的相同位置运行 AI 项目,可以完全规避这一挑战。这正是企业组织通常更喜欢在本地构建 AI 工作负载的原因之一

本地 AI 部署的缺点

构建和扩展 AI 项目对计算能力有一定的需求。对于需要更多计算能力的企业组织而言,这甚至是在开始之前就需要进行的一项巨大投资。同时,本地基础架构需要大量的前期成本,并且伴随着部署后基础架构的运营负担。本地部署也只有数量有限的预训练模型和现成服务可供企业利用。 

另一方面,公共云很容易上手,不需要大量的投资。公共云中有大量的预训练模型,比如 Amazon BedRock,可以让企业组织领先一步。话虽如此,但从长远来看,公共云往往具有较低的成本效益。

推出一项新的战略举措,如人工智能项目,会带来一系列新的挑战。在决定是否在本地运行 AI 项目时,您应当考虑以下几个关键因素,以确定其对您而言是否适合:

什么情况下应该在本地运行 AI 项目?

  • 计算性能:众所周知,AI 项目需要强大的计算能力,而且这些需求只会增加。只有当您确定拥有满足这些计算需求的资源和扩展空间时,您才应该致力于采用本地 AI 部署策略。 
  • 行业法规:当您可以完全控制自身硬件上的数据时,遵守行业法规通常会更容易。如果您在医疗保健或金融服务等监管严格的行业开展业务,那么内部 AI 部署可能是正确的选择。 
  • 隐私性:这些原则同样可以延伸到更广泛的数据隐私领域,这在任何 AI 项目中都将发挥着重要的作用。对于希望最大限度地控制自身数据和 ML 模型的企业组织来说,本地基础架构是一个不可抗拒的选择。
  • 初始投资:最佳的基础架构选择将在很大程度上取决于分配给初始投资的预算。如果您缺乏支撑前期硬件成本的资源,公共云可能更合适——除非您拥有现成的、未使用的且可以利用的本地基础架构。
  • 定制化解决方案:您想要一个现成的解决方案,还是一个能够让您根据自身特定需求定制 AI 部署方案的平台?如果您追求灵活性,本地部署方案无疑是最佳选择。

本地 AI 部署的开源解决方案

开源是 AI 革命的核心。越来越多的开源解决方案受益于在机器学习领域的广泛采用。企业组织可以使用一些可用的领先工具在本地构建一个完全开源的 MLOps 平台:

  • OpenStack:一款功能齐全的云平台,可与 GPU 等领先的性能提速设备顺畅集成。
  • Kubernetes可用作容器编排工具。
  • Kubeflow用于开发和部署机器学习模型的 MLOps 平台。
  • MLflow用于模型注册的机器学习平台。 

开源工具带来了很多益处。但是,选择正确的版本非常重要。为了确保工具的安全性以及无缝集成,企业组织需采用适合企业部署的官方发行版——比如 Canonical 发布的版本。

想要了解更多关于开源私有云上 AI 的内容吗?立即观看我们的网络研讨会录影

结合开源的混合策略 

根据思科《2022 年全球混合云趋势报告》,82% 的 IT 决策者采用了混合 IT 策略。将这一点与当今企业组织对人工智能战略的关注联系起来,很容易就能发现,许多新项目都将在混合云环境中运行。开源工具——就像 Canonical 支持并集成在端到端解决方案中的那些工具——如前面所提到的,使企业组织能够在自身选择的云上构建和扩展其 AI 项目。它可以帮助用户在公共云上启动项目,以最大限度地减少硬件负担,随之制定混合云策略,确保时效性和成本效益。

AI 系列网络研讨会

关注我们的系列网络研讨会,了解行业最新动态。

更多阅读资料

订阅博客文章

订阅您感兴趣的主题

在提交此表格的同时,我确认已阅读和同意的隐私声明隐私政策。

查看更多内容

OpenStack 结合 Sunbeam 用于小型私有云基础架构

每当涉及到小型私有云基础架构项目的推出时,企业组织通常都会面临两难的境地。由于缺乏相关知识、棘手的迁移过程以及管理层对运行各种扩展(如 Kubernetes)的迫切需求,实施过程往往看起来很复杂。克服这种复杂性难题最显而易见的方法是引入昂贵的专业服务来处理项目,但这样的选择对于中小型企业而言却过于昂贵。 幸运的是,现在有新的解决方法可以让您自己轻松应对所有这些挑战。在本篇简短的博客中,我们将介绍如何使用 Sunbeam 项目无缝部署小型私有云,并且没有经验要求,也不会产生昂贵的咨询费用。 术语介绍 在开始之前,我们来简要了解一下本篇博客中所使用的一些术语。 什么是 Sunbeam? Sunbeam 是 OpenInfra Foundation(OIF)旗下的上游项目,旨在 […]

基于 MicroK8s 和 Ubuntu 实时内核支持的 Intel FlexRAN 组件自动扩展

RAN 随着每一代移动通信技术的发展而不断演变,从而在用户设备和核心网络之间实现更快的数据传输。内部互连设备数量的增多使得数据量比以往任何时候都要多。至于现有的网络架构,其挑战在于处理不断增加的工作负载,以及更快地处理、分析和传输数据的能力。而对于 5G 生态系统,则需要实现 RAN 的虚拟化。第五代移动网络需要具备更大的灵活性以适应需求,具备可扩展性以满足运行时的网络条件,以及需要自动化以进行远程管理,而这些只能通过虚拟 RAN 来实现。  Intel FlexRAN 解决了传统 RAN 架构所面临的挑战。它能够从核心网络功能中将底层硬件抽象化,以实现最佳的资源利用。FlexRAN 是 O-RAN (OpenRAN) 的改进和参考实现,具有在不同供应商设备之间进行互操作 […]

云存储安全最佳实践

使用 Ceph 的安全功能确保数据安全 如何将数据安全地存储在云存储系统中? 数据对于任何企业组织而言如同王冠上的宝石,如果丢失或暴露,可能会造成严重的影响。如果不能防止系统故障,可能会导致业务数据的丢失,从而导致业务无法正常运营,最终导致业务失败。将敏感数据暴露给未授权方不仅会导致声誉受损,还可能导致企业遭受巨额罚款。 本篇博客将详细介绍这些风险,以及如何使用 Ceph 的安全功能来减轻这些风险。首先,我们来了解一下数据泄露发生的一些最常见方式: 实物盗窃/运输 与存储相关的硬件、磁盘或整个存储系统的丢失可能导致敏感信息暴露。这可能发生在传统的入室盗窃情况下,即未经授权的一方进入数据中心并移除硬件,或者硬件在运输过程中(例如在返厂维修或更换时)被他人截获。 另一种实体危 […]