Canonical x Lenovo: 在边缘运行 AI workloads
by Canonical on 4 December 2024
携手 Canonical 和 Lenovo，在边缘运行 AI 工作负载
从制造业中的预测性维护，到医疗保健行业中的虚拟助手，再到最偏远地区的电信路由器优化，AI 正在各种边缘环境中掀起新浪潮，带来新机遇。但为了支持这些几乎随处运行的 AI 工作负载，公司需要具备快速、安全且高度可扩展的边缘基础架构。
开源工具 —— 例如用于轻量级 Kubernetes 编排的 MicroK8s 和用于 ML 机器学习工作流的 Charmed Kubeflow —— 可以为边缘 AI 部署提供更高的灵活性和安全性。如果配合加速计算堆栈使用，这些解决方案可以帮助专业人员更快地交付项目，降低运营成本，以及确保更可预测的结果。
今天这篇博客探讨为什么企业正逐渐在边缘 AI 领域转向开放式基础架构解决方案，并介绍如何部署一个专门构建的优化版堆栈，以大规模交付变革性的智能项目。
开放式基础架构堆栈为何适合边缘 AI
世界各地的企业组织都拥有大量的边缘数据，但是将 AI 功能应用到偏远崎岖基地数据源的最佳方式又是什么呢？Canonical、英伟达 NVIDIA 和 联想 Lenovo 可以提供帮助。
为了确保边缘 AI 的专用性能，可以考虑开源解决方案架构，其中包含在 Lenovo ThinkEdge 服务器上运行的 Canonical Ubuntu、用于轻量级 Kubernetes 编排的 MicroK8s，以及用于 ML 工作流管理的 Charmed Kubeflow。NVIDIA EGX 平台为该架构提供了基础，可以实现用于 AI 工作负载的强大 GPU 加速计算能力。
使用这种经预先验证的架构具有以下主要优点：
- 更快的迭代和试验速度：数据科学家可以更快地迭代 AI/ML 模型并加快试验过程。
- 可扩展性：该架构已经完成了各种 MLOps 工具选项测试，从而能够快速扩展 AI 项目。
- 安全性：AI 工作负载受益于 Canonical Ubuntu 提供的安全基础架构和定期更新，从而确保持续的保护和可靠性。
- AI 工作负载优化：该架构专为满足 AI 工作负载的特定需求而构建，这意味着它可以在优化的硬件和软件堆栈上高效处理大型数据集。
- 端到端堆栈：该架构利用 NVIDIA EGX 产品和 Charmed Kubeflow 来简化整个机器学习生命周期。
- 再现性：该解决方案提供了明确的指南，供整个组织的专业人员使用，以望得到一致的结果。
Canonical 的开源基础架构堆栈
对于边缘计算，Canonical 与 Lenovo 共同致力于堆栈，让认证硬件具备最佳性能。每个云基础架构都有非常明确的实现选择方案。不过，这些选择方案中的多数都可以标准化和自动化，以帮助降低操作风险。
经预先验证的基础架构则是以 Ubuntu 操作系统为基础。Ubuntu 已然受到 AI/ML 开发人员的接纳，因此它为生产环境增加了熟悉度和效率。Ubuntu Pro 对标准的 Ubuntu 发行版进行了扩展，提供来自 Canonical 的 10 年安全维护，以及选择性的企业级支持。
Canonical MicroK8s 是由云原生计算基金会（CNCF）认证的 Kubernetes 发行版。其提供简化的 Kubernetes 容器管理方法，这些容器对于可重复云部署而言至关重要。MicroK8s 会安装 NVIDIA GPU 操作符，实现对 GPU 资源的高效管理和利用。
Charmed Kubeflow 是 Kubeflow 的企业级发行版，Kubeflow 则是专为 Kubernetes 环境构建的热门开源 ML 工具包。Canonical 开发的 Charmed Kubeflow 可以简化 AI 工作流的部署和管理，提供对整个工具和框架生态系统的访问。
最后，Canonical 基础架构与众不同的地方在于通过 Juju 实现的自动化，Juju 是一个用于将基础架构组件和应用程序供应、管理和维护自动化的开源编排引擎。
用于边缘 AI 的 Lenovo ThinkEdge 服务器
如果没有合适的硬件，即使是最好的开源基础架构软件也无法充分发挥其潜能。使用 NVIDIA EGX 平台的Lenovo ThinkEdge 服务器 可以在边缘实现针对 AI 工作负载的强大性能。
特别是专门为狭小空间设计的 ThinkEdge SE450 服务器，非常适合部署在传统数据中心之外的位置。这些服务器旨在虚拟化传统 IT 应用程序以及新的变革性 AI 系统，为最新的边缘工作负载提供所需的处理能力、存储、加速和网络技术。
从边缘 AI 的验证设计开启入门之旅
Canonical、联想 Lenovo 和 英伟达 NVIDIA 正在共同努力，确保所有行业都可以使用数据科学技术。借助经预先验证的参考架构，开发人员和研究人员可以快速实现其 AI 项目的价值。
部署过程从在 ThinkEdge SE450 服务器上安装 Canonical 软件组件开始。用户通过 Charmed Kubeflow 仪表板，可以获取并使用 NVIDIA Triton 推理服务器创建一个 AI 实验。Triton 为高效且有效的模型服务提供一个专用环境。这种端到端的 AI 工作流在成本和性能方面都进行了优化。
如需深入了解参考架构和关于在边缘运行 AI 的分步指南，请点击下方按钮阅读 Lenovo 的白皮书。
订阅博客文章
查看更多内容
Raspberry Pi AI 套件在 Ubuntu 上的黑客指南
Raspberry Pi 最近发布了他们的 AI 套件，一个搭载 Hailo-8L AI 加速器的 PCIe M.2 HAT 套件。这款 AI 加速器的运算性能高达每秒 13 万亿次运算（TOPS）。相较之下，Coral Edge TPU 的运算性能为 4 TOPS，其拥有与 Raspberry Pi 5 CPU 相近的推理性能。AI 套件可以让标准平台上开发机器学习工作负载变得更加容易。它还允许在边缘部署强大的机器学习模型，而且成本低、功耗低。许多人对这款新工具包在其中可以发挥卓越性能的大量用例满怀期待，比如安全、制造或质量保证方面的摄像头视频对象实时检测。 在本篇博客中，我们将讨论我们尝试在 Ubuntu 24.04 LTS 上运行 Hailo-8L 加速器及其软件的 […]
《网络弹性法案》对开源意味着什么
《网络弹性法案》（Cyber Resilience Act，CRA）即将生效。这项影响广泛的法规将引入针对开发商、零售商和设备制造商的新要求和制衡措施；而许多亟待满足的需求在开源社区并没有得到很好的解决。 在本篇博客中，笔者将探讨 CRA 对开源的影响，分享一些专家的见解，说明该法案在哪些方面有着积极的影响以及在哪些方面存在灰色地带，并向大家介绍在使用或创建开源的情况下应该为法案的推行做好哪些准备。 为何制定《网络弹性法案》？ 首先大致介绍一下，CRA 是欧盟即将出台的一项法规，旨在通过对欧盟 IT 行业实施更严格的网络安全、文档和漏洞报告要求，提高设备安全性。这项法规将适用于硬件、设备、软件、应用程序和其他“带有数字连接元素的产品”的开发商、分销商、制造商和零售商。 […]
Ubuntu Linux 为什么成为金融服务领域取代 CentOS 的首选？
金融服务由技术驱动。而客户体验越来越多地由数据驱动，通过定制产品和服务可以体现出个人行为和偏好。所有这一切都建立在安全稳定的技术基础之上，只有这样的基础才可以提供敏捷性和灵活性，以适应客户需求的同时保持合规性。 使用 CentOS 作为创新基础的金融服务机构见证了 CentOS 8 于 2021 年退出，随后是 CentOS 7 于 2024 年 6 月退出。不过，最近的一项研究显示，各行业近四分之一的企业组织仍在使用 CentOS。 听起来是不是很耳熟？众所周知，金融机构在进行重大技术变革时是最谨慎的。考虑到金融业务的敏感性，这也就可以理解了。事实上，尽管过渡到云已成为一种成熟的方案，但仍有 60% 的金融机构表示，他们采用的传统技术堆栈成本过高且存在不足。与所有传 […]