谢谢您的订阅!
当新的内容发布后您将开始接收邮件。您也可以点击邮件内的链接随时取消订阅。关闭Close

边缘 AI:结合开源的目的、理由和方式

by Canonical on 2 July 2024

边缘 AI 正在改变设备与数据中心交互的方式,使组织在跟上最新创新的速度方面面临挑战。从 AI 驱动的医疗器械到自动驾驶汽车,大量的用例都受益于边缘设备上的人工智能。本篇博客将深入探讨该话题,了解开始边缘 AI 项目时的关键考虑因素、边缘 AI 的主要益处、存在的挑战以及如何与开源技术融合。

什么是边缘 AI?

位于边缘的 AI 即边缘 AI,是指人工智能与边缘计算相结合。其目标是在连接的边缘设备上执行机器学习模型。它能够使设备做出更明智的决策,无需总是连接到云来处理数据。其之所以被称为边缘,是因为机器学习模型在用户附近运行,而非数据中心。

随着行业发现新的用例和机会来优化工作流程、实现业务流程自动化或解锁新的创新机遇,边缘 AI 越来越受欢迎。自动驾驶汽车、可穿戴设备、工业装配线、智能家电等都是利用边缘 AI 能力,在最重要的情形下实时向用户传递信息的技术。 

边缘 AI 的益处

算法能够理解文本、声音或图像等不同的输入信息。对于遇到实际问题的终端用户而言,它们尤其实用。由于延迟、带宽和隐私相关的问题,将这些 AI 应用程序部署到集中式云或企业数据中心是不切实际的,甚至是不可能的。

边缘 AI 的一些最重要的益处如下:

  • 实时洞察:由于数据是实时分析的,靠近用户,边缘 AI 可以实现实时处理,减少完成操作和获得洞察所需的时间。
  • 成本节约:根据用例的不同,一些数据可以在数据收集处的边缘进行处理,因此不必将所有数据都发送到数据中心进行机器学习算法训练。这样可以减少存储数据和训练模型的成本。与此同时,组织常常利用边缘 AI,通过优化边缘设备开关时间,降低这些设备的功耗,从而再次降低成本。
  • 高可用性:企业组织采用分散式方法训练和运行模型,即使数据中心内部存在问题,也能够确保其边缘设备从模型中受益。
  • 隐私性:边缘 AI 可以实时分析数据,不会将数据暴露给任何人,从而增强对所涉对象的外貌、声音或身份隐私的保护。例如,监控摄像头不需要人脸对准摄像头看,而是部署机器学习模型,根据用例或需求发送警报。
  • 可持续性:使用边缘 AI 来降低边缘设备的功耗不仅可以最大限度地降低成本,还可以使企业组织变得更具可持续性。使用边缘 AI,企业可以在不需要的情况下避免使用其设备。

工业领域用例

在垂直领域中,企业正在快速开发和部署边缘 AI 模型,以此处理各种各样的用例。为了更好地了解边缘 AI 所能提供的价值,我们来深入了解一下它在工业领域的应用情况。

工业制造商们正在努力应对通常使用到大量设备的大型工厂这一难题。Arm 在 2023 年春季进行的一项调查中发现,边缘计算和机器学习是未来几年对制造业影响最大的五大技术之二。边缘 AI 用例通常与现有制造工厂的现代化有关。  其中包括生产调度、质量检查和资产维护——但实际应用不止这些。主要目标是提高产品装配和质量控制等自动化任务的效率与速度。

边缘 AI 在制造业中的一些最突出的用例如下:

  • 实时检测缺陷,作为使用深度神经网络分析产品图像的质量检测流程中的一部分。通常,这样还可以实现预测性维护,帮助制造商通过前瞻性地解决潜在问题来最大限度地减少对零部件的响应性维修需求。 
  • 基于工业机器人的低延迟操作执行实时生产装配任务。 
  • 基于增强现实 (AR) 和混合现实 (MR) 设备为现场任务技术人员提供远程支持; 

低延迟是边缘 AI 应用于工业领域的主要驱动因素。不过,一些用例也受益于增强的安全性和隐私性。例如,3D 打印机可以使用边缘 AI 通过集中式云基础架构来保护知识产权。

边缘 AI 的最佳实践

与其他类型的 AI 项目相比,在边缘运行 AI 面临着一系列独特的挑战。为了将边缘 AI 的价值最大化并避免常见的问题,我们建议遵循以下最佳实践:

  • 边缘设备:边缘 AI 的核心是最终运行模型的设备。它们都有着不同的架构、特性和依赖关系。确保硬件的功能可以满足 AI 模型的要求,并确保软件(如操作系统)在边缘设备上通过了认证。 
  • 安全性:在数据中心以及边缘设备上,都存在可能危及组织安全的人为产物。无论谈论的是用于训练的数据,用于开发或部署 ML 模型的 ML 基础架构,还是边缘设备的操作系统,企业组织都需要保护所有这些人为产物。利用适当的安全功能来保护这些组件,例如安全包、从边缘设备安全启动操作系统或者设备上的全磁盘加密。
  • 机器学习规模:根据用例的不同,机器学习模型的规模也有所不同。模型规模需要与拟运行模型的终端设备适配,因此开发人员需要优化模型规模并确定成功部署模型的概率。
  • 网络连接:机器学习生命周期是一个迭代的过程,因此需要定期更新模型。网络连接因而既影响数据收集过程,也影响模型部署能力。在构建部署模型或构建 AI 战略之前,企业组织需要检查并确保可靠的网络连接。
  • 延迟:企业组织常常使用边缘 AI 进行实时处理,因此延迟需要最小化。例如,当监测到欺诈行为时,零售商需要即时警报,其不能要求顾客在收银台等待数分钟才确认付款。根据用例的不同,在选择工具和模型更新频率时需要评估和考虑延迟。
  • 可扩展性:规模通常限于移动和处理信息的云带宽。因此成本较高。为了确保更广范围的可扩展性,数据收集和部分数据处理应在边缘进行。 
  • 远程管理:企业组织通常拥有多个设备或多个远程位置,因此扩展到所有这些设备或位置也会带来管理方面的新挑战。为了应对这些挑战,请确保您拥有相应的机制来实现轻松的远程配置和自动更新。

边缘 AI 与开源

开源是人工智能革命的核心,开源解决方案可以有效的途径来解决上述许多最佳实践中的问题。当涉及到边缘设备时,开源技术可用于确保设备以及机器学习模型的安全性、稳健性和可靠性。据此,企业组织可以从广泛的工具和技术中灵活选择,从社区支持中受益,并且无需大量投资即可快速入门。从运行在边缘设备上的操作系统,到用于培训的 MLOps 平台,再到用于部署机器学习模型的框架,开源工具可以在所有堆栈层上使用。

边缘 AI 与 Canonical

Canonical 推出了一个全面的 AI 堆栈,其中包括企业组织边缘 AI 项目可能需要的所有开源软件。

Canonical 提供端到端的 MLOps 解决方案,使您能够训练您的模型。Charmed Kubeflow 是解决方案的基础,其与领先的开源工具(如用于模型注册的 Mlflow 或用于数据流的 Spark)无缝集成。企业组织可以在任何云平台和任何 Kubernetes 发行版上灵活开发自己的模型,同时提供用户管理、使用包或托管服务的安全维护等功能。

设备运行的操作系统起着至关重要的作用。Ubuntu Core 是专用于物联网设备的 Ubuntu 开源操作系统发行版。其具有安全启动和全磁盘加密等功能,有助于确保设备的安全性。  对于某些用例而言,运行 Microcloud 等小型云可以使无人值守的边缘集群利用机器学习。

将模型打包为 Snaps,可使模型在生产中易于维护和更新。Snaps 具有 OTA 更新、故障时自动回滚、无接触部署等多种益处。同时,对于模型的机器学习生命周期管理和远程管理,Brand store 是一个理想的解决方案。

边缘 AI 入门

使用我们的 MLOps Toolkit 进一步探索 Canonical 解决方案,了解构建机器学习工具包时需要考虑的关键因素,其中包括:

  • 已在市场上经过测试和验证的硬件和软件
  • 用于数据处理和模型构建的开源机器学习工具
  • 用于编排的容器解决方案
  • 具有多种选项的云计算
  • 可以在企业内推出的生产级解决方案

下载 MLOps Toolkit,请点击此处。或阅读中文版MLOPs 指南
欲了解关于 Canonical 边缘 AI 解决方案的更多信息,请联系我们。

更多阅读资料

订阅博客文章

订阅您感兴趣的主题

在提交此表格的同时,我确认已阅读和同意的隐私声明隐私政策。

查看更多内容

由 MediaTek Genio 1200 驱动的新型单板计算机 Advantech RSB-3810,现已通过 Ubuntu 22.04 LTS 认证

探索此款专为物联网和边缘应用设计的全新硬件解决方案 2023 年,Canonical 与 MediaTek 为实现物联网创新,合作优化 Ubuntu 并宣布推出针对 MediaTek 的 Genio 1200 片上系统(SoC)优化的首批 Ubuntu 镜像。该解决方案旨在实现不同市场的 AI 创新。基于 MediaTek Genio 平台和认证版 Ubuntu 构建的设备享有可靠高效的无线更新,从而实现下一代安全、开放且可扩展的物联网设备。 今天,MediaTek 和 Canonical 很高兴地宣布,行业领先的嵌入式 AI 解决方案提供商 Advantech 已成功发布 RSB-3810 2.5” Pico-ITX ——第一款运行于 MediaTek Genio 12 […]

Ubuntu Linux 为什么成为金融服务领域取代 CentOS 的首选?

金融服务由技术驱动。而客户体验越来越多地由数据驱动,通过定制产品和服务可以体现出个人行为和偏好。所有这一切都建立在安全稳定的技术基础之上,只有这样的基础才可以提供敏捷性和灵活性,以适应客户需求的同时保持合规性。  使用 CentOS 作为创新基础的金融服务机构见证了 CentOS 8 于 2021 年退出,随后是 CentOS 7 于 2024 年 6 月退出。不过,最近的一项研究显示,各行业近四分之一的企业组织仍在使用 CentOS。  听起来是不是很耳熟?众所周知,金融机构在进行重大技术变革时是最谨慎的。考虑到金融业务的敏感性,这也就可以理解了。事实上,尽管过渡到云已成为一种成熟的方案,但仍有 60% 的金融机构表示,他们采用的传统技术堆栈成本过高且存在不足。与所有传 […]

Canonical 发布 Ubuntu 24.10 Oracular Oriole

最新版 Ubuntu 具备最先进的内核以及增强的桌面安全性 Canonical 发布 Ubuntu 24.10,代号“Oracular Oriole”,用户可前往下载并安装。 Ubuntu 24.10 具备最新的内核、工具链和 GNOME 47 桌面环境,同时在软件安全性方面进行了重大改进。 “Oracular Oriole 为提供最新的上游内核和工具链设定了新的步伐。”Canonical 首席执行官 Mark Shuttleworth 称,“实验性的新增安全功能表明了我们致力于在未来 20 年甚至更长时间内保持社区互动沟通,不断提升 Linux 桌面体验的决心。” 免费下载 Linux 6.11 提供最新的硬件支持 Ubuntu 24.10 采用了 Linux 6.11 […]