谢谢您的订阅!
当新的内容发布后您将开始接收邮件。您也可以点击邮件内的链接随时取消订阅。关闭Close

边缘 AI:结合开源的目的、理由和方式

by Canonical on 2 July 2024

边缘 AI 正在改变设备与数据中心交互的方式,使组织在跟上最新创新的速度方面面临挑战。从 AI 驱动的医疗器械到自动驾驶汽车,大量的用例都受益于边缘设备上的人工智能。本篇博客将深入探讨该话题,了解开始边缘 AI 项目时的关键考虑因素、边缘 AI 的主要益处、存在的挑战以及如何与开源技术融合。

什么是边缘 AI?

位于边缘的 AI 即边缘 AI,是指人工智能与边缘计算相结合。其目标是在连接的边缘设备上执行机器学习模型。它能够使设备做出更明智的决策,无需总是连接到云来处理数据。其之所以被称为边缘,是因为机器学习模型在用户附近运行,而非数据中心。

随着行业发现新的用例和机会来优化工作流程、实现业务流程自动化或解锁新的创新机遇,边缘 AI 越来越受欢迎。自动驾驶汽车、可穿戴设备、工业装配线、智能家电等都是利用边缘 AI 能力,在最重要的情形下实时向用户传递信息的技术。 

边缘 AI 的益处

算法能够理解文本、声音或图像等不同的输入信息。对于遇到实际问题的终端用户而言,它们尤其实用。由于延迟、带宽和隐私相关的问题,将这些 AI 应用程序部署到集中式云或企业数据中心是不切实际的,甚至是不可能的。

边缘 AI 的一些最重要的益处如下:

  • 实时洞察:由于数据是实时分析的,靠近用户,边缘 AI 可以实现实时处理,减少完成操作和获得洞察所需的时间。
  • 成本节约:根据用例的不同,一些数据可以在数据收集处的边缘进行处理,因此不必将所有数据都发送到数据中心进行机器学习算法训练。这样可以减少存储数据和训练模型的成本。与此同时,组织常常利用边缘 AI,通过优化边缘设备开关时间,降低这些设备的功耗,从而再次降低成本。
  • 高可用性:企业组织采用分散式方法训练和运行模型,即使数据中心内部存在问题,也能够确保其边缘设备从模型中受益。
  • 隐私性:边缘 AI 可以实时分析数据,不会将数据暴露给任何人,从而增强对所涉对象的外貌、声音或身份隐私的保护。例如,监控摄像头不需要人脸对准摄像头看,而是部署机器学习模型,根据用例或需求发送警报。
  • 可持续性:使用边缘 AI 来降低边缘设备的功耗不仅可以最大限度地降低成本,还可以使企业组织变得更具可持续性。使用边缘 AI,企业可以在不需要的情况下避免使用其设备。

工业领域用例

在垂直领域中,企业正在快速开发和部署边缘 AI 模型,以此处理各种各样的用例。为了更好地了解边缘 AI 所能提供的价值,我们来深入了解一下它在工业领域的应用情况。

工业制造商们正在努力应对通常使用到大量设备的大型工厂这一难题。Arm 在 2023 年春季进行的一项调查中发现,边缘计算和机器学习是未来几年对制造业影响最大的五大技术之二。边缘 AI 用例通常与现有制造工厂的现代化有关。  其中包括生产调度、质量检查和资产维护——但实际应用不止这些。主要目标是提高产品装配和质量控制等自动化任务的效率与速度。

边缘 AI 在制造业中的一些最突出的用例如下:

  • 实时检测缺陷,作为使用深度神经网络分析产品图像的质量检测流程中的一部分。通常,这样还可以实现预测性维护,帮助制造商通过前瞻性地解决潜在问题来最大限度地减少对零部件的响应性维修需求。 
  • 基于工业机器人的低延迟操作执行实时生产装配任务。 
  • 基于增强现实 (AR) 和混合现实 (MR) 设备为现场任务技术人员提供远程支持; 

低延迟是边缘 AI 应用于工业领域的主要驱动因素。不过,一些用例也受益于增强的安全性和隐私性。例如,3D 打印机可以使用边缘 AI 通过集中式云基础架构来保护知识产权。

边缘 AI 的最佳实践

与其他类型的 AI 项目相比,在边缘运行 AI 面临着一系列独特的挑战。为了将边缘 AI 的价值最大化并避免常见的问题,我们建议遵循以下最佳实践:

  • 边缘设备:边缘 AI 的核心是最终运行模型的设备。它们都有着不同的架构、特性和依赖关系。确保硬件的功能可以满足 AI 模型的要求,并确保软件(如操作系统)在边缘设备上通过了认证。 
  • 安全性:在数据中心以及边缘设备上,都存在可能危及组织安全的人为产物。无论谈论的是用于训练的数据,用于开发或部署 ML 模型的 ML 基础架构,还是边缘设备的操作系统,企业组织都需要保护所有这些人为产物。利用适当的安全功能来保护这些组件,例如安全包、从边缘设备安全启动操作系统或者设备上的全磁盘加密。
  • 机器学习规模:根据用例的不同,机器学习模型的规模也有所不同。模型规模需要与拟运行模型的终端设备适配,因此开发人员需要优化模型规模并确定成功部署模型的概率。
  • 网络连接:机器学习生命周期是一个迭代的过程,因此需要定期更新模型。网络连接因而既影响数据收集过程,也影响模型部署能力。在构建部署模型或构建 AI 战略之前,企业组织需要检查并确保可靠的网络连接。
  • 延迟:企业组织常常使用边缘 AI 进行实时处理,因此延迟需要最小化。例如,当监测到欺诈行为时,零售商需要即时警报,其不能要求顾客在收银台等待数分钟才确认付款。根据用例的不同,在选择工具和模型更新频率时需要评估和考虑延迟。
  • 可扩展性:规模通常限于移动和处理信息的云带宽。因此成本较高。为了确保更广范围的可扩展性,数据收集和部分数据处理应在边缘进行。 
  • 远程管理:企业组织通常拥有多个设备或多个远程位置,因此扩展到所有这些设备或位置也会带来管理方面的新挑战。为了应对这些挑战,请确保您拥有相应的机制来实现轻松的远程配置和自动更新。

边缘 AI 与开源

开源是人工智能革命的核心,开源解决方案可以有效的途径来解决上述许多最佳实践中的问题。当涉及到边缘设备时,开源技术可用于确保设备以及机器学习模型的安全性、稳健性和可靠性。据此,企业组织可以从广泛的工具和技术中灵活选择,从社区支持中受益,并且无需大量投资即可快速入门。从运行在边缘设备上的操作系统,到用于培训的 MLOps 平台,再到用于部署机器学习模型的框架,开源工具可以在所有堆栈层上使用。

边缘 AI 与 Canonical

Canonical 推出了一个全面的 AI 堆栈,其中包括企业组织边缘 AI 项目可能需要的所有开源软件。

Canonical 提供端到端的 MLOps 解决方案,使您能够训练您的模型。Charmed Kubeflow 是解决方案的基础,其与领先的开源工具(如用于模型注册的 Mlflow 或用于数据流的 Spark)无缝集成。企业组织可以在任何云平台和任何 Kubernetes 发行版上灵活开发自己的模型,同时提供用户管理、使用包或托管服务的安全维护等功能。

设备运行的操作系统起着至关重要的作用。Ubuntu Core 是专用于物联网设备的 Ubuntu 开源操作系统发行版。其具有安全启动和全磁盘加密等功能,有助于确保设备的安全性。  对于某些用例而言,运行 Microcloud 等小型云可以使无人值守的边缘集群利用机器学习。

将模型打包为 Snaps,可使模型在生产中易于维护和更新。Snaps 具有 OTA 更新、故障时自动回滚、无接触部署等多种益处。同时,对于模型的机器学习生命周期管理和远程管理,Brand store 是一个理想的解决方案。

边缘 AI 入门

使用我们的 MLOps Toolkit 进一步探索 Canonical 解决方案,了解构建机器学习工具包时需要考虑的关键因素,其中包括:

  • 已在市场上经过测试和验证的硬件和软件
  • 用于数据处理和模型构建的开源机器学习工具
  • 用于编排的容器解决方案
  • 具有多种选项的云计算
  • 可以在企业内推出的生产级解决方案

下载 MLOps Toolkit,请点击此处。或阅读中文版MLOPs 指南
欲了解关于 Canonical 边缘 AI 解决方案的更多信息,请联系我们。

更多阅读资料

订阅博客文章

订阅您感兴趣的主题

在提交此表格的同时,我确认已阅读和同意的隐私声明隐私政策。

查看更多内容

Canonical 宣布与 Qualcomm 合作

强强联手,使 Ubuntu 和 Ubuntu Core 应用于 Qualcomm®处理器驱动的设备 Ubuntu 发行商 Canonical 宣布与最新的主要系统级芯片制造商和设计商高通公司 Qualcomm Technologies, Inc. 合作,共同开展 Canonical 的硅芯片合作伙伴计划。 通过该合作伙伴计划,Qualcomm Technologies 将获得一个安全的开源操作系统,以及针对高通软件优化的 Ubuntu 版本。此外,优化版 Ubuntu 和 Ubuntu Core 镜像将用于高通系统级芯片,使企业能够凭借 10 年长期支持的安全操作系统,满足其在边缘 AI 和更广泛的物联网市场方面的监管、合规和安全需求。  安全第一且 AI 就绪 人工智能 […]

Canonical 发布 Ubuntu Pro 设备版 – Ubuntu Pro for Devices

面向物联网部署的新订阅版本保障最先进开源堆栈的安全性及长期合规性  Ubuntu 发行商 Canonical 宣布推出 Ubuntu Pro 设备版 – Ubuntu Pro for Devices,此款综合性产品有助于简化物联网设备部署的安全性和合规性工作。Ubuntu Pro 设备版提供长达 10 年的 Ubuntu 安全维护,并且提供数千个开源包,如 Python、Docker、OpenJDK、OpenCV、MQTT、OpenSSL、Go 和机器人操作系统(ROS)。该订阅版还提供使用 Canonical 系统管理工具 Landscape 进行设备管理的功能,以及在延迟关键型用例中访问 Real-time Ubuntu 的功能。Ubuntu Pro 设备版可直接从 […]

Canonical 发布 Ubuntu Core 24

不可变 Ubuntu Core 为 IoT 设备制造商提供了新的厂内安装系统、对 AIoT 的 GPU 支持与 Landscape 和 Microsoft Azure IoT Edge 之间的设备管理集成 2024 年 6 月 4 日,伦敦 今日,Canonical 宣布正式发布 Ubuntu Core 24,并承诺提供 12 年长期支持 (LTS)。Ubuntu 的这种「不可变」风格将每个系统组件和系统本身放入一组容器中,这些容器具有严格的内核强制限制、丰富的托管组件集成、可靠的无线更新和故障安全回滚等特征,从而实现智能的边缘和物联网应用程序。  Ubuntu Core 支持 ARM、X86 及 RISC-V,使全球最受欢迎的开发者平台 Ubuntu 摇身一变成为面向数 […]