解开Kubeflow管道的神秘面纱第一部分:Kubernetes上的数据科学工作流程

by liam zheng on 3 September 2020

Kubeflow管道(Pipeline)是构建可移植、可扩展的机器学习工作流程最好的方式,也是更大的Kubeflow生态的一部分,旨在减少大规模训练和部署机器学习模型的复杂性和时间。

在这个系列的博客文章中,我们将介绍Kubeflow pipelines和展示了这种方法来产生可重用和可再现的数据科学。 🚀

我们将探讨为什么Kubeflow为数据科学工作流程带来了正确的标准化,然后说明了如何通过Kubeflow管道实现这一目标。

在第二部分种,我们将开始上手实践。我们也会利用Fashion MNIST数据集和基础Tensorflow示例,采用逐步方法将示例模型转换为Kubeflow管道,以便你可以执行此操作。

为什么要用Kubeflow

机器学习工作流程可能涉及许多步骤,并且如要保存所有这些步骤到笔记本或脚本中将会变得难以维护,共享和协作,这导致大量“机器学习系统中隐藏的技术债务”。

另外,这些步骤通常在不同的系统上运行。在实验的初始阶段,数据科学家将在工作站或本地训练平台上工作,大规模训练通常会在云环境(私有,混合或公有云)中进行,而推理和分布式训练则经常发生在边缘端。

容器提供了正确的封装,避免了每次开发者改变执行环境时调试的需求,且Kubernetes将容器的调度和编排带到了基础设施中。

然而,管理Kubernetes顶端的机器学习工作流程仍然是一项专门的运营工作,这也是我们不想给数据科学家添加的工作。Kubeflow弥补了在AI工作负载和Kubernetes间的间隔,使得机器学习运营更好管理。

什么是Kubeflow管道?

Kubeflow管道是Kubeflow最重要的功能之一,有望使您的AI实验具有可重复性,可组合性。例如,可互换的组件,可扩展,并且易于共享。

管道是机器学习工作流程的统一表示形式,类似于第一幅图中描述的步骤序列,其中包括工作流程的组件及其各自的依存关系。具体地说,管道是有向无环图(DAG),每个节点上都有一个容器化过程,该过程在Argo之上运行。

每个管道组件,呈现为一个区块,是一个独立的代码,通常打包为Docker镜像。它包含输入(参数),输出和管道中执行的一步。在上面管道示例中,transform_data步骤需要作为extract_data和generate_schema步骤的输出产生的参数,并且其输出是train_model的依赖项。

你的机器学习代码是被包入组件中的,你可以对组件进行:

  • 指定参数——在每次运行时在仪表中可进行编辑,配置。
  • 挂载持久卷——如我们的笔记本无故终止,不能添加持久卷的话,我们会丢失全部的数据。
  • 指定要生成的工程文件——如方便地存储在Kubeflow仪表板内的Artifact Store中的图形,表格,选择的图片,模型。

最后,当你运行管道,根据Kubernetes调度,现在将在整个集群中执行每个容器,同时考虑到相关性。

容器化的编排使得其可简单复用,分享或随着工作流程的变化而更换组件,这种情况很常见。

在运行管道后,你能在管道接口上研究结果,调试,调整参数和通过不同参数或数据源执行的管道来进行实验。

通过这样的实验,你保存和比较运行结果,保持最佳性能的模型和工作流程的版本控制。

扩展阅读

要持续学习和实验Kubeflow和Kubeflow管道,你可以:

如何体验Kubeflow?

要在Windows、macOS或者Ubuntu上部署Kubeflow,可参考:

  1. 阅读教程
  2. 观看Youtube视频

This blog series is part of the joint collaboration between Canonical and Manceps.
Visit our AI consulting and delivery services page to know more.

订阅博客文章

选择您感兴趣的主题

在提交此表格的同时,我确认已阅读和同意的隐私声明隐私政策。

查看更多内容

工业物联网(IIoT)的网络安全防御

对工业物联网解决方案的网络安全攻击可能会带来有害结果,这是因为IoT设备记录了隐私敏感的数据并且控制生产资产。因此,可证明的受信度是在工业环境中采用IoT物联网的先决条件。 幸运的是,IT安全是一个成熟的领域。专家已识别了设备可能受到的威胁类别。让我们在工业物联网(IIoT)环境中讨论这些威胁模式和缓解策略。 威胁建模:问题出在哪里? 网络安全从业人员经常使用威胁模型来映射可能危害系统的攻击。STRIDE模型是由微软开发且被广泛使用的威胁模型。下图是对IoT设备的威胁例子: 下面是降低这些威胁的关键操作系统功能特性。 安全启动与软件验证 IoT设备在启动时最容易被攻击。使用恶意软件组件启动操作系统可能会导致设备完全损坏。这类的“缺口”会使得设备面临其他安全威胁。 安全启动 […]

樹莓派綫下meetup台北站將於11月30日舉辦

本次Meetup活動將由樹莓派官方台灣代理商舉辦,主題為「Raspberry Pi 4 + Ubuntu 和系統開機分析」。 這是第三十三次 Raspberry Pi 社群聚會,希望能透過社群活動的分享和交流,找到更多 Raspberry Pi 的可能。 題目一:Snap your application for embedded system 分享者:Taiten(Canonical)内容簡介:    1) Snap and Ubuntu Store for IoT    2) Snap vs Docker    3) Snap your app demo 題目二:A journey to boot Linux on Raspberry Pi 分享者:StarNight […]

【视频】什么是Ubuntu Pro?

Ubuntu Pro 是由Canonical设计的专业版本Ubuntu,为运行在云上的生产环境提供额外的支持覆盖。其包括默认启用的安全和合规服务,适用于小型到大型Linux企业运营,无需额外的合同。 Ubuntu Pro目前在Ubuntu认证的云合作伙伴如微软Azure和AWS上已可使用。主要特点有: 默认整合了Kernel Livepatch(内核热补丁),给内核打补丁无需重启内核。 10年的软件包更新和安全维护。 定制的FIPS和Common Criteria EAL兼容组件,用于FedRAMP,PCI,HIPAA和ISO等合规制度下的环境。 Ubuntu基础架构和应用程序仓库的补丁覆盖,涵盖数百种开源工作负载,包括Apache Kafka,MongoDB,Node. […]