解开Kubeflow管道的神秘面纱第一部分:Kubernetes上的数据科学工作流程

by liam zheng on 3 September 2020

Kubeflow管道(Pipeline)是构建可移植、可扩展的机器学习工作流程最好的方式,也是更大的Kubeflow生态的一部分,旨在减少大规模训练和部署机器学习模型的复杂性和时间。

在这个系列的博客文章中,我们将介绍Kubeflow pipelines和展示了这种方法来产生可重用和可再现的数据科学。 🚀

我们将探讨为什么Kubeflow为数据科学工作流程带来了正确的标准化,然后说明了如何通过Kubeflow管道实现这一目标。

在第二部分种,我们将开始上手实践。我们也会利用Fashion MNIST数据集和基础Tensorflow示例,采用逐步方法将示例模型转换为Kubeflow管道,以便你可以执行此操作。

为什么要用Kubeflow

机器学习工作流程可能涉及许多步骤,并且如要保存所有这些步骤到笔记本或脚本中将会变得难以维护,共享和协作,这导致大量“机器学习系统中隐藏的技术债务”。

另外,这些步骤通常在不同的系统上运行。在实验的初始阶段,数据科学家将在工作站或本地训练平台上工作,大规模训练通常会在云环境(私有,混合或公有云)中进行,而推理和分布式训练则经常发生在边缘端。

容器提供了正确的封装,避免了每次开发者改变执行环境时调试的需求,且Kubernetes将容器的调度和编排带到了基础设施中。

然而,管理Kubernetes顶端的机器学习工作流程仍然是一项专门的运营工作,这也是我们不想给数据科学家添加的工作。Kubeflow弥补了在AI工作负载和Kubernetes间的间隔,使得机器学习运营更好管理。

什么是Kubeflow管道?

Kubeflow管道是Kubeflow最重要的功能之一,有望使您的AI实验具有可重复性,可组合性。例如,可互换的组件,可扩展,并且易于共享。

管道是机器学习工作流程的统一表示形式,类似于第一幅图中描述的步骤序列,其中包括工作流程的组件及其各自的依存关系。具体地说,管道是有向无环图(DAG),每个节点上都有一个容器化过程,该过程在Argo之上运行。

每个管道组件,呈现为一个区块,是一个独立的代码,通常打包为Docker镜像。它包含输入(参数),输出和管道中执行的一步。在上面管道示例中,transform_data步骤需要作为extract_data和generate_schema步骤的输出产生的参数,并且其输出是train_model的依赖项。

你的机器学习代码是被包入组件中的,你可以对组件进行:

  • 指定参数——在每次运行时在仪表中可进行编辑,配置。
  • 挂载持久卷——如我们的笔记本无故终止,不能添加持久卷的话,我们会丢失全部的数据。
  • 指定要生成的工程文件——如方便地存储在Kubeflow仪表板内的Artifact Store中的图形,表格,选择的图片,模型。

最后,当你运行管道,根据Kubernetes调度,现在将在整个集群中执行每个容器,同时考虑到相关性。

容器化的编排使得其可简单复用,分享或随着工作流程的变化而更换组件,这种情况很常见。

在运行管道后,你能在管道接口上研究结果,调试,调整参数和通过不同参数或数据源执行的管道来进行实验。

通过这样的实验,你保存和比较运行结果,保持最佳性能的模型和工作流程的版本控制。

扩展阅读

要持续学习和实验Kubeflow和Kubeflow管道,你可以:

如何体验Kubeflow?

要在Windows、macOS或者Ubuntu上部署Kubeflow,可参考:

  1. 阅读教程
  2. 观看Youtube视频

This blog series is part of the joint collaboration between Canonical and Manceps.
Visit our AI consulting and delivery services page to know more.

订阅博客文章

选择您感兴趣的主题

在提交此表格的同时,我确认已阅读和同意的隐私声明隐私政策。

查看更多内容

Ubuntu Tech Live第二期:Ubuntu Core 20新版本抢先新体验

Ubuntu Tech Live是全新一档由Ubuntu / Canonical官方开设,并专为开发者和企业所设计的栏目。活动以视频直播的方式向大家介绍Ubuntu最新的技术和产品。 设置有问答环节,Canonical专家现场为您解答相关问题。同时,也将不定期邀请合作伙伴、业内专家分享相关有趣的主题。 直播时间:2020年9月25日12点15分至13点15分 您将了解到: Canonical与Ubuntu最新产品技术资讯 Ubuntu Core 20新特性介绍 观看视频直播就有机会获取Ubuntu官方纪念T恤。 前往注册 […]

Snap应用开发体验的协作与聆听

“你需要帮助吗?”是热情的开发者在开源项目中经常会说的话。 组成Snap生态系统的活动部件很多。这意味着有很多地方可以参与其中! 寻找开始的地方可能会令人生畏,但我们在这里示意您如何开始。无论您的技术水平和时间如何,我们都可以确保为发烧友留下深刻印象的机会。 Snap应用 让我们从snap本身开始。一般来说,用户关系对日常使用的软件的关心要多于构建软件的工具或托管的服务器。火狐浏览器的用户关心应用的使用体验,VLC的用户关心多媒体播放或视频捕获功能。 给这些snap应用开发者提供反馈是使其变得更好的且非常重要的一步。许多snap开发者通常会在Snap商店预发布测试版到测试通道。例如,火狐和VLC在测试通道都有更新可能不太稳定的版本。 $ snap info firefox […]