谢谢您的订阅!
当新的内容发布后您将开始接收邮件。您也可以点击邮件内的链接随时取消订阅。关闭Close

使用 MicroCeph 实现边缘存储

by Canonical on 20 February 2024

随时、随地—— MicroCeph 让边缘存储变得简单

数据无处不在,不仅存在于大型的集中式数据中心,而且还存在于较小的前哨,如零售店、远程或分支机构、拍摄地点甚至汽车。边缘存储的用例包括本地处理、在高网络延迟情况下无法进行的内容协作以及数据摄取(即对本地创建的内容进行捕获、保护,然后提供给其他系统)。

所有这些场景都有两个共同点:生成的数据至关重要,以及这些位置通常带宽有限。

从历史数据来看,其中部分用例会使用单板计算机,但随着时间的推移,数据的重要性提高,现在对性能和冗余有了更高的要求。而使用边缘存储即可满足这些新需求。

边缘存储解决方案允许在创建数据的地方安全存储并有效处理数据,无需将其传输到集中位置进行处理。这种方法可以实现安全、高性能的数据处理,不受延迟和带宽限制所影响。

在今天的博客中,笔者将介绍为什么要使用边缘存储解决方案,并演示如何使用 MicroCeph 轻松启动和运行存储集群。 

使用边缘存储维护局部性

在一些边缘环境中,例如零售商店,将结果发送到中央存储库之前,在该位置对销售和库存数据进行初步处理和分析会更加高效。这种易损坏的数据可用作其他流程的输入数据,并且可以在数百或数千个位置生成。

另一个用例是自动驾驶汽车,其每天可以生成高达 6TB 的数据。这些数据需要在本地进行实时处理,并且必须保持其完整性,因为这些数据将用于决策和自动驾驶算法的优化。

这些类型的用例需要高性能和冗余存储,而这在传统的单板计算机系统中是无法满足的。诸如 Ceph 的可扩展存储解决方案可以帮助实现性能和冗余目标。使用多个节点意味着存储数据的多个副本,这在单个节点或磁盘出现故障时可以减少数据丢失。Ceph 的横向扩展架构意味着添加额外节点可提高性能和容量。

分布式数据处理不仅可以减少对企业网络和数据中心的需求,而且还能减少获得结果的延迟。

使用边缘存储保护内容

图形和视频等内容类型的远程协作范围因文件大小而有限,因此数据需要临时存储在本地。例如,平均一集电视剧的原始素材可以消耗 100TB。 

此外,在远程拍摄地点,可能没有网络连接,无法将内容安全传输到集中式数据存储中心,因此必须先安全存储在本地,稍后再进行处理。在这种情况下,数据丢失可能会给制作公司带来巨大的财务损失。

全磁盘加密允许用户确信其数据在磁盘或节点丢失时不会暴露。通过 CephX 对所有不同的存储协议进行强大的客户端授权意味着只有经过批准的各方才能访问存储在集群上的数据。

简化的边缘存储

边缘存储系统必须提供简化且轻松的部署体验,并将持续维护开销降至最低。这是因为这些系统可能位于可能没有可用存储专家的远程或离线位置。标准的 Ceph 集群难以在边缘部署和操作,但 MicroCeph 可以解决这种复杂性难题。

我们重新设计了 MicroCeph,可以为非专家人群提供可靠和弹性的存储解决方案,无论他们选择将其部署在何处。它是一种高度可扩展的基于快照的解决方案,仅在三个节点上运行即可提供冗余和高可用性,但也可以进行扩展以满足多个 PB 级的需求。MicroCeph 与其所有依赖项一起进行容器化,并在底层主机上完全沙盒化运行,以最大限度地降低安全风险。软件更新过程轻松且无干扰,能够满足正在运行的 Ceph 集群的操作需求。

MicroCeph 支持所有的数据访问协议——块、文件和对象,并且可以结合全磁盘加密进行部署,因此无需担心硬件丢失。

让所有人轻松使用 Ceph

试试 MicroCeph 吧。只需要少数命令和几分钟时间,即可启动并运行一个功能性的 Ceph 集群。首先,使用以下命令安装 MicroCeph 快照,创建具有 3 个基于环回的 OSD 的单节点 Ceph 集群。不建议在生产环境中使用这种配置,但可以对 MicroCeph 轻松上手。

sudo snap install microceph --channel quincy/edge

然后从第一个节点启动集群:

sudo microceph cluster bootstrap

接着,添加一些将用作 OSD 的磁盘:

sudo microceph disk add loop,4G,3

验证集群状态:

microceph.ceph status
microceph.ceph osd status

了解更多

请前往 snapcraft 页面了解关于 MicroCeph 的更多信息。

更多资源

订阅博客文章

订阅您感兴趣的主题

在提交此表格的同时,我确认已阅读和同意的隐私声明隐私政策。

查看更多内容

云存储安全最佳实践

使用 Ceph 的安全功能确保数据安全 如何将数据安全地存储在云存储系统中? 数据对于任何企业组织而言如同王冠上的宝石,如果丢失或暴露,可能会造成严重的影响。如果不能防止系统故障,可能会导致业务数据的丢失,从而导致业务无法正常运营,最终导致业务失败。将敏感数据暴露给未授权方不仅会导致声誉受损,还可能导致企业遭受巨额罚款。 本篇博客将详细介绍这些风险,以及如何使用 Ceph 的安全功能来减轻这些风险。首先,我们来了解一下数据泄露发生的一些最常见方式: 实物盗窃/运输 与存储相关的硬件、磁盘或整个存储系统的丢失可能导致敏感信息暴露。这可能发生在传统的入室盗窃情况下,即未经授权的一方进入数据中心并移除硬件,或者硬件在运输过程中(例如在返厂维修或更换时)被他人截获。 另一种实体危 […]

适用于 Kubernetes 的 Ceph 存储

异性相吸。有状态和无状态。 存储和容器管理系统几乎是对立的两极。一个涉及永久存储,以及根据需要保护数据。另一个自动管理高度动态的工作负载,按需扩缩资源。  对于应用部署和管理,更多组织采用容器优先的方法,但安全存储数据的潜在挑战依然存在。任何存储系统都需要防止硬件故障,维护组织最重要的资产 — 数据的可用性。 数据增长速度非常快,据估计,每天会产生超过 2500 PB 的新数据。好在新增的数据分布于众多组织中,因此还没有组织需要独自处理如此大规模的增长。Ceph 这样的横向扩展存储系统非常适合应对任何规模的组织中的存储增长,只需为集群添加更多节点,您便不仅能够增加容量,还能够提高计算能力,从而同时扩展性能和容量。 创建数据也要花费时间和精力,如果照片或视频、医疗记录或金融 […]

基于 MicroK8s 和 Ubuntu 实时内核支持的 Intel FlexRAN 组件自动扩展

RAN 随着每一代移动通信技术的发展而不断演变,从而在用户设备和核心网络之间实现更快的数据传输。内部互连设备数量的增多使得数据量比以往任何时候都要多。至于现有的网络架构,其挑战在于处理不断增加的工作负载,以及更快地处理、分析和传输数据的能力。而对于 5G 生态系统,则需要实现 RAN 的虚拟化。第五代移动网络需要具备更大的灵活性以适应需求,具备可扩展性以满足运行时的网络条件,以及需要自动化以进行远程管理,而这些只能通过虚拟 RAN 来实现。  Intel FlexRAN 解决了传统 RAN 架构所面临的挑战。它能够从核心网络功能中将底层硬件抽象化,以实现最佳的资源利用。FlexRAN 是 O-RAN (OpenRAN) 的改进和参考实现,具有在不同供应商设备之间进行互操作 […]