使用 MicroCeph 实现边缘存储
by Canonical on 20 February 2024
随时、随地—— MicroCeph 让边缘存储变得简单
数据无处不在,不仅存在于大型的集中式数据中心,而且还存在于较小的前哨,如零售店、远程或分支机构、拍摄地点甚至汽车。边缘存储的用例包括本地处理、在高网络延迟情况下无法进行的内容协作以及数据摄取(即对本地创建的内容进行捕获、保护,然后提供给其他系统)。
所有这些场景都有两个共同点:生成的数据至关重要,以及这些位置通常带宽有限。
从历史数据来看,其中部分用例会使用单板计算机,但随着时间的推移,数据的重要性提高,现在对性能和冗余有了更高的要求。而使用边缘存储即可满足这些新需求。
边缘存储解决方案允许在创建数据的地方安全存储并有效处理数据,无需将其传输到集中位置进行处理。这种方法可以实现安全、高性能的数据处理,不受延迟和带宽限制所影响。
在今天的博客中,笔者将介绍为什么要使用边缘存储解决方案,并演示如何使用 MicroCeph 轻松启动和运行存储集群。
使用边缘存储维护局部性
在一些边缘环境中,例如零售商店,将结果发送到中央存储库之前,在该位置对销售和库存数据进行初步处理和分析会更加高效。这种易损坏的数据可用作其他流程的输入数据,并且可以在数百或数千个位置生成。
另一个用例是自动驾驶汽车,其每天可以生成高达 6TB 的数据。这些数据需要在本地进行实时处理,并且必须保持其完整性,因为这些数据将用于决策和自动驾驶算法的优化。
这些类型的用例需要高性能和冗余存储,而这在传统的单板计算机系统中是无法满足的。诸如 Ceph 的可扩展存储解决方案可以帮助实现性能和冗余目标。使用多个节点意味着存储数据的多个副本,这在单个节点或磁盘出现故障时可以减少数据丢失。Ceph 的横向扩展架构意味着添加额外节点可提高性能和容量。
分布式数据处理不仅可以减少对企业网络和数据中心的需求,而且还能减少获得结果的延迟。
使用边缘存储保护内容
图形和视频等内容类型的远程协作范围因文件大小而有限,因此数据需要临时存储在本地。例如,平均一集电视剧的原始素材可以消耗 100TB。
此外,在远程拍摄地点,可能没有网络连接,无法将内容安全传输到集中式数据存储中心,因此必须先安全存储在本地,稍后再进行处理。在这种情况下,数据丢失可能会给制作公司带来巨大的财务损失。
全磁盘加密允许用户确信其数据在磁盘或节点丢失时不会暴露。通过 CephX 对所有不同的存储协议进行强大的客户端授权意味着只有经过批准的各方才能访问存储在集群上的数据。
简化的边缘存储
边缘存储系统必须提供简化且轻松的部署体验,并将持续维护开销降至最低。这是因为这些系统可能位于可能没有可用存储专家的远程或离线位置。标准的 Ceph 集群难以在边缘部署和操作,但 MicroCeph 可以解决这种复杂性难题。
我们重新设计了 MicroCeph,可以为非专家人群提供可靠和弹性的存储解决方案,无论他们选择将其部署在何处。它是一种高度可扩展的基于快照的解决方案,仅在三个节点上运行即可提供冗余和高可用性,但也可以进行扩展以满足多个 PB 级的需求。MicroCeph 与其所有依赖项一起进行容器化,并在底层主机上完全沙盒化运行,以最大限度地降低安全风险。软件更新过程轻松且无干扰,能够满足正在运行的 Ceph 集群的操作需求。
MicroCeph 支持所有的数据访问协议——块、文件和对象,并且可以结合全磁盘加密进行部署,因此无需担心硬件丢失。
让所有人轻松使用 Ceph
试试 MicroCeph 吧。只需要少数命令和几分钟时间,即可启动并运行一个功能性的 Ceph 集群。首先,使用以下命令安装 MicroCeph 快照,创建具有 3 个基于环回的 OSD 的单节点 Ceph 集群。不建议在生产环境中使用这种配置,但可以对 MicroCeph 轻松上手。
sudo snap install microceph --channel quincy/edge
然后从第一个节点启动集群:
sudo microceph cluster bootstrap
接着,添加一些将用作 OSD 的磁盘:
sudo microceph disk add loop,4G,3
验证集群状态:
microceph.ceph status
microceph.ceph osd status
了解更多
请前往 snapcraft 页面了解关于 MicroCeph 的更多信息。
更多资源
- 什么是 Ceph?
- 博客:使用 MicroCeph 实现边缘云存储
- MicroCeph 文档
- 白皮书【优化云存储的成本】— 如何利用现成的硬件与公共云数据中心附近的开源 Ceph 相结合,将每 GB 的成本降低 60%
订阅博客文章
查看更多内容
如何为企业选择最合适的企业数据存储解决方案?
围绕 IT 基础架构所做的选择对业务成本和性能都有很大的影响,其中涉及到运营、财务、数据分析和市场营销等多个领域。鉴于数据在所有这些领域中的重要性,甚至是在整个企业中的重要性,在选择新的存储系统时做出正确的决定至关重要。本篇文章将介绍选择时的一些考虑因素,以确保您在成本效益和性能之间取得平衡。 一、性能 存储性能涉及多个维度,首先来考虑最简单的度量指标: IOPs(Input/Output operations per Second)– 每秒输入/输出操作数,即一秒钟内可处理的操作次数。 响应时间(Response time)– IO 操作处理后安全存储到存储系统中并向请求应用程序发送确认信息所耗用的时间。 带宽(Bandwidth)– 一秒钟内可以传输的数据量的度量方 […]
Canonical 推出首个 MicroCloud LTS 版本
扩大 Canonical 基础架构解决方案 - MicroCloud 2.1.0 LTS 长期支持承诺 Canonical 推出 MicroCloud 的首个长期支持(LTS,Long Term Support)版本。MicroCloud 是 Canonical 的云基础架构产品组合的一员。作为 Ubuntu 的发行商,Canonical 以每两年在4月份提供 Ubuntu LTS 版本著名。随着 MicroCloud LTS 的加入,Canonical 扩大了对寻求面向边缘和低接触云的可扩展虚拟化解决方案的组织提供长期支持的承诺。 MicroCloud 2.1.0 LTS 支持单节点部署,改进了安全状况,并在初始化过程中具有更大的灵活性。它将 LXD 作为其虚拟化平 […]
什么是 IoT 设备管理?
IoT 设备管理是指用于部署、监控和维护 IoT 设备的流程或实践。随着组织扩大其 IoT 工作,可靠的设备管理方法对于运行安全、简化的设备群至关重要。 全球联网设备的激增(预计 2024 年达到 188 亿台)意味着 IoT 设备管理变得越来越复杂,这一现实并没有被恶意行为者忽视。事实上, 2023 年平均每个组织每周遭受 60 次 IoT 攻击。这是因为设备以及它们之间的连接和您的管理系统构成了一个相当大的攻击面。 在这篇博客中,我们将通过关注您需要实现的 3 个目标来讲解 IoT 设备管理的基础:可见性、互操作性和安全性。我们将介绍开放式设备管理方法如何确保您在任何行业、任何规模的任何设备中实现这三个目标。 可统合并保护您设备的一把伞 您可以将自己的 IoT 管理 […]