面向开源存储新手的Ceph
by Canonical on 16 September 2022
现代组织越来越依赖自身 IT 能力，其基础设施的核心就是与日俱增的数据存储需求：无论是事务性数据库、文件共享，还是用于业务分析的新兴数据湖。
虽然，传统意义上的超大型计算机硬件供应商可满足存储需求，但是在过去十年中，越来越多的组织倾向选择开源解决方案，例如在商用硬件上运行的 Ceph。在本文中，我们将对 Ceph 进行介绍，并说明不同组织选择 Ceph 的原因。
选择存储解决方案
Canonical 经常被问到：我该在哪里存储我的数据？这个问题的答案很大程度上取决于以下几个因素：
- 性能和延迟要求 – 对于通用虚拟机启动映像、大型文件共享存储或大数据湖，横向扩展系统因其可随着时间提升性能和容量，所以更为适用。但是，如果工作负载有非常具体的亚毫秒级延迟要求（由业务 SLO（服务等级目标）驱动）或非常高的 IO 密度（IO/GB），专有纵向扩展系统可能更适用。
- 预算 – 如果预算没有上限，当然可以设计出满足全部需求的存储系统，但实际情况并非如此。有时候，性能与预算之间的平衡也许更能影响是否选择横向扩展系统或专有纵向扩展系统。
- 可扩展性 – 设计存储系统时，不仅要考虑目前所需的容量，还要考虑未来 6-36 个月的需求变化。对于具有良好增长预期的数据集，这种预测相对比较容易，因此更适合纵向扩展系统。对于其他数据集，这种预测更像是猜想，因此更适合横向扩展系统。
- 局部性 – 构建私有云过程中，我们可以考虑创建超融合系统，存储和计算共享节点并同时扩展。或者采用专用存储节点，存储扩展可独立于计算资源。或者使用来自一个或多个公有云的计算，但在托管设施中搭建云近邻存储系统以控制数据存储成本。
最后是务实：如果现有系统的剩余使用寿命充足（技术上和财务上），我们可以将其集成到私有云中。
什么是现代化解决方案？
为了满足现代企业的动态需求，我们通常推荐开源横向扩展存储解决方案 Ceph，专为单个统一集群的块、文件和对象存储需求而设计。Ceph 用例范围从私有云基础架构（超融合和分解式）到大数据分析和富媒体，或者作为公有云存储的替代方案。
Ceph 的高可扩展架构意味着它常用于高增长的块存储、对象存储和数据湖。物理硬件可选择商用，所有用于扩展和保护数据的智能由软件驱动。Ceph 可高效满足大容量数据存储需求，因此已成为云、Openstack、Kubernetes 和其他基于微服务和容器的工作负载的理想选择。
Ceph 如何工作？
Ceph 的主要优势在于可为单个集群内的多种存储类型提供接口，消除了对于多个存储解决方案或任何专用硬件的需求，从而减少了间接管理费用。一个典型的集群由标准服务器和两个以太网（一个用于客户端访问、另一个用于集群内部）组成。
Ceph 存储集群有哪些组件？
- 集群监视器（ceph-mon）：维护集群的映射和状态，跟踪活跃和故障节点，配置并提供有关数据放置和管理身份验证的信息。
- 管理器（ceph-mgr）：收集集群运行指标，启用仪表板功能，为外部监控系统提供接口。
- 对象存储守护进程（ceph-osd）：负责 Ceph 集群中的存储数据，处理复制、纠删码、恢复和重均衡。理论上，可以将 OSD 看作 CPU/RAM 和底层 SSD 或 HDD 的一部分。
- Rados 网关（ceph-rgw）：通过 http/https 提供对象存储 API（S3 和 swift）。
- 元数据服务器（ceph-mds）：存储 Ceph 文件系统的元数据，将文件系统的文件名和目录映射到 RADOS 对象，允许使用 POSIX 语义访问文件。
- iSCSI 网关（ceph-iscsi）：为 Vmware、Windows Server 等传统块存储工作负载提供 iSCSI 目标。
Ceph 将数据作为对象存储在逻辑存储池中。一个 Ceph 集群可包括多个池，每一个都可根据不同性能或容量用例调整。为了高效扩展和处理重均衡和恢复，Ceph 将这些池分为多个放置组（PG）。CRUSH 算法定义了放置组的存储对象，然后计算哪些 Ceph OSD 应存储放置组。
如何开始？
Ceph 很容易上手。可以从创建只有几个节点（或测试用虚拟机）的小型集群开始。查看安装指南以获取详细信息。
结语
Ceph 是横向扩展开源存储的解决方案，旨在满足不断变化的业务需求：不管是私有云或公有云，还是媒体内容存储或数据湖。具有多协议特性，可满足所有块、文件和对象的存储要求，而无需部署多个隔离式存储系统。Ceph 集群可在预算范围内适用于任何工作负载，并实现零停机的即时升级和扩展。
在本博客系列的下一篇文章中，我们将继续介绍 MAAS、Juju 和 Charmed Ceph 如何使 Ceph 易于部署和运营。
资源
订阅博客文章
查看更多内容
云存储安全最佳实践
使用 Ceph 的安全功能确保数据安全 如何将数据安全地存储在云存储系统中？ 数据对于任何企业组织而言如同王冠上的宝石，如果丢失或暴露，可能会造成严重的影响。如果不能防止系统故障，可能会导致业务数据的丢失，从而导致业务无法正常运营，最终导致业务失败。将敏感数据暴露给未授权方不仅会导致声誉受损，还可能导致企业遭受巨额罚款。 本篇博客将详细介绍这些风险，以及如何使用 Ceph 的安全功能来减轻这些风险。首先，我们来了解一下数据泄露发生的一些最常见方式： 实物盗窃／运输 与存储相关的硬件、磁盘或整个存储系统的丢失可能导致敏感信息暴露。这可能发生在传统的入室盗窃情况下，即未经授权的一方进入数据中心并移除硬件，或者硬件在运输过程中（例如在返厂维修或更换时）被他人截获。 另一种实体危 […]
使用 MicroCeph 实现边缘存储
随时、随地—— MicroCeph 让边缘存储变得简单 数据无处不在，不仅存在于大型的集中式数据中心，而且还存在于较小的前哨，如零售店、远程或分支机构、拍摄地点甚至汽车。边缘存储的用例包括本地处理、在高网络延迟情况下无法进行的内容协作以及数据摄取（即对本地创建的内容进行捕获、保护，然后提供给其他系统）。 所有这些场景都有两个共同点：生成的数据至关重要，以及这些位置通常带宽有限。 从历史数据来看，其中部分用例会使用单板计算机，但随着时间的推移，数据的重要性提高，现在对性能和冗余有了更高的要求。而使用边缘存储即可满足这些新需求。 边缘存储解决方案允许在创建数据的地方安全存储并有效处理数据，无需将其传输到集中位置进行处理。这种方法可以实现安全、高性能的数据处理，不受延迟和带宽限 […]
适用于 Kubernetes 的 Ceph 存储
异性相吸。有状态和无状态。 存储和容器管理系统几乎是对立的两极。一个涉及永久存储，以及根据需要保护数据。另一个自动管理高度动态的工作负载，按需扩缩资源。 对于应用部署和管理，更多组织采用容器优先的方法，但安全存储数据的潜在挑战依然存在。任何存储系统都需要防止硬件故障，维护组织最重要的资产 — 数据的可用性。 数据增长速度非常快，据估计，每天会产生超过 2500 PB 的新数据。好在新增的数据分布于众多组织中，因此还没有组织需要独自处理如此大规模的增长。Ceph 这样的横向扩展存储系统非常适合应对任何规模的组织中的存储增长，只需为集群添加更多节点，您便不仅能够增加容量，还能够提高计算能力，从而同时扩展性能和容量。 创建数据也要花费时间和精力，如果照片或视频、医疗记录或金融 […]