ceph osd请求处理流程

可以发现整个请求的耗时主要在header_read event，该耗时显示header_read到all_read期间耗时18.1s，可以分析得出osd在从messenger中读取(0-4M)的数据花了18s，该请求是从10.124.107.8于12:03:35的cephfs client发出，发往osd的，进一步可以去看看src dst在这个时间点的网络链路、CPU情况。

前言 从15年3月接触Ceph分布式存储系统，至今已经5年了；因为工作的需要，对Ceph的主要模块进行了较深入的学习，也在Ceph代码层面做了些许改进，以满足业务需要（我们主要使用M版本）。最近得闲，将过往的一些改进以及优化思路记录下了，希望能对后来者有所帮助。 这是第二篇：Ceph 后端IO提交异步化 背景知识 Ceph的IO写入包括写Rocksdb元数据和写Block数据两部分，等各个副本写完...

Ceph OSD日志分析本文由 Ceph中国社区-Thomas翻译，陈晓熹校稿 。英文出处：CEPH OSD JOURNAL 欢迎加入 翻译小组简介与ext4这类日志文件系统类似，Ceph OSD日志也是一种事务日志。它是基于文件系统的OSD的关键组成部分，提供存储系统所需的一致性保证。让我们从Ceph documentation中有关日志的描述开始：Ceph OSD使用日志有两个原因：速度及一致性

Ceph分布式文件系统的代码分析的文章网上是比较少的，本团队成员对ceph做过详细的代码阅读，包括mds、osd、client等模块，但是缺少条理清晰的文档总结。暂且先放上OSD的代码分析，等后续整理陆续放上其它模块的。1 OSD的基本结构主要的类，涉及的线程，工作的方式1.1 类OSD该类主要用以处理网络消息，与mds客户端等之间的网络连接的维护。当收到客户端或者mds对...

从上述代码中可以发现large omap objects的数量统计来源于变量：pg_sum.stats.sum.num_large_omap_objects，那么通过对变量num_large_omap_objects的跟踪，得知large omap objects数量的来源是从ceph的deep scrub中检测出来的。从上述判断if (obj.large_omap_object_found)得知，需要根据变量large_omap_object_found来确定large omap对象的判断依据。

OSD进程的启动停止：https://blog.csdn.net/bandaoyu/article/details/119894927 1. OSD概念 OSD：Object Storage Device，主要负责响应客户端请求返回具体数据的守护进程，一般一个集群会有多个OSD，每一块盘都会对应一个OSD。 2. OSD 状态 [root@dat...

osd扩容还盘和集群运维

正常的写流程在OSD端正常的写操作流程中，在函数ReplicatedBackend::submit_transaction把请求加入到in_progress_ops 队列中map<ceph_tid_t, InProgressOp> in_progress_ops;该map保存了所有正在处理的请求。一个请求必须等到所有的up的osd的请求都返回才能返回给客户端。例如 pg 1.1（osd1

**利用systemtap分析ceph源码** 一：安装systemtap yum install systemtap [root@twozero iso_map]# rpm -qa | grep systemtap systemtap-2.8-10.el7.x86_64 二：安装ceph和对应的debuginfo 安装ceph-debuginfo（必须和所安装的ceph版本一...

在前面一篇文章中，我们看到，当使用filestore时，osd会把磁盘分成data和journal两部分。这主要是为了支持object的transaction操作。我的想法是，ceph需要具有数据保护功能，从client端写入的数据（以返回I/O Completion为标志）不能丢失。对于object为什么要使用journal，ceph官方也给出了解释： 速度：有了journal分区后，...

在了解Object, Collection, OMap 对象存储 的基本概念，之后大家需要了解文件系统的基本的知识，如transaction， journal等，这里就不详细介绍了。下面具体分析OS模块的代码。 主要的类就是ObjectStore类，其内部有一个重要的transaction类。 JournalingObjectStore继承了ObjectStore的，添加了Journal的功

总体 在librbd中的代码中，几乎所有的操作都是异步的，下面以一段代码为例，分析其操作流程。 下面的代码是rbd 创建image流程中，创建id obj的步骤。其最终效果是在rbd对应的pool中创建一个名为rbd_id.<image name>的对象，该对象的内容为rbd的id。 // 创建一个op对象，后续的操作会先存入该对象，不会被执行 // 所有存入的操作会按...

2019独角兽企业重金招聘Python工程师标准>>> ...

前言 前面花了两篇博客的篇幅介绍了读流程。写流程和读流程相比，有大量的流程走向是公用的，我将这些公共的流程总结如下： 对于读流程而言，相对比较简单，这也是我们先介绍读流程的原因。先设置一个小目标，达成之后，对总体的大目标也有好处，相当于将大任务分解成了几个小任务。 从 execute_ctx 开始，读写流程开始严重的分叉，下图是读流程的流程图 写流程的三个侧面 写流程之所以比...

2019独角兽企业重金招聘Python工程师标准>>> ...