https://cloud.tencent.com/developer/article/1173069
記錄一下一些ceph優化的設置，部分內容來自網絡，有些請根據自己需求相應修改
1、 Kernel pid max
echo 4194303 > /proc/sys/kernel/pid_max
2、 設置MTU，交換機端需要支持該功能，系統網卡設置才有效果
配置文件追加MTU=9000
3、 read_ahead, 通過數據預讀並且記載到隨機訪問內存方式提高磁盤讀操作
echo “8192” > /sys/block/sda/queue/read_ahead_kb
4、 swappiness, 主要控制系統對swap的使用
echo “vm.swappiness = 0″/etc/sysctl.conf ; sysctl –p
5、 I/O Scheduler，SSD要用noop，SATA/SAS使用deadline
echo “deadline” >/sys/block/sd[x]/queue/scheduler
echo “noop” >/sys/block/sd[x]/queue/scheduler
6、 ceph.conf配置選項
[global]#全局設置 fsid = xxxxxxxxxxxxxxx #集群標識ID mon host = 10.0.1.1,10.0.1.2,10.0.1.3 #monitor IP 地址 auth cluster required = cephx #集群認證 auth service required = cephx #服務認證 auth client required = cephx #客戶端認證 osd pool default size = 3 #最小副本數 默認是3 osd pool default min size = 1 #PG 處於 degraded 狀態不影響其 IO 能力,min_size是一個PG能接受IO的最小副本數 public network = 10.0.1.0/24 #公共網絡(monitorIP段) cluster network = 10.0.2.0/24 #集群網絡 max open files = 131072 #默認0#如果設置了該選項，Ceph會設置系統的max open fds mon initial members = node1, node2, node3 #初始monitor (由創建monitor命令而定) ############################################################## [mon] mon data = /var/lib/ceph/mon/ceph-$id mon clock drift allowed = 1 #默認值0.05#monitor間的clock drift mon osd min down reporters = 13 #默認值1#向monitor報告down的最小OSD數 mon osd down out interval = 600 #默認值300 #標記一個OSD狀態為down和out之前ceph等待的秒數 ############################################################## [osd] osd data = /var/lib/ceph/osd/ceph-$id osd journal size = 20000 #默認5120 #osd journal大小 osd journal = /var/lib/ceph/osd/$cluster-$id/journal #osd journal 位置 osd mkfs type = xfs #格式化系統類型 osd max write size = 512 #默認值90 #OSD一次可寫入的最大值(MB) osd client message size cap = 2147483648 #默認值100 #客戶端允許在內存中的最大數據(bytes) osd deep scrub stride = 131072 #默認值524288 #在Deep Scrub時候允許讀取的字節數(bytes) osd op threads = 16 #默認值2 #並發文件系統操作數 osd disk threads = 4 #默認值1 #OSD密集型操作例如恢復和Scrubbing時的線程 osd map cache size = 1024 #默認值500 #保留OSD Map的緩存(MB) osd map cache bl size = 128 #默認值50 #OSD進程在內存中的OSD Map緩存(MB) osd mount options xfs = "rw,noexec,nodev,noatime,nodiratime,nobarrier" #默認值rw,noatime,inode64 #Ceph OSD xfs Mount選項 osd recovery op priority = 2 #默認值10 #恢復操作優先級，取值1-63，值越高占用資源越高 osd recovery max active = 10 #默認值15 #同一時間內活躍的恢復請求數 osd max backfills = 4 #默認值10 #一個OSD允許的最大backfills數 osd min pg log entries = 30000 #默認值3000 #修建PGLog是保留的最大PGLog數 osd max pg log entries = 100000 #默認值10000 #修建PGLog是保留的最大PGLog數 osd mon heartbeat interval = 40 #默認值30 #OSD ping一個monitor的時間間隔（默認30s） ms dispatch throttle bytes = 1048576000 #默認值 104857600 #等待派遣的最大消息數 objecter inflight ops = 819200 #默認值1024 #客戶端流控，允許的最大未發送io請求數，超過閥值會堵塞應用io，為0表示不受限 osd op log threshold = 50 #默認值5 #一次顯示多少操作的log osd crush chooseleaf type = 0 #默認值為1 #CRUSH規則用到chooseleaf時的bucket的類型 filestore xattr use omap = true #默認false#為XATTRS使用object map，EXT4文件系統時使用，XFS或者btrfs也可以使用 filestore min sync interval = 10 #默認0.1#從日志到數據盤最小同步間隔(seconds) filestore max sync interval = 15 #默認5#從日志到數據盤最大同步間隔(seconds) filestore queue max ops = 25000 #默認500#數據盤最大接受的操作數 filestore queue max bytes = 1048576000 #默認100 #數據盤一次操作最大字節數(bytes filestore queue committing max ops = 50000 #默認500 #數據盤能夠commit的操作數 filestore queue committing max bytes = 10485760000 #默認100 #數據盤能夠commit的最大字節數(bytes) filestore split multiple = 8 #默認值2 #前一個子目錄分裂成子目錄中的文件的最大數量 filestore merge threshold = 40 #默認值10 #前一個子類目錄中的文件合並到父類的最小數量 filestore fd cache size = 1024 #默認值128 #對象文件句柄緩存大小 filestore op threads = 32 #默認值2 #並發文件系統操作數 journal max write bytes = 1073714824 #默認值1048560 #journal一次性寫入的最大字節數(bytes) journal max write entries = 10000 #默認值100 #journal一次性寫入的最大記錄數 journal queue max ops = 50000 #默認值50 #journal一次性最大在隊列中的操作數 journal queue max bytes = 10485760000 #默認值33554432 #journal一次性最大在隊列中的字節數(bytes) ############################################################## [client] rbd cache = true #默認值 true #RBD緩存 rbd cache size = 335544320 #默認值33554432 #RBD緩存大小(bytes) rbd cache max dirty = 134217728 #默認值25165824 #緩存為write-back時允許的最大dirty字節數(bytes