Ceph集群部署

本文档介绍 Ceph集群部署 的相关内容。

1. 安装依赖包

yum install -y python-setuptools yum-utils snappy leveldb gdisk python-argparse gperftools-libs ntpdate yum-plugin-priorities redhat-lsb *argparse*

1. 重启服务器（重要）

创建Ceph集群

1. 安装ceph-deploy部署工具

yum install ceph-deploy -y

1. 创建ceph集群

# 创建配置安装目录 mkdir -p /data/ceph # 安装ceph软件包（--no-adjust-repos 不修改yum源，确保有epel源） ceph-deploy install --no-adjust-repos node1 node2 node3 node4 node5 # 创建集群mon节点 ceph-deploy new node1 node2 node3 # 初始化ceph_mon (主机名不能带后缀或在hosts里配置不带后缀的名称) ceph-deploy mon create-initial # 查看状态 systemctl status ceph-mon@* # 配置分发 ceph-deploy admin node1 node2 node3 node4 node5 ## 如果是已分发的机器，可以使用以下方式进行更新 ceph-deploy --overwrite-conf admin xxx

1. 安装ceph_mgr

# l版必须安装mgr组件（dashborad） ceph-deploy mgr create node1 node2 node3 node4 node5 # 查看状态 systemctl status ceph-mgr@* # 查看mgr开户的服务 ceph mgr module ls # 手动开启服务 # 自 nautilus开始，dashboard作为一个单独的模块独立出来了，使用时需要单独安装 yum install -y ceph-mgr-dashboard 配置Manager节点 [cephadm@ceph-admin ceph-cluster]$ ceph-deploy mgr create ceph04 1 扩展Manager节点 [cephadm@ceph-admin ceph-cluster]$ ceph-deploy mgr create ceph03 # 启用dashboard ceph mgr module enable dashboard　--force #　默认启用SSL/TLS，所以需要创建自签名根证书 ceph dashboard create-self-signed-cert # 创建具有管理员角色的用户 ceph dashboard ac-user-create admin admin administrator #查看ceph-mgr服务 ceph mgr services { "dashboard": "https://node0:8443/" }

安装Ceph（在admin节点操作） 安装ceph-deploy yum install -y https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/ceph-deploy-2.0.1-0.noarch.rpm 安装Ceph ceph-deploy install node0 node1 node2 node3 添加管理节点（mon） ceph-deploy new node0 node1 node2 添加监控节点 ceph-deploy mon create-initial 创建ceph管理进程服务 ceph-deploy mgr create node0 node1 node2 node3

1. 创建磁盘分区

# 为db wal 创建分区，db与wal不分离，放在一个卷中 # 创建vg卷 pvcreate /dev/sdb # 创建pv卷 vgcreate ceph-db /dev/vdb # 用于管理第一块磁盘 lvcreate -n osd0.db -L 25G ceph-db # 用于管理第二块磁盘 lvcreate -n osd1.db -L 25G ceph-db # pv加至最大 lvcreate -n osd0 -l 100%FREE ceph-db # 创建osd ceph-volume --cluster ceph lvm create --bluestore --data /dev/sdc ceph-deploy osd create --data /dev/sdc nfjd-cloud-kolla-1681 ceph-volume lvm create --bluestore --data ceph-osd-0/osd-0 --block.db ceph-db/osd-0-db --block.wal ceph-db/osd-0-wal ceph-deploy osd create sze0-ops-ceph03-10053 --bluestore --data ceph-osd-4/osd-4 --block-db ceph-db/osd-4-db --block-wal ceph-db/osd-4-wal