本文简介

本文主要叙述在 ubuntu 16.04 环境上搭建 ceph 集群,并介绍 k8s 集群以 storageclass 方式使用 ceph 的两种方式。本文测试环境共 4 台机器:

ceph-mon
ceph-01
ceph-02
ceph-03

其中 ceph-mom 当做集群的监控节点,剩下三台当做数据节点,其中 ceph-01ceph-02ceph-03 机器有挂了 2 块磁盘,其中一块为系统盘,另外一块为数据盘 /dev/sdb

前置条件

在真正的安装 ceph 集群之前,需要完成以下前置条件:

建立机器间的 SSH 信任关系

ceph-mon 为登录机器和部署机器,通过

ssh-keygen -t rsa

来生成 RSA 钥匙,建立 ceph-mon 与剩下三台机器的 SSH 信任关系。

安装 Python2 环境

分别在这4台机器上安装 Python2 环境,并建立 python2 链接到 python2.7 的软链。

格式化数据盘

首先检查磁盘分区

sudo fdisk -l /dev/sdb

格式化数据盘

sudo parted -s /dev/sdb mklabel gpt mkpart primary xfs 0% 100%

制作 XFS 文件系统

sudo mkfs.xfs -f /dev/sdb

然后再检查一下磁盘分区

sudo fdisk -s /dev/sdb
sudo blkid -o value -s TYPE /dev/sdb

开始安装

现在正式开始安装 ceph 集群,本文的安装方法是通过 ceph-deploy 脚本来辅助安装的。

安装 ceph-mon 节点

首先登录 ceph-mon 节点,执行

wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
echo deb http://download.ceph.com/debian-${ceph-stable-release}/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
sudo apt-get update && sudo apt-get install ceph-deploy

其中 ${ceph-stable-release} 那一行可以替换为

echo "deb http://mirrors.163.com/ceph/debian-jewel xenial main" | sudo tee /etc/apt/sources.list.d/ceph.list

通过这些步骤就可以在 ceph-mon 上安装了 ceph-deploy 部署工具。然后开始创建集群

mkdir -p /home/ceph/mon && cd /home/ceph/mon
ceph-deploy new ceph-mon

其中 ceph-mon 是 mon 节点,执行该命令会生成 ceph 配置文件、monitor 密钥文件以及日志文件。因为我们是使用 XFS 文件系统,所以在本路径下的 ceph.conf 中添加一下配置

osd max object name len = 256
osd max object namespace len = 64
osd pool default size = 2

安装 ceph-node 节点

接下来开始安装 ceph-node 节点,执行以下命令:

ceph-deploy install ceph-01 ceph-02 ceph-03

在这三台机器上安装好 ceph 组件之后,就可以继续初始化 mon 节点和收集集群信息了。

初始化集群

ceph-deploy mon create-initial

执行完毕,目录应该有以下文件:

${cluster-name}.client.admin.keyring
${cluster-name}.bootstrap-osd.keyring
${cluster-name}.bootstrap-mds.keyring
${cluster-name}.bootstrap-rgw.keyring

初始化数据节点

首先检查一下每个数据节点的磁盘情况:

ceph-deploy disk list ceph-01 ceph-02 ceph-03

接下来初始化数据节点的磁盘,本次使用的是 /dev/sdb

ceph-deploy disk zap ceph-01:/dev/sdb ceph-02:/dev/sdb ceph-03:/dev/sdb

然后开始准备 OSD 节点,确保没有错误发生

ceph-deploy osd prepare ceph-01:/dev/sdb ceph-02:/dev/sdb ceph-03:/dev/sdb

接下来激活 OSD

ceph-deploy osd activate ceph-01:/dev/sdb ceph-02:/dev/sdb ceph-03:/dev/sdb

可以再次检查一下如下节点:

ceph-deploy disk list ceph-01:/dev/sdb ceph-02:/dev/sdb ceph-03:/dev/sdb

配置 admin 节点

将管理钥匙分发给每个节点

ceph-deploy admin ceph-01 ceph-02 ceph-03

确保每个节点上文件钥匙仅具有可读权限

sudo chmod +r /etc/ceph/ceph.client.admin.keyring

集群测试

首先检查集群是否健康

ceph health

检查集群的状态

ceph -s

观察集群 osd 情况

ceph osd tree

ceph on k8s

接来下着重介绍一下 k8s 如何使用 ceph 集群,目的是把 ceph 作为 k8s 的分布式存储,这里是通过 k8s 的 storageclass 实现的。

创建 pool

所有用户使用共享的 pool

ceph osd pool create kube 1024 1024 # 生产环境下,“1024 1024”参数需要根据实际情况调整

创建 kube 用户

kube 是可以读写 kube pool 并可以 lock image 等的用户,用于挂载 PV。

ceph auth add client.kube mon 'allow r' osd 'allow rwx pool=kube'
added key for client.kube

为 k8s 使用 secret 创建 secret

创建 secret yaml 文件,如下:

apiVersion: v1
kind: Secret
metadata:
  name: ceph-admin-secret
  namespace: kube-system
type: "kubernetes.io/rbd"
data:
  # 使用 ceph auth get-key client.admin | base64 命令获取
  key: QVFDQk9ReFpMMzRiS0JBQXp4Y3hPYjgyU1lPdVBXajc2VjhyV0E9PQ==
---
apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
type: "kubernetes.io/rbd"
data:
  # 使用 ceph auth get-key client.kube | base64 命令获取
  key: QVFDS3NnbFpJWTZTTGhBQTRjOXVmbWhFUEdKVTQyd2tlQzFsMXc9PQ==

注意:

创建 RDB storageclass(方式一)

有两种方式可以创建 RDB storageclass,方式一通过 kube-controller-manager 内置的 RBD Provisioner

#
# Using rbd provisioner to create image dynamically, need
# kube-controller-mananger to access `rbd` command.
#
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: ceph
provisioner: kubernetes.io/rbd
parameters:
  monitors: 100.64.0.20:6789 # ceph monitors 地址
  pool: kube # ceph pool,从这个 pool 创建 image
  adminId: admin # ceph 管理员账户,StorageClass 使用改帐号创建 image
  adminSecretNamespace: kube-system # ceph 管理员账户的 secret 所在 ns,可以配置任意 ns,推荐非用户的 kube-system
  adminSecretName: ceph-admin-secret # ceph 管理员账户的 secret 名字
  userId: kube # ceph 用户账户,用于 map image 的,只需要 rwx `kube` 这个 pool 的权限即可
  userSecretName: ceph-secret # ceph 用户帐号的 secret,挂载 pv 时从 pvc 所在的 ns 中找对应的 secret,所以每个用户 ns 下都需要用该 secret,里面内容保持一样
  fsType: xfs # default ext4

注意:

备注如果是使用 coreos 搭建的 k8s 集群,work 节点在绑定 pvc 的时候出现 rbd command not find 错误,这个是由于 kubelet 在绑定 pvc 的时候没有找到 rbd 命令,

解决办法参考:https://github.com/ceph/ceph-container/tree/master/examples/kubernetes-coreos 主要思想是通过容器安装 rbd 的方式,将 rbd 二进制挂载出来给 kubelet 用,因为 coreos 系统本身不支持安装。

创建 RDB storageclass(方式二 推荐做法)

Kuberentes 社区在将 Volume Provisioner 实现独立出来,见:https://github.com/kubernetes-incubator/external-storage 。以下是 RBD Provisioner 部署方法:

首先是部署 RBD Provisioner 程序,请到 https://quay.io/repository/external_storage/rbd-provisioner?tag=latest&tab=tags 查看,建议每次部署使用最新版。

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: rbd-provisioner
  namespace: kube-system
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: rbd-provisioner
    spec:
      containers:
      - name: rbd-provisioner
        image: "quay.io/external_storage/rbd-provisioner:<latest-tag>"

接下来配置 RBD StorageClass

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: rbd
provisioner: ceph.com/rbd
parameters:
  monitors: ceph monitor addresses
  pool: kube
  adminId: admin
  adminSecretNamespace: kube-system
  adminSecretName: ceph-admin-secret
  userId: kube
  userSecretName: ceph-secret

最后,使用前面的 name 为 “rbd” 的 storage class 申请 PV


kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: claim1
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: rbd
  resources:
    requests:
      storage: 1Gi

参考资料

最后感谢付总(https://github.com/cofyc)的 ceph rbd on k8s 文献。


纸上得来终觉浅,绝知此事要躬行~