第一次接触ceph集群，感谢官方的指导文档和许多网友提供的教程，糊糊涂涂算是把集群部署起来了。由于Luminous12.2刚发布不久，部署起来跟旧版本还是有些许差别，所以以此做下笔记也给需要的人做下参考。
Ps. 刚开始接触ceph的同学，十分建议先把官方文档看一遍。

ceph官方文档

1. Ceph介绍

Ceph 是一个高性能、可靠、可扩展的开源存储平台。它是一个自由的分布式存储系统，提供了对象、块和文件级存储的接口，并可以不受单点故障的影响而运行。

Ceph集群结构：

• （1）Ceph Admin-管理节点，用来安装ceph-deploy 进行ceph部署使用，基本上大部分操作都在这台机器上。
• （2）Ceph OSD (ceph-osd) - 控制数据存储，数据复制和恢复。Ceph 集群需要至少两个 Ceph OSD 服务器。这次安装中我们将使用三个 Ubuntu 服务器。
• （3）Ceph Monitor (ceph-mon) - 监控集群状态并运行 OSD 映射 和 CRUSH 映射。这里我们使用一个服务器。
• （4）Ceph Meta Data Server (ceph-mds) - 如果你想把 Ceph 作为文件系统使用，就需要这个。

2. OS系统

Ubuntu 16.04.3

3. Ceph 版本

Ceph v12.2 Luminous

4. 设置固定IP和修改主机名（所有节点）

• （1）设置对应的固定IP（每个节点分别设置）

  192.168.31.131 admin_server
  192.168.31.132 mon_server
  192.168.31.133 osd_server_1
  192.168.31.134 osd_server_2

• （2）修改/etc/hostname，修改为对应的主机名

• （3）修改/etc/hosts
  将以下添加到hosts

  192.168.31.132 mon_server
  192.168.31.133 osd_server_1
  192.168.31.134 osd_server_2

5. 修改apt源（所有节点）

• （1）修改/etc/apt/sources.list，增加网易下载源（xenial 是ununtu16.04的版本代号，不同版本不一样）

deb http://mirrors.163.com/ubuntu/ xenial main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ xenial-security main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ xenial-updates main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ xenial-backports main restricted universe multiverse
## 测试版源
deb http://mirrors.163.com/ubuntu/ xenial-proposed main restricted universe multiverse
## 源码
deb-src http://mirrors.163.com/ubuntu/ xenial main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ xenial-security main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ xenial-updates main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ xenial-backports main restricted universe multiverse
##测试版源
deb-src http://mirrors.163.com/ubuntu/ xenial-proposed main restricted universe multiverse

• （2）更新

sudo apt-get update
sudo apt-get install

6. OS环境配置（所有节点）

• （1）安装ntp:用于同步所有节点的日期和时间
  sudo apt-get install ntp
• （2）安装SSH: 用于admin控制其它节点
  sudo apt-get install openssh-server

7. 创建ceph用户（所有节点）

sudo useradd -d /home/cephuser -m cephuser 
sudo passwd cephuser 
echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuser 
sudo chmod 0440 /etc/sudoers.d/cephuser

8. 安装ceph apt key（admin节点）

• （1）安装key（使用163源）

wget -q -O- 'http://mirrors.163.com/ceph/keys/release.asc' | sudo apt-key add -
echo deb http://mirrors.163.com/ceph/debian-luminous/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

• （2）安装ceph-deploy
  sudo apt-get update && sudo apt-get install -y ceph-deploy

9. 创建ssh信任（admin）

• （1）生成公钥
  ssh-keygen

（全按回车键，默认）

Generating public/private key pair.
Enter file in which to save the key (/ceph-admin/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /ceph-admin/.ssh/id_rsa.
Your public key has been saved in /ceph-admin/.ssh/id_rsa.pub.

• （2）复制public key到其它节点需在普通用户权限下执行，在对话窗口输入yes，然后输入对端用户密码

ssh-copy-id cephuser@mon_server
ssh-copy-id cephuser@osd_server_1
ssh-copy-id cephuser@osd_server_2

• （3）修改 ~/.ssh/config
  添加以下内容：

Host mon_server
  Hostname mon_server
  User cephuser
Host osd_server_1
  Hostname osd_server_1
  User cephuser
Host osd_server_2
  Hostname osd_server_2
  User cephuser

10. 开始创建集群（admin）

• （1）使用ceph-deploy部署。 首先需要创建工作环境，该环境会保存所有的配置文件：

mkdir ~/my-cluster
cd ~/my-cluster

• （2）创建集群，其中mon_server是monitor节点，执行该命令会生成ceph配置文件、monitor密钥文件以及日志文件。
  ceph-deploy new mon_server
• （3）修改默认冗余份数（此参数只有当OSD节点小于3的时候才需要修改，默认的冗余份数是3，如果是2节点需要设置为2，如果osd节点大于2，则此步骤省略），修改ceph.conf文件，第一个参数2是副本数量，第二个2000是 日志大小约为2G，在[global]下增加以下内容：

osd pool default size = 2
osd journal size = 2000

• （4）配置网卡和网络（OSD节点单网卡请忽略）
  OSD节点是双网卡，因此需要设置使用的网卡和网络地址

修改ceph.conf文件，在[global]下增加以下内容：

public network = 192.168.31.0/24
cluster network = 10.10.100.0/24

• （5）开始安装ceph
  注：因为CFW的问题，管理节点ceph-Deploy前Ceph镜像源修改非常重要，这里采用了网易镜像

export CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous/
export CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc

• （6）在所有节点开始安装ceph
  ceph-deploy install admin_server mon_server osd_server_1 osd_server_2
• （7）初始化mon节点和收集密钥信息
  ceph-deploy mon create-initial

执行完毕，目录应该有以下文件：

{cluster-name}.client.admin.keyring
{cluster-name}.bootstrap-osd.keyring
{cluster-name}.bootstrap-mds.keyring
{cluster-name}.bootstrap-rgw.keyring

完成以上步骤，安装完成，但还没有配置osd节点。

• （8） 配置osd节点
  lsblk命令查看磁盘结构，假设选择的是/dev/sdb（使用虚拟机的话，可以添加磁盘）

格式化对应的磁盘：

ceph-deploy disk zap osd_server_1:sdb
ceph-deploy disk zap osd_server_2:sdb

以上步骤会清空磁盘的所有数据。 接下来创建osd，注意由于我们只是测试，故没有使用单独的磁盘作为journal，实际在生产环境下，需要配备SSD分区作为journal，能够最大化IO吞吐量。

ceph-deploy osd create osd_server_1:sdb
ceph-deploy osd create osd_server_2:sdb

• （9）配置admin节点
  admin节点同时也作为我们的client节点，需要拷贝其他节点的配置文件以及密钥，使得不需要指定mon地址以及用户信息就可以直接管理我们的ceph集群，执行以下命令即可：

ceph-deploy admin admin_server mon_server osd_server_1 osd_server_2
sudo chmod +r /etc/ceph/ceph.client.admin.keyring # 保证具有读取的密钥的权限

（10）配置mgr
运行ceph health，打印：
HEALTH_WARN no active mgr
自从ceph 12开始，manager是必须的。应该为每个运行monitor的机器添加一个mgr，否则集群处于WARN状态。（具体可以参考Luminous的release日志）
在mon_server上创建名称为mon_mgr的mgr服务
ceph-deploy mgr create mon_server:mon_mgr
查看状态：

hcy@admin_server:~/my-cluster$ ceph health
HEALTH_OK
hcy@admin_server:~/my-cluster$ ceph -s
 cluster:
 id: 7981a8fc-378d-4564-95cf-e464d46bdd38
 health: HEALTH_OK
 
 services:
 mon: 1 daemons,quorum mon_server
 mgr: mon_mgr(active)
 osd: 2 osds: 2 up,2 in
 
 data:
 pools: 0 pools,0 pgs
 objects: 0 objects,0 bytes
 usage: 2108 MB used,28409 MB / 30517 MB avail
 pgs:

• （11）访问dashboard
  启用dashboard（mon_server节点）

ceph mgr module enable dashboard
通过 http://192.168.31.132:7000 访问dashboard

dashboard的port默认为7000，可以执行ceph config-key set mgr/dashboard/server_port $PORT修改port。
也可以执行ceph config-key set mgr/dashboard/server_addr $IP指定dashboard的访问IP。

至此Ceph的集群搭建算是完成了，下一步会进行块设备的搭建。

参考：

CEPH 分布式存储部署手册 (Ubuntu 14.04)
如何在 Ubuntu 16.04 中安装 Ceph 存储集群
CentOS7.2部署Luminous版Ceph-12.2.0