ceph 13.2.1 常用命令手册

创建类

• 创建pool

 $ ceph osd pool create softapp 128 
  softapp: pool名字
  128： pg数量

• 创建用户

 $ ceph auth add client.softdev mon 'allow r' osd 'allow rw pool=softapp' 

• 创建用户并导入集群

 ceph-authtool -n client.softdev --cap osd 'allow rwx' --cap mon 'allow r' /etc/ceph/ceph.keyring

• 创建密钥环

 $ ceph-authtool --create-keyring /etc/ceph/ceph.client.softdev.keyring

• 创建空的密钥环

 $ ceph-authtool -C /etc/ceph/ceph.keyring

• 将用户增加到密钥环

 $ ceph auth get client.admin -o /etc/ceph/ceph.keyring

• 从文件密钥导入用户到密钥环（只是修改文件)

 $ ceph-authtool /etc/ceph/ceph.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring

• 给pool做快照

 $ ceph osd pool rmsnap softdev softdevsnap-1

查看类

• 查看用户列表

 $ ceph auth ls

• 查看用户权限详情

 $ ceph auth get client.softdev

• 获取用户的auth并保存

 $ ceph auth get client.softdev -o client.softdev.keyring

• 查看用户的key

 $ ceph auth print-key client.softdev

• 用指定用户查看集群健康状况

 $ ceph --user softdev -s

• 查看指定pool的quota

 # ceph osd pool get-quota pool-name

 备注：pool-name：pool的名字

• 用指定用户查看集群的pg

 $ ceph --user softdev pg dump

• 查看有哪些池

 $ ceph osd lspools

• 对象操作：查看各个池的资源使用情况

 $ rados df

• 查询一个池的规则

 $ ceph osd pool get softapp crush_rule

• 查看块:默认使用rbd作为池名

 $ rbd ls

• 查看softapp池下的块

 $ rbd ls softapp

• 查看softapp池下softrbd块的详情

 $ rbd info softapp/softrbd

• 查看softapp中已经延迟删除的块（相当于查看回收站）

 $ rbd trash ls softapp

• 查看指定pool的副本数

 # ceph osd pool get cloud-pool size

修改类

• 修改用户权限

 $ ceph auth caps client.softdev mon 'allow r' osd 'allow *' 

• 修改用户权限（只是修改文件）

 $ ceph-authtool /etc/ceph/ceph.keyring -n client.softdev --cap osd 'allow rwx' --cap mon 'allow r'

• 导入一个用户到存储集群

 $ ceph auth import -i /etc/ceph/ceph.client.softdev.keyring

• 修改pool的pg数量

 $ ceph osd pool set softapp pg_num 128
  将softdev池的pg数量修改为128

• 重命名pool

 $ ceph osd pool rename softapp softdevpool

• 设置pool的配额（对象）

 $ ceph osd pool set-quota softapp max_objects 10000

• 设置pool的配额（字节）

 $ ceph osd pool set-quota softapp max_bytes 100000000000

• 调整块设备大小

 $ rbd resize --size 20480 softapp/softrbd
  增加

 $ rbd resize --size 10240 softapp/softrbd --allow-shrink 
  允许减少

• 设置延迟删除一个块设备（类似进回收站）

 $ rbd trash mv softapp/softrbd

• 从回收站恢复

 $ rbd trash restore softapp/117f6b8b4567
 softapp/softrbd的id为：117f6b8b4567

• 从回收站恢复并重命名

 $ rbd trash restore softapp/117f6b8b4567 --image softrbdnew

删除类

• 删除一个池

 $ ceph osd pool delete softapp softapp --yes-i-really-really-mean-it
 备注：要写两编池的名字

• 删除块设备(直接删除）

 $ rbd rm softapp/softrbd

• 删除一个延迟删除的块设备（从回收站删除）

 $ rbd trash rm softapp/softrbd

• 删除用户

 $ ceph auth del client.softdev

数据上传及删除

• 创建池

 $ rados mkpool datapool

• 对象操作：写文件到pool

 $ rados put test-object ./test.txt --pool=datapool

• 对象操作：查看上传的文件

 $ rados -p test-object ls

• 查看文件的详细位置

 $ ceph osd map datapool test-object 

• 对象操作：从池中读取文件到本地

 $ rados get test-object --pool=datapool ./test.fromdatapool.txt

• 比对下./test.txt与./test.fromdatapool.txt是否相同

 $ diff ./test.txt ./test.fromdatapool.txt

• 对象操作：删除pool中的文件

 $ rados rm test-object --pool=datapool

创建块并挂载本地

• 创建池

 命令：ceph osd pool create wangzhifeng-pool 128
 操作：
  [root@fcp01 dev]# ceph osd pool create wangzhifeng-pool 128
  pool 'wangzhifeng-pool' created

• 创建块

 命令：rbd create wangzhifeng-image --size 20480 --pool wangzhifeng-pool 
 操作：
 [root@fcp01 dev]# rbd create wangzhifeng-image --size 20480 --pool wangzhifeng-pool
 [root@fcp01 dev]#

• 将ceph的块映射到本地的设备

 命令：rbd map wangzhifeng-image --pool wangzhifeng-pool 
 操作：
 [root@fcp01 dev]# rbd map wangzhifeng-image --pool wangzhifeng-pool
 /dev/rbd0

• 显示map结果

 命令：rbd showmapped
 操作：
 [root@fcp01 dev]# rbd showmapped
 id pool             image             snap device
 0  wangzhifeng-pool wangzhifeng-image -    /dev/rbd0

• 用指定格式格式化设备

 命令：mkfs.ext4 /dev/rbd0
 操作：
 [root@fcp01 dev]# mkfs.ext4 /dev/rbd0
 mke2fs 1.42.9 (28-Dec-2013)
 Discarding device blocks: done
 Filesystem label=
 OS type: Linux
 Block size=4096 (log=2)
 Fragment size=4096 (log=2)
 Stride=1024 blocks, Stripe width=1024 blocks
 1310720 inodes, 5242880 blocks
 262144 blocks (5.00%) reserved for the super user
 First data block=0
 Maximum filesystem blocks=2153775104
 160 block groups
 32768 blocks per group, 32768 fragments per group
 8192 inodes per group
 Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000

 Allocating group tables: done
 Writing inode tables: done
 Creating journal (32768 blocks): done
 Writing superblocks and filesystem accounting information: done

 [root@fcp01 dev]#

• 创建目录，用于挂载设置好的文件系统

 命令：mkdir /wangzhifeng-fs
 操作:
 [root@fcp01 dev]# mkdir /wangzhifeng-fs
 [root@fcp01 dev]# ls /wangzhifeng-fs/
 [root@fcp01 dev]#

• 挂载磁盘

 命令：mount /dev/rbd0 /wangzhifeng-fs
 操作：
 [root@fcp01 dev]# mount /dev/rbd0 /wangzhifeng-fs
 [root@fcp01 dev]# df -h
 Filesystem               Size  Used Avail Use% Mounted on
 devtmpfs                 3.9G     0  3.9G   0% /dev
 tmpfs                    3.9G     0  3.9G   0% /dev/shm
 tmpfs                    3.9G   18M  3.9G   1% /run
 tmpfs                    3.9G     0  3.9G   0% /sys/fs/cgroup
 /dev/mapper/centos-root   44G  9.0G   35G  21% /
 /dev/sda1               1014M  173M  842M  17% /boot
 tmpfs                    3.9G   24K  3.9G   1% /var/lib/ceph/osd/ceph-0
 overlay                   44G  9.0G   35G  21% 
 tmpfs                    799M     0  799M   0% /run/user/0
 /dev/rbd0                 20G   45M   19G   1% /wangzhifeng-fs
 [root@fcp01 dev]#

• 取消块设备到本地的映射

 $ rbd unmap  /dev/rbd0

• 删除image

 $ rbd remove wangzhifeng-image --pool wangzhifeng-pool

• 删除pool;传递池名两次

 * ceph osd pool rm  abner-test abner-test --yes-i-really-really-mean-it

附录

• {TYPE}.{ID}

 TYPE字段值为：client,osd,mon,mds
 ID字段：daemon的用户名或者ID

• 权限字段取值

 allow: 在daemon的权限设置的前面
 r:只读
 w:只写
 x:调用类方法
 class-read: x的子集，class读方法
 class-write：x的子集，class写
 *,all: 给读写执行权限