OpenStack与Ceph集成
常见存储分类
NAS
NAS(Network Attached Storage:网络附属存储)按字面简单说就是连接在网络上,具备资料存储功能的装置,因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储,而效率却远远高于后者。
优点
(1)NAS适用于那些需要通过网络将文件数据传送到多台客户机上的用户。NAS设备在数据必须长距离传送的环境中可以很好地发挥作用。
NAS设备非常易于部署。可以使NAS主机、客户机和其他设备广泛分布在整个企业的网络环境中。NAS可以提供可靠的文件级数据整合,因为文件锁定是由设备自身来处理的。
NAS应用于高效的文件共享任务中,不同的主机与客户端通过文件共享协定存取NAS上的资料,实现文件共享功能,例如Unix中的NFS和Windows nt中的CIFS,其中基于网络的文件级锁定提供了高级并发访问保护的功能。
缺点
NAS设备与客户机通过企业网进行连接,因此数据备份或存储过程中会占用网络的带宽。这必然会影响企业内部网络上的其他网络应用;共用网络带宽成为限制NAS性能的主要问题。因此NAS系统数据传输速率不高,千兆以太网只能达到30~50MB/s。
NAS的可扩展性受到设备大小的限制。增加另一台NAS设备非常容易,但是要想将两个NAS设备的存储空间无缝合并并不容易,因为NAS设备通常具有独特的网络标识符,存储空间的扩大上有限。只能提供文件存储空间,不能完全满足数据库应用的要求。
NAS访问需要经过文件系统格式转换,所以是以文件级来访问。不适合 Block级的应用,尤其是要求使用裸设备的数据库系统。
SAN
存储区域网络(Storage Area Network,SAN)采用网状通道(Fibre Channel ,简称FC,区别与Fiber Channel光纤通道)技术,通过FC交换机连接存储阵列和服务器主机,建立专用于数据存储的区域网络。SAN经过十多年历史的发展,已经相当成熟,成为业界的事实标准(但各个厂商的光纤交换技术不完全相同,其服务器和SAN存储有兼容性的要求)。
优点
SAN提供了一种与现有LAN连接的简易方法,并且通过同一物理通道支持广泛使用的SCSI和IP协议。SAN不受现今主流的、基于SCSI存储结构的布局限制。特别重要的是,随着存储容量的爆炸性增长,SAN允许企业独立地增加它们的存储容量。
SAN的结构允许任何服务器连接到任何存储阵列,这样不管数据置放在那里,服务器都可直接存取所需的数据。因为采用了光纤接口,SAN还具有更高的带宽。
因为SAN解决方案是从基本功能剥离出存储功能,所以运行备份操作就无需考虑它们对网络总体性能的影响。SAN方案也使得管理及集中控制实现简化,特别是对于全部存储设备都集群在一起的时候。最后一点,光纤接口提供了10公里的连接长度,这使得实现物理上分离的、不在机房的存储变得非常容易。
缺点
成本和复杂性,特别是在光纤信道中这些缺陷尤其明显。使用光纤信道的情况下,合理的成本大约是1千兆或者两千兆大概需要五万到六万美金。从另一个角度来看,虽然新推出的基于iSCSI的SAN解决方案大约只需要两万到三万美金,但是其性能却无法和光纤信道相比较。在价格上的差别主要是由于iSCSI技术使用的是现在已经大量生产的吉比特以太网硬件,而光纤通道技术要求特定的价格昂贵的设备。
SDS
Software Defined Storage,软件定义存储。数据中心中的服务器、存储、网络以及安全等资源可以通过软件进行定义,并且能够自动分配这些资源。软件定义存储的核心是存储虚拟化技术。
Glusterfs
文件系统存储,主要应用在集群系统中。
Ceph
开源的分布式的存储系统
分布式存储
概念
分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
特点
可伸缩性
分布式存储系统可以轻松地扩展存储容量和处理能力,因为它们可以在多个节点上存储数据并进行并行处理。当需要增加存储容量或者处理能力时,只需要添加更多的节点即可,从而实现快速的扩展。
高可用性
分布式存储系统通常具有高可用性,因为数据可以存储在多个节点上,即使其中一个节点出现故障,系统仍然可以继续运行。此外,在分布式存储系统中,数据通常会进行冗余备份,以确保即使多个节点同时出现故障,数据也不会丢失。
易于管理
分布式存储系统通常具有更好的可管理性,因为它们可以通过中心化的管理器进行管理。管理员可以从中心化的管理控制台中监控和管理整个分布式存储系统,包括存储容量、性能、安全等方面。
高性能
由于分布式存储系统可以在多个节点上并行处理数据,因此它们通常具有更高的性能。此外,分布式存储系统通常采用了一些高级技术,如数据分片、数据缓存、负载均衡等,以进一步提高系统的性能。
数据安全性
在分布式存储系统中,数据通常会进行加密和冗余备份,以保证数据的安全性。此外,分布式存储系统通常具有更好的数据恢复能力,可以在数据发生故障或者丢失时快速地恢复数据。
低成本
分布式存储系统通常具有较低的成本,因为它们可以使用廉价的硬件设备,如普通的PC服务器。此外,由于分布式存储系统可以进行快速的扩展,因此它们可以逐步增加存储容量和处理能力,从而降低了系统的总体成本。
CEPH概念及架构
简介
Ceph是一个统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和可扩展性。
特点
高性能
摒弃了传统的集中式存储元数据寻址的方案,采用CRUSH算法,数据分布均衡,并行度高。
考虑了容灾域的隔离,能够实现各类负载的副本放置规则,例如跨机房、机架感知等。
能够支持上千个存储节点的规模,支持TB到PB级的数据。
高可用性
副本数可以灵活控制。
支持故障域分隔,数据强一致性。
多种故障场景自动进行修复自愈。
没有单点故障,自动管理。
高可扩展性
去中心化。
扩展灵活。
随着节点增加而线性增长。
特性丰富
支持三种存储接口:块存储、文件存储、对象存储。
支持自定义接口,支持多种语言驱动。
存储方式
块存储
提供像普通硬盘一样的存储,为使用者提供“硬盘”,支持精简配置、快照、克隆。
文件系统
类似于NFS的共享方式,为使用者提供共享文件夹,Posix接口,支持快照。
对象存储
像百度云盘一样,需要使用单独的客户端,有原生的API,而且也兼容Swift和S3的API。
集群组成
ceph-mon
Monitor确实提供了其名称所暗示的功能——监视群集的运行状况。该监视器还告诉 OSD在 replication期间将数据放置在何处,并保留主 CRUSH Map。
ceph-osd
OSD是 Ceph的基础数据存储单元,它利用 XFS文件系统和物理磁盘来存储从客户端提供给它的块数据。
ceph-mds
MDS守护程序提供了将 Ceph块数据转换为存储文件的 POSIX兼容挂载点的功能,就像您使用传统文件系统一样。
ceph-mgr
MGR守护程序显示有关群集状态的监视和管理信息。
ceph-rgw
RGW守护程序是一个 HTTP API守护程序,对象存储网关实际上是调用 librados的 API来实现数据的存储和读取。而该网关同时提供了兼容 AWS S3和 OpenStack Swift的对象存储访问接口( API)。
版本

在Octopus版本后使用cephadm来部署ceph集群,如果使用cephadm部署,在后期新的版本升级时,可以做到完全自动化,并可以通过ceph -W cephadm查看升级进度。
,升级完成后,无法降级,升级时请不要跨版本升级,例如:当前使用Octopus升级到Quincy,要先把Octopus升级到Pacific,然后在升级至Quincy,这是最稳妥的方式。
CEPH与Swift对比
在部署OpenStack方面,凭借公认的强大稳定的属性,Ceph是非常受欢迎的块存储系统选项;而Swift集群进出的流量都要通过代理服务器 ,这一设计导致Swift在传输速度和延迟时间上都不占上风。
Ceph的适用范围不仅仅是对象存储。Swift不支持块存储和文件存储,也是许多人认为Ceph更好的原因。
ceph多地域支持并不像宣传的那么给力,.安全性是Ceph的另一个短板。
如果部署只在单一地域,没有计划扩展到多个地域的话,Ceph会是很好的选择。如果云基础架构本身已经很安全,存储安全性优先级便会降低,这时可能Ceph更适合。
手工部署
安装准备
添加硬盘
每个虚机再添加4块100G硬盘
添加网卡
LAN区段选择ceph-cluster
主机名
ceph01
hostnamectl set-hostname ceph01
ceph02
hostnamectl set-hostname ceph02
ceph03
hostnamectl set-hostname ceph03
配置网络
ceph01
命令 / 配置示例
cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.11
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF
cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens34
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens34
DEVICE=ens34
ONBOOT=yes
IPADDR=20.168.2.11
NETMASK=255.255.255.0
EOF
systemctl restart network
- dhclient
- ifdown ens35
- ifup ens35
ceph02
命令 / 配置示例
cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.12
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF
cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens34
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens34
DEVICE=ens34
ONBOOT=yes
IPADDR=20.168.2.12
NETMASK=255.255.255.0
EOF
systemctl restart network
ceph03
命令 / 配置示例
cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.13
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF
cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens34
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens34
DEVICE=ens34
ONBOOT=yes
IPADDR=20.168.2.13
NETMASK=255.255.255.0
EOF
systemctl restart network
配置解析
命令 / 配置示例
cat <<EOF>/etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
# openstack
192.168.2.20 controller
192.168.2.31 compute01
192.168.2.32 compute02
# cpeh-public
192.168.2.11 ceph01
192.168.2.12 ceph02
192.168.2.13 ceph03
# ceph-cluster
20.168.2.11 ceph01-cluster
20.168.2.12 ceph02-cluster
20.168.2.13 ceph03-cluster
# allinone
192.168.2.250 allinone
EOF
添加ceph-nautilus 源
命令 / 配置示例
cat <<EOF> /etc/yum.repos.d/ceph.repo
[ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64
enabled=1
gpgcheck=0
[ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=0
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=0
EOF
安装配置
NTP配置
ceph01、ceph02、ceph03
安装软件chrony
controller、compute01、compute02
配置
vi /etc/chrony.conf
server controller iburst
也可以从计算节点拷贝
scp /etc/chrony.conf ceph01:/etc/
scp /etc/chrony.conf ceph02:/etc/
scp /etc/chrony.conf ceph03:/etc/
开启启动
命令 / 配置示例
systemctl enable chronyd.service
systemctl start chronyd.service
启用NTP 同步
命令 / 配置示例
timedatectl set-ntp yes
timedatectl status
验证
chronyc sources
manager(controller)
在 Name/IP address 列的内容应显示NTP服务器的主机名或者IP地址。在 S 列的内容应该在NTP服务目前同步的上游服务器前显示 *。
其他节点
在 Name/IP address 列的内容应显示控制节点的主机名。
免密登录
在ceph01 节点生成公钥
ssh-keygen -t rsa
按回车键,即默认设置完成
将公钥发放到其他主机
命令 / 配置示例
ssh-copy-id ceph01
ssh-copy-id ceph02
ssh-copy-id ceph03
ssh-copy-id controller
ssh-copy-id compute01
ssh-copy-id compute02
验证
命令 / 配置示例
ssh ceph01
ssh ceph02
ssh ceph03
ssh controller
ssh compute01
ssh compute02
安装ceph软件包
controller、compute01、compute02
命令 / 配置示例
yum install -y ceph
yum install -y ceph-radosgw
controller
yum install -y virt-manager libvirt-client
ceph01
命令 / 配置示例
yum install -y ceph-deploy
yum install -y ceph
yum install -y ceph-mds
yum install -y ceph-radosgw
ceph-deploy 是ceph 软件定义存储系统的一部分,用来方便地配置和管理Ceph 存储集群。
ceph02、ceph03
命令 / 配置示例
yum install -y ceph
yum install -y ceph-mds
yum install -y ceph-radosgw
初始化配置mon
ceph01
新建Ceph 集群,并生成集群配置文件和密钥文件
命令 / 配置示例
mkdir /etc/ceph-cluster && cd /etc/ceph-cluster
ceph-deploy new ceph01 ceph02 ceph03
修改/etc/ceph-cluster/ceph.conf
命令 / 配置示例
openstack-config --set /etc/ceph-cluster/ceph.conf global auth_allow_insecure_global_id_reclaim false
openstack-config --set /etc/ceph-cluster/ceph.conf global public_network 192.168.2.0/24
openstack-config --set /etc/ceph-cluster/ceph.conf global cluster_network 20.168.2.0/24
命令 / 配置示例
openstack-config --set /etc/ceph-cluster/ceph.conf mon.ceph01 host ceph01
openstack-config --set /etc/ceph-cluster/ceph.conf mon.ceph01 mon_addr 192.168.2.11
openstack-config --set /etc/ceph-cluster/ceph.conf mon.ceph02 host ceph02
openstack-config --set /etc/ceph-cluster/ceph.conf mon.ceph02 mon_addr 192.168.2.12
openstack-config --set /etc/ceph-cluster/ceph.conf mon.ceph03 host ceph03
openstack-config --set /etc/ceph-cluster/ceph.conf mon.ceph03 mon_addr 192.168.2.13
初始化mon 节点
命令 / 配置示例
cd /etc/ceph-cluster
ceph-deploy mon create-initial
将keyring 同步到各节点,以便其它节点可以执行ceph 集群管理命令
ceph-deploy --overwrite-conf admin ceph01 ceph02 ceph03 controller compute01 compute02
验证
ceph -s
说明:如果提示:clock skew detected on mon.xxxx,则需要修改配置
mon_clock_drift_allowed = 1.0
初始化配置mgr
ceph01
命令 / 配置示例
cd /etc/ceph-cluster
ceph-deploy mgr create ceph01 ceph02 ceph03
ceph-mgr 进程是主备模式,同一时刻只有一个节点工作,其他节点处于standby
验证
ceph -s
初始化配置osd
ceph01/02/03
创建PV
pvcreate /dev/sde
创建VG
vgcreate vg00 /dev/sde
lvcreate -L 5G -n lvwal01 vg00
lvcreate -L 20G -n lvbdb01 vg00
lvcreate -L 5G -n lvwal02 vg00
lvcreate -L 20G -n lvbdb02 vg00
lvcreate -L 5G -n lvwal03 vg00
lvcreate -L 20G -n lvbdb03 vg00
ceph01
划分用于OSD 的日志分区和元数据分区,此处实验环境,故设置较小,按照规划每个节点有3 个OSD。
命令 / 配置示例
cd /etc/ceph-cluster
ceph-deploy osd create ceph01 --data /dev/sdb --block-wal vg00/lvwal01 --block-db vg00/lvbdb01 --bluestore
ceph-deploy osd create ceph02 --data /dev/sdb --block-wal vg00/lvwal01 --block-db vg00/lvbdb01 --bluestore
ceph-deploy osd create ceph03 --data /dev/sdb --block-wal vg00/lvwal01 --block-db vg00/lvbdb01 --bluestore
ceph-deploy osd create ceph01 --data /dev/sdc --block-wal vg00/lvwal02 --block-db vg00/lvbdb02 --bluestore
ceph-deploy osd create ceph02 --data /dev/sdc --block-wal vg00/lvwal02 --block-db vg00/lvbdb02 --bluestore
ceph-deploy osd create ceph03 --data /dev/sdc --block-wal vg00/lvwal02 --block-db vg00/lvbdb02 --bluestore
ceph-deploy osd create ceph01 --data /dev/sdd --block-wal vg00/lvwal03 --block-db vg00/lvbdb03 --bluestore
ceph-deploy osd create ceph02 --data /dev/sdd --block-wal vg00/lvwal03 --block-db vg00/lvbdb03 --bluestore
ceph-deploy osd create ceph03 --data /dev/sdd --block-wal vg00/lvwal03 --block-db vg00/lvbdb03 --bluestore
从 Ceph 12.2.0(Luminous) 版本开始的。在 Luminous 版本中,BlueStore 被引入作为一种新的、高性能的 OSD 存储引擎,以替代旧的 FileStore 引擎。
BlueStore 将 对象 元数据 存储在 块数据库 中,块数据库将元数据作为键值对存储在 RocksDB 数据库中,这是一种高性能的键值存储,块数据库驻留于存储设备上的一个小型 BlueFS 分区,BlueFS 是一种最小的文件系统,设计用于保存 RocksDB 文件,BlueStore 利用预写式日志 (WAL)以原子式将数据写入到块设备。预写式日志执行日志记录功能,并记录所有事务。
--data选项后面是作为数据盘的设备。
--block-db选项后面是DB分区。
--block-wal选项后面是WAL分区。
异常处理
a、先确认好要删除的osd,比如此处要删除osd.0
ceph osd tree
b、将osd.0 踢出集群
ceph osd out 0
c、待集群重新平衡后,停止对应的osd 进程,需要在目标osd 主机上执行
systemctl stop ceph-osd@0
d、从crush 中移除,然后再用ceph osd tree 查看,会发现osd.0 不在osd tree 中了
命令 / 配置示例
ceph osd crush remove osd.0
ceph osd tree
e、删除节点以及节点认证信息
命令 / 配置示例
ceph osd rm osd.0
ceph auth del osd.0
f、此时删除成功但是原来的数据和日志目录还在,也就是说数据还在
lsblk
- 删除对应分区(如果是lvm,需要lvremove 命令删除vg)
需要将lvm 状态改为inactive
lvchange -an /dev/ceph-a4a91457-db04-4afc-a938-b195a0c4a0c7/osd-block-8c82a7e1-5205-4472-a0f1-77f0d44485e0
使用lvremove 移除对应lv
lvremove /dev/ceph-a4a91457-db04-4afc-a938-b195a0c4a0c7/osd-block-8c82a7e1-5205-4472-a0f1-77f0d44485e0
g、清除磁盘分区信息
ceph-deploy disk zap ceph01 /dev/sdc
h、重新初始化osd
ceph-deploy osd create ceph01 --data /dev/sdc --block-wal vg00/lvwal02 --block-db vg00/lvbdb02 --bluestore
查看
ceph -s
ceph osd tree
ceph每个节点有三个osd
创建OpenStack 所需的存储池
查看创建的存储池
ceph osd pool ls
在ceph01 上创建所需的存储池
命令 / 配置示例
ceph osd pool create volumes 128
ceph osd pool create images 32
ceph osd pool create backups 32
ceph osd pool create vms 128
创建openstack 各组件需要的ceph 用户并授权
在ceph01 上为cinder、glance、cinder-backup 用户创建密钥,允许其访问Ceph 存储池创建用户client.cinder,对volumes 存储池有rwx 权限,对vms 存储池有rwx 权限,对images 池有rx 权限
ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms,allow rx pool=images'
创建用户client.glance,对images 存储池有rwx 权限
ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'
创建用户client.cinder-backup,对backups 存储池有rwx 权限
ceph auth get-or-create client.cinder-backup mon 'profile rbd' osd 'profile rbd pool=backups'
将glance 的keyring 保存到controller(glance 服务所在节点)上
命令 / 配置示例
ceph auth get-or-create client.glance | ssh controller tee /etc/ceph/ceph.client.glance.keyring
ssh controller chown glance:glance /etc/ceph/ceph.client.glance.keyring
将cinder 的keyring 保存到(控制节点、计算节点、存储节点服务所在节点)上
命令 / 配置示例
for h in controller compute01 compute02
do
ceph auth get-or-create client.cinder | ssh $h tee /etc/ceph/ceph.client.cinder.keyring
ssh $h chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring
done
将cinder-backup 的keyring 保存到(cinder-backup 服务所在节点,此处是controller/computer01/computer02)上
查看
ceph auth get-key client.cinder | ssh controller tee client.cinder.key
命令 / 配置示例
for h in controller compute01 compute02
do
ceph auth get-or-create client.cinder-backup | ssh $h tee /etc/ceph/ceph.client.cinder-backup.keyring
ssh $h chown cinder:cinder /etc/ceph/ceph.client.cinder-backup.keyring
ceph auth get-key client.cinder | ssh $h tee client.cinder.key
done
添加密钥到libvirt
controller/compute01/compute02
compute01
UUID=$(uuidgen)
cd /etc/ceph
cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
<uuid>${UUID}</uuid>
<usage type='ceph'>
<name>client.cinder secret</name>
</usage>
</secret>
EOF
uuid会在后面的配置文件中用到
查看
cat secret.xml
1e21c0bc-9aa3-41e6-b260-2d6bc9bb0e66
添加密钥到libvirt
virsh secret-define --file secret.xml
virsh secret-set-value --secret ${UUID} --base64 $(cat /etc/ceph/ceph.client.cinder.keyring | grep key | awk -F ' ' '{ print $3 }')
说明:保存此处生成的UUID 的值,后面Cinder 以及Nova 的配置中需要用到,本示例中的UUID 为:585e1823-adc0-4c25-b368-3ec81300fac2
如果添加错误,需要删除,则执行如下命令
# virsh secret-undefine aa22a048-147f-44d1-8571-8c394d924299
如果控制节点也当计算点用,则也要添加密钥
查看添加后的密钥
virsh secret-list
virsh secret-get-value 0e53f6d5-3c94-4b85-ae90-d3d7cce8b792
将secret.xml 拷贝到其他计算节点
命令 / 配置示例
scp secret.xml controller:/etc/ceph/
scp secret.xml compute02:/etc/ceph/
在controller/compute02
命令 / 配置示例
cd /etc/ceph
UUID=1e21c0bc-9aa3-41e6-b260-2d6bc9bb0e66
virsh secret-define --file secret.xml
virsh secret-set-value --secret ${UUID} --base64 $(cat /etc/ceph/ceph.client.cinder.keyring | grep key | awk -F ' ' '{ print $3 }')
查看
virsh secret-list
查看版本
ceph --version
Openstack集成
Glance集成
配置
命令 / 配置示例
openstack-config --set /etc/glance/glance-api.conf DEFAULT show_image_direct_url True
openstack-config --set /etc/glance/glance-api.conf glance_store stores rbd,file,http
openstack-config --set /etc/glance/glance-api.conf glance_store default_store rbd
openstack-config --set /etc/glance/glance-api.conf glance_store filesystem_store_datadir /var/lib/glance/images/
openstack-config --set /etc/glance/glance-api.conf glance_store rbd_store_pool images
openstack-config --set /etc/glance/glance-api.conf glance_store rbd_store_user glance
openstack-config --set /etc/glance/glance-api.conf glance_store rbd_store_ceph_conf /etc/ceph/ceph.conf
openstack-config --set /etc/glance/glance-api.conf glance_store rbd_store_chunk_size 8
openstack-config --set /etc/glance/glance-api.conf paste_deploy flavor keystone
rbd_store_chunk_size 参数不要设置过大,如果当前镜像类似于cirros的,设置过大会报错!
重启服务
systemctl restart openstack-glance-api.service
验证
创建镜像
- . /root/admin-openrch.sh
openstack image create "cirros" --file /root/cirros-0.3.4-x86_64-disk.img --disk-format qcow2 --container-format bare --public
查看是否上传至ceph
rbd ls images
openstack image list
rbd info images/4b2f54ee-4021-43d5-ac9b-3190cb76c722
Cinder集成
配置
controller
openstack-config --set /etc/cinder/cinder.conf DEFAULT default_volume_type ceph
compute01/compute02
命令 / 配置示例
openstack-config --set /etc/cinder/cinder.conf DEFAULT enabled_backends ceph,lvm
openstack-config --set /etc/cinder/cinder.conf ceph volume_driver cinder.volume.drivers.rbd.RBDDriver
openstack-config --set /etc/cinder/cinder.conf ceph volume_backend_name ceph
openstack-config --set /etc/cinder/cinder.conf ceph rbd_pool volumes
openstack-config --set /etc/cinder/cinder.conf ceph rbd_ceph_conf /etc/ceph/ceph.conf
openstack-config --set /etc/cinder/cinder.conf ceph rbd_flatten_volume_from_snapshot false
openstack-config --set /etc/cinder/cinder.conf ceph rbd_max_clone_depth 5
openstack-config --set /etc/cinder/cinder.conf ceph rbd_store_chunk_size 4
openstack-config --set /etc/cinder/cinder.conf ceph rados_connect_timeout -1
openstack-config --set /etc/cinder/cinder.conf ceph glance_api_version 2
openstack-config --set /etc/cinder/cinder.conf ceph rbd_user cinder
openstack-config --set /etc/cinder/cinder.conf ceph rbd_secret_uuid 1e21c0bc-9aa3-41e6-b260-2d6bc9bb0e66
UUID使用virsh secret-list
重启
controller
systemctl restart openstack-cinder-api.service openstack-cinder-scheduler.service
compute01/02
systemctl restart openstack-cinder-volume.service
验证
卷类型创建



创建虚拟机

查看虚拟机卷

ceph01
rbd ls volumes
可以对应上
cinder_backup集成
说明
cinder-backup 用于将卷(volume)备份到其他存储系统上,目前支持的备份存储系统有 swift、ceph 以及 IBM Tivoli Storage Manager(TSM),默认为
Swift,但需要配置 swift 组件
配置
compute01/02
命令 / 配置示例
openstack-config --set /etc/cinder/cinder.conf DEFAULT backup_driver cinder.backup.drivers.ceph.CephBackupDriver
openstack-config --set /etc/cinder/cinder.conf DEFAULT backup_ceph_conf /etc/ceph/ceph.conf
openstack-config --set /etc/cinder/cinder.conf DEFAULT backup_ceph_user cinder-backup
openstack-config --set /etc/cinder/cinder.conf DEFAULT backup_ceph_chunk_size 4194304
openstack-config --set /etc/cinder/cinder.conf DEFAULT backup_ceph_pool backups
openstack-config --set /etc/cinder/cinder.conf DEFAULT backup_ceph_stripe_unit 0
openstack-config --set /etc/cinder/cinder.conf DEFAULT backup_ceph_stripe_count 0
openstack-config --set /etc/cinder/cinder.conf DEFAULT restore_discard_excess_bytes true
启动
命令 / 配置示例
systemctl restart openstack-cinder-volume.service
systemctl restart target.service
systemctl enable openstack-cinder-backup.service
systemctl restart openstack-cinder-backup.service
controller(dashboard)
/etc/openstack-dashboard/local_settings
OPENSTACK_CINDER_FEATURES = {
'enable_backup': True,
}
- 子主题 2
systemctl restart httpd
Nova集成
compute01/02
vi /etc/nova/nova.conf
default
live_migration_flag="VIR_MIGRATE_UNDEFINE_SOURCE,VIR_MIGRATE_PEER2PEER,VIR_MIGRATE_LIVE,VIR_MIGRATE_PERSIST_DEST,VIR_MIGRATE_TUNNELLEDTE_TUNNELLED"
libvirt
命令 / 配置示例
virt_type = qemu
num_pcie_ports = 10
images_type = rbd
images_rbd_pool = vms
images_rbd_ceph_conf = /etc/ceph/ceph.conf
disk_cachemodes ="network=writeback"
rbd_user = cinder
rbd_secret_uuid =1e21c0bc-9aa3-41e6-b260-2d6bc9bb0e66
配置参数,解决libvirt中qemu+tcp的方式无法连接
命令 / 配置示例
cat <<EOF>>/etc/libvirt/libvirtd.conf
listen_tls = 0
listen_tcp = 1
unix_sock_group = "root"
unix_sock_rw_perms = "0777"
auth_unix_ro = "none"
auth_unix_rw = "none"
log_filters="2:qemu_monitor_json 2:qemu_driver"
log_outputs="2:file:/var/log/libvirt/libvirtd.log"
tcp_port = "16509"
listen_addr = "0.0.0.0"
auth_tcp = "none"
EOF
/etc/sysconfig/libvirtd中 #LIBVIRTD_ARGS="--listen" 参数打开
重启
compute01/02
systemctl restart openstack-nova-compute.service libvirtd
学员答疑(卷类型修改、实例卷迁移)
问题

更改实例卷类型
清空
/etc/cinder/cinder.conf
controller
修改配置文件/etc/cinder/cinder.conf
命令 / 配置示例
openstack-config --set /etc/cinder/cinder.conf DEFAULT transport_url rabbit://openstack:123456@controller
openstack-config --set /etc/cinder/cinder.conf DEFAULT auth_strategy keystone
openstack-config --set /etc/cinder/cinder.conf database connection mysql+pymysql://cinder:123456@controller/cinder
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken www_authenticate_uri http://controller:5000
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_url http://controller:5000/v3
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken memcached_servers controller:11211
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_type password
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_domain_name default
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken user_domain_name default
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_name service
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken username cinder
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken password 123456
openstack-config --set /etc/cinder/cinder.conf oslo_concurrency lock_path /var/lib/cinder/tmp
在[DEFAULT]部分,配置认证信息
- 配置my_ip 选项以使用控制器节点的管理接口IP 地址
- 指定存储类型,否则在创建卷时,类型为__DEFAULT__
- 在[database]部分,配置数据库
- 在[keystone_authtoken]部分,配置认证信息
- 在[oslo_concurrency]配置锁定路径
openstack-config --set /etc/cinder/cinder.conf DEFAULT default_volume_type testvolume
指定卷类型为testvolume,需要创建
openstack volume type create testvolume
重启程序
命令 / 配置示例
systemctl restart openstack-nova-api.service
systemctl restart openstack-cinder-api.service
systemctl restart openstack-cinder-scheduler.service
compute01/02
修改配置文件/etc/cinder/cinder.conf
命令 / 配置示例
openstack-config --set /etc/cinder/cinder.conf DEFAULT transport_url rabbit://openstack:123456@controller
openstack-config --set /etc/cinder/cinder.conf DEFAULT auth_strategy keystone
openstack-config --set /etc/cinder/cinder.conf DEFAULT enabled_backends lvm
openstack-config --set /etc/cinder/cinder.conf DEFAULT glance_api_servers http://controller:9292
openstack-config --set /etc/cinder/cinder.conf database connection mysql+pymysql://cinder:123456@controller/cinder
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken www_authenticate_uri http://controller:5000
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_url http://controller:5000/v3
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken memcached_servers controller:11211
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_type password
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_domain_name default
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken user_domain_name default
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_name service
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken username cinder
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken password 123456
openstack-config --set /etc/cinder/cinder.conf lvm volume_driver cinder.volume.drivers.lvm.LVMVolumeDriver
openstack-config --set /etc/cinder/cinder.conf lvm volume_group cinder-volumes
openstack-config --set /etc/cinder/cinder.conf lvm target_protocol iscsi
openstack-config --set /etc/cinder/cinder.conf lvm target_helper lioadm
openstack-config --set /etc/cinder/cinder.conf lvm volume_backend_name cinder-volumes
openstack-config --set /etc/cinder/cinder.conf oslo_concurrency lock_path /var/lib/cinder/tmp
重启服务
命令 / 配置示例
systemctl restart openstack-cinder-volume.service
systemctl restart target.service
实例迁移(计算节点迁移)
迁移存储场景
共享存储
文件存储
典型的文件存储是 NAS(Network Attached Storage,网络接入存储)、NFS(Network File System,网络文件系统)。多个计算节点可以通过 NFS 共享 instances_path 存放磁盘文件,Cinder 也支持 NFS Backend 将 Volumes 存放到共享目录下。
块存储
典型的块存储(Block Storage)是 SAN(Storage Area Network,区域存储网络)。块存储通过 iSCSI、FC 等协议将块设备 Attach 到应用服务器上,并被文件系统层接管,数据以块的形式存储在 Volume 里。
非共享存储(本地存储)
非共享存储场景中,虚拟机的磁盘文件存放方式为 Local,这就需要对虚拟机的内存数据、本地磁盘文件均进行迁移。迁移方式就是数据块级别的拷贝,简称块迁移。显然,这种场景对热迁移并不友好,因为拷贝时间太长会提高数据的丢失率。
openstack server migrate --live-migration vm03
--block-migration只能在本地存储中执行,不能在共享存储中执行。
- 卷迁移(存储节点迁移)
冷热迁移
冷迁移
关闭虚拟机、数据迁移。需要迁移的只有系统盘数据、数据盘数据,而无需迁移内存数据,使用块迁移方式。
优点
操作简单,迁移方式灵活,虚拟机不产生动态数据,所以数据丢失率小。
缺点
运行在虚拟机之上的业务被中断。
热迁移
又称动态迁移、在线迁移,是一种用户无感的迁移方式。虚拟机不需要关机,业务不被中断,但相对的是一种复杂的迁移方式。
优点
用户无感,平滑迁移,有效保证业务高可用性。
缺点
操作复杂,数据丢失率大。