openstack存储服务(Cinder服务)
云计算存储方式
文件存储
文件存储依靠文件系统来存储文件。文件直接存储在文件系统中,通过FTP、网络文件系统(Network File System,NFS)等服务进行访问。它的特点是使用简单、兼容性好,但响应速度和存储容量一般。
块存储
Cinder
块存储中的块顾名思义就是存储系统采用的一整块存储设备,如一块硬盘。块存储技术通常是指是将裸磁盘空间整个映射给主机使用的技术。因此块存储可以虚拟出整块硬盘给云主机使用,对云主机的操作系统来说这就是挂载的物理硬盘。它的特点是响应速度极快,同时具有高稳定性和可靠性,但受硬件容量限制,导致其容量不大。
对象存储
Swift
对象存储以对象(封装)的形式管理数据。对象数据可以分为两个部分,一部分是数据,存储于对象存储服务器中;另一部分是对应的元数据,存储于元数据服务器中。数据通常是无结构的数据,例如,图片、视频或文档等。而元数据则指的是对数据的相关描述,例如,图片的大小、文档的拥有者、数据存储的位置信息等。当需要访问某个对象时,先查询元数据服务器获得具体位置信息,然后从对象存储服务器中获得具体数据。对象存储主要用于分布式存储,其存储容量巨大,但速度较慢。
共享文件存储
Manila
提供共享文件存储的组件。它允许用户在OpenStack云环境中创建和管理共享文件系统,以供多个实例或虚拟机之间共享数据,就像在你的电脑上创建一个文件夹一样。然后,你可以选择将这个文件夹共享给其他虚拟机或实例。这样,这些虚拟机或实例就可以通过网络连接到这个共享文件系统,读取和写入其中的文件。这样就实现了多个虚拟机或实例之间共享数据的需求。
基本概念
从F版将Nova中的持久性块存储插件nova-volume剥离。
为虚拟机提供持久化的存储能力,并实现虚拟机存储卷的生命周期管理。
主要功能
提供资源
提供持久性块存储资源,虚拟机实例使用。
提供方法
为管理块存储设备提供一套方法。
进行封装
对不同的后端存储进行封装,提供统一的API。
与nova交互


组件架构

客户(client)
- 终端用户
- 命令行
- 其他组件
API前端服务(cinder-api)
- 该模块用于接收和响应外部请求,也是外部可用于管理Cinder的唯一入口
端点
openstack endpoint list --service cinderv3
提供REST标准调用服务。
Schedule调度服务(cinder-scheduler)
- 该模块负责通过调度算法从多个存储节点服务器中选择最合适的节点来创建卷
调度算法
通过顾虑器选择满足条件的节点。
通过权重计算(weighting)选择最优的存储节点。
卷服务(cinder-volume)
该模块是Cinder项目中对卷进行管理的模块,相当于cinder的worker。
对卷负责生命周期的管理。
卷驱动

备份服务(cinder-backup)
该模块为卷提供备份服务,实现了对块设备的容灾。
支持块存储卷备份到openstack对象存储。
ceph
- GlusterFS
- NFS
- POSIX
- Swift
- Goolge Cloud Storage
- IBM Tivoli Storage Manager
卷提供者(volume-provider)
该模块负责通过驱动调用具体的卷管理系统实现对卷的具体操作。它支持多种卷管理系统,包括LVM、NFS、Ceph等
消息队列(AMQP)
各个服务通过消息队列实现进程之间的通信和协作。
数据库(DB)
一些数据存储在数据库中,mariadb
查看部署
cinder service-list
工作流程

①
客户想cinder-api发送请求,要求创建一个卷。
②
“cinder-api”接收到用户通过管理界面或命令行发起的卷创建请求后,完成必要处理后将其发送到消息队列中。
③
“cinder-scheduler”从消息队列获得请求和数据以后,从若干存储节点中选出一个能存放该卷的节点。然后又将信息发送到消息队列。
④
“cinder-volume”从消息队列获取请求后,通过“volume-provider”调用具体的卷管理系统在存储设备上创建卷。
存储管理
创建存储卷
openstack volume create --size 1 volume01
扩展卷
openstack volume set volume01 --size 10
查看存储卷列表
openstack volume list
openstack volume show volume01
为存储卷创建快照
openstack volume snapshot create --volume volume01 snap-volume01
为卷volume01 创建一个名为snap-volume01 的快照
备份卷
openstack volume backup create volume01
快照依赖卷,不能独立存在;备份不依赖卷。
快照与卷通常存放在一起;备份独立存放在备份设备中。
查看备份卷
openstack volume backup list
查看快照列表
openstack volume snapshot list
挂载卷到实例
openstack server list
nova volume-attach cirros ce811e2f-40eb-435c-bc2a-feb2e94c20ae
虚拟机卸载卷
nova volume-detach cirros ce811e2f-40eb-435c-bc2a-feb2e94c20ae
删除所选存储卷
命令 / 配置示例
openstack volume snapshot delete snap-volume01
openstack volume delete volume01
删除卷要具备2 个条件,第一个是卷状态是可用(available)或其他而非使用中;第二个就是要删除的卷上没有快照,如果有要先删除快照。
openstack volume show volume01
手工部署
controller
安装软件
yum -y install openstack-cinder
登录数据库创建cinder 数据库
命令 / 配置示例
mysql -uroot -p123456
CREATE DATABASE cinder default character set utf8;
GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'localhost' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'%' IDENTIFIED BY '123456';
flush privileges;
exit
修改配置文件/etc/cinder/cinder.conf
命令 / 配置示例
openstack-config --set /etc/cinder/cinder.conf DEFAULT transport_url rabbit://openstack:123456@controller
openstack-config --set /etc/cinder/cinder.conf DEFAULT auth_strategy keystone
openstack-config --set /etc/cinder/cinder.conf database connection mysql+pymysql://cinder:123456@controller/cinder
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken www_authenticate_uri http://controller:5000
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_url http://controller:5000/v3
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken memcached_servers controller:11211
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_type password
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_domain_name default
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken user_domain_name default
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_name service
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken username cinder
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken password 123456
openstack-config --set /etc/cinder/cinder.conf oslo_concurrency lock_path /var/lib/cinder/tmp
在[DEFAULT]部分,配置认证信息
- 配置my_ip 选项以使用控制器节点的管理接口IP 地址
- 指定存储类型,否则在创建卷时,类型为__DEFAULT__
- 在[database]部分,配置数据库
- 在[keystone_authtoken]部分,配置认证信息
- 在[oslo_concurrency]配置锁定路径
修改配置文件/etc/nova/nova.conf
openstack-config --set /etc/nova/nova.conf cinder os_region_name RegionOne
让计算服务支持块存储
同步cinder 数据库
su -s /bin/sh -c "cinder-manage db sync" cinder
忽略带有“Deprecated: Option...” 输出
创建cinder 用户
openstack user create --domain default --password 123456 cinder
cinder 加入到service 项目以及admin 角色
openstack role add --project service --user cinder admin
创建cinderv2 和cinderv3服务
命令 / 配置示例
openstack service create --name cinderv2 --description "openstack Block Storage" volumev2
openstack service create --name cinderv3 --description "openstack Block Storage" volumev3
创建Block Storage API 服务端点
命令 / 配置示例
openstack endpoint create --region RegionOne volumev2 public http://controller:8776/v2/%\(project_id\)s
openstack endpoint create --region RegionOne volumev2 internal http://controller:8776/v2/%\(project_id\)s
openstack endpoint create --region RegionOne volumev2 admin http://controller:8776/v2/%\(project_id\)s
openstack endpoint create --region RegionOne volumev3 public http://controller:8776/v3/%\(project_id\)s
openstack endpoint create --region RegionOne volumev3 internal http://controller:8776/v3/%\(project_id\)s
openstack endpoint create --region RegionOne volumev3 admin http://controller:8776/v3/%\(project_id\)s
重启程序
命令 / 配置示例
systemctl restart openstack-nova-api.service
systemctl restart openstack-cinder-api.service
systemctl restart openstack-cinder-scheduler.service
systemctl enable openstack-nova-api.service
systemctl enable openstack-cinder-api.service
systemctl enable openstack-cinder-scheduler.service
systemctl status openstack-nova-api.service
systemctl status openstack-cinder-api.service
systemctl status openstack-cinder-scheduler.service
验证
openstack volume service list
- 状态为up 即正常
- 如果不是up,可以最后重启一下控制节点
compute01、compute02
创建PV
pvcreate /dev/sdb
创建VG
vgcreate cinder-volumes /dev/sdb
- VG 名称定义为cinder-volumes
不同存储节点上相同用途的VG 名称设置成相同,因为cinder.conf 中需要指定volume_group,另外volume_backend_name 也可以设置成相同
在存储节点安装
命令 / 配置示例
yum install -y lvm2
yum install -y device-mapper-persistent-data
系统安装时就采用的lvm,所以操作可以忽略
开机启动
命令 / 配置示例
systemctl enable lvm2-lvmetad.service
systemctl start lvm2-lvmetad.service
修改配置文件/etc/lvm/lvm.conf
命令 / 配置示例
cat <<EOF>>/etc/lvm/lvm.conf
filter = [ "a/sda/", "a/sdb/", "r/.*/"]
EOF
filter 过滤器阵列中的每个项目开头为“a”或者“r”,用于接受或用于拒绝某个设备,如果存储节点在操作系统磁盘上使用LVM,则还必须将关联的系统盘设备添加到过滤器。同样,如果计算节点在操作系统磁盘上使用LVM,也需要修改这些节点上“/etc/lvm/lvm.conf”文件中的过滤器以包括操作系统磁盘。例如,如果“/dev/sda”设备包含操作系统,则需要将“sda”添加到过滤器。
安装软件包
命令 / 配置示例
yum install -y openstack-cinder
yum install -y targetcli python-keystone
修改配置文件/etc/cinder/cinder.conf
命令 / 配置示例
openstack-config --set /etc/cinder/cinder.conf DEFAULT transport_url rabbit://openstack:123456@controller
openstack-config --set /etc/cinder/cinder.conf DEFAULT auth_strategy keystone
openstack-config --set /etc/cinder/cinder.conf DEFAULT enabled_backends lvm
openstack-config --set /etc/cinder/cinder.conf DEFAULT glance_api_servers http://controller:9292
openstack-config --set /etc/cinder/cinder.conf database connection mysql+pymysql://cinder:123456@controller/cinder
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken www_authenticate_uri http://controller:5000
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_url http://controller:5000/v3
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken memcached_servers controller:11211
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_type password
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_domain_name default
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken user_domain_name default
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_name service
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken username cinder
openstack-config --set /etc/cinder/cinder.conf keystone_authtoken password 123456
openstack-config --set /etc/cinder/cinder.conf lvm volume_driver cinder.volume.drivers.lvm.LVMVolumeDriver
openstack-config --set /etc/cinder/cinder.conf lvm volume_group cinder-volumes
openstack-config --set /etc/cinder/cinder.conf lvm target_protocol iscsi
openstack-config --set /etc/cinder/cinder.conf lvm target_helper lioadm
openstack-config --set /etc/cinder/cinder.conf lvm volume_backend_name cinder-volumes
openstack-config --set /etc/cinder/cinder.conf oslo_concurrency lock_path /var/lib/cinder/tmp
重启服务
命令 / 配置示例
systemctl enable openstack-cinder-volume.service
systemctl enable target.service
systemctl restart openstack-cinder-volume.service
systemctl restart target.service
systemctl status openstack-cinder-volume.service
systemctl status target.service
验证
controller
openstack volume service list
- 若状态均为up 即正常
如果不正常,可以检查一下时间同步,重启ntp服务。
systemctl restart ntpd