手工部署openstack基础环境搭建
手动部署openstack基础环境搭建
环境

组网

01、模板机template制作
创建目录
手工部署
模板
template
控制节点
controller
计算节点
compute01 compute02
ceph存储
ceph01 ceph02 ceph03
系统安装
CPU勾选虚拟化

开启时间同步

删除打印机和声卡
设置光盘镜像

软件包
Development and Create Workstation
- Addiional Development
- Compatibility Libraries
- Development Tools
- Hardware Monitoring Utilities
- Large Systems Performance
- Legacy X Windows System Compatibility
- Platform Development
- System Administration Tools
分区
- LVM自动配置
- 删除home分区
- swap 8192m
- boot 2g
/ 修改逻辑卷名字vg00 大小100g
后期可以再扩
系统配置
配置网络
命令 / 配置示例
cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.251
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF
systemctl restart network
设置主机名
hostnamectl set-hostname template
配置解析
命令 / 配置示例
cat <<EOF>/etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
# openstack
192.168.2.20 controller
192.168.2.31 compute01
192.168.2.32 compute02
# cpeh-public
192.168.2.11 ceph01
192.168.2.12 ceph02
192.168.2.13 ceph03
# ceph-cluster
20.168.2.11 ceph01-cluster
20.168.2.12 ceph02-cluster
20.168.2.13 ceph03-cluster
# allinone
192.168.2.250 allinone
EOF
配置时区
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
时间同步
yum install -y chrony
关闭selinux
命令 / 配置示例
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0
关闭防火墙
命令 / 配置示例
systemctl disable firewalld.service
systemctl stop firewalld.service
关闭网络管理器
命令 / 配置示例
systemctl stop NetworkManager
systemctl disable NetworkManager
关闭默认的网络管理,和neutron有冲突。
设置文件句柄及其他参数
命令 / 配置示例
cat <<EOF>> /etc/sysctl.conf
##default 1
net.ipv4.tcp_syncookies = 1
##default 0
net.ipv4.tcp_tw_reuse = 1
##default 0
net.ipv4.tcp_tw_recycle= 1
##default 60
net.ipv4.tcp_fin_timeout = 30
##default 256
net.ipv4.tcp_max_syn_backlog = 4096
##default 32768 60999
net.ipv4.ip_local_port_range= 1024 65535
##default
net.core.somaxconn = 32768
EOF
sysctl -p
命令 / 配置示例
cat <<EOF>> /etc/security/limits.conf
* hard nofile 655360
* soft nofile 655360
* hard noproc 655360
* soft noproc 655360
* hard core 655360
* soft core 655360
EOF
句柄数
命令 / 配置示例
cat <<EOF>/etc/security/limits.d/20-nproc.conf
* soft nproc unlimited
root soft nproc unlimited
EOF
开启CPU嵌套虚拟化
查看
cat /sys/module/kvm_intel/parameters/nested
- 如果是N表示未开启
如果没这个目录文件,则表示该主机没有开启虚拟化。
设置
命令 / 配置示例
cat <<EOF> /etc/modprobe.d/kvm-nested.conf
options kvm_intel nested=1 ept=0 unrestricted_guest=0
EOF
重启生效
配置yum源
从阿里云下载yum 配置文件
命令 / 配置示例
cd /etc/yum.repos.d && mkdir backup && mv *.repo backup/
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
安装T版本文件
yum -y install centos-release-openstack-train
安装完毕后,会增加yum配置文件
- CentOS-openstack-train.repo
- CentOS-QEMU-EV.repo
- CentOS-Ceph-Nautilus.repo
- CentOS-Storage-common.repo
- CentOS-NFS-Ganesha-28.repo
添加ceph-nautilus 源
命令 / 配置示例
cat <<EOF> /etc/yum.repos.d/ceph.repo
[ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64
enabled=1
gpgcheck=0
[ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=0
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=0
EOF
重新生成缓存
yum clean all && yum makecache
安装openstack客户端
yum install -y python-openstackclient
openstack-config工具
yum install -y openstack-utils
更新软件包
yum erase PyQt4-4.10.1-13.el7.x86_64 sip-4.14.6-4.el7.x86_64 -y
删掉冲突的包
yum upgrade -y
02、克隆配置虚拟机
更改MAC地址
按机器性能调整cpu、内存参数
controller、compute01、compute02
增加两块网卡
controller、compute01、compute02


增加硬盘
compute01、compute02
compute01、compute02 各增加一块50G 硬盘(用作cinder 存储)
配置网络
controller
命令 / 配置示例
cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.20
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF
cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens34
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens34
DEVICE=ens34
ONBOOT=yes
IPADDR=10.168.2.20
NETMASK=255.255.255.0
EOF
cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens36
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens36
DEVICE=ens36
ONBOOT=yes
IPADDR=20.168.2.20
NETMASK=255.255.255.0
EOF
systemctl restart network
compute01
命令 / 配置示例
cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.31
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF
cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens34
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens34
DEVICE=ens34
ONBOOT=yes
IPADDR=10.168.2.31
NETMASK=255.255.255.0
EOF
cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens36
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens36
DEVICE=ens36
ONBOOT=yes
IPADDR=20.168.2.31
NETMASK=255.255.255.0
EOF
systemctl restart network
compute02
命令 / 配置示例
cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.32
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF
cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens34
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens34
DEVICE=ens34
ONBOOT=yes
IPADDR=10.168.2.32
NETMASK=255.255.255.0
EOF
cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens36
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens36
DEVICE=ens36
ONBOOT=yes
IPADDR=20.168.2.32
NETMASK=255.255.255.0
EOF
systemctl restart network
ceph01
命令 / 配置示例
cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.11
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF
cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens35
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens35
DEVICE=ens35
ONBOOT=yes
IPADDR=20.168.2.11
NETMASK=255.255.255.0
EOF
systemctl restart network
ceph02
命令 / 配置示例
cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.12
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF
cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens35
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens35
DEVICE=ens35
ONBOOT=yes
IPADDR=20.168.2.12
NETMASK=255.255.255.0
EOF
systemctl restart network
ceph03
命令 / 配置示例
cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.13
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF
cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens35
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens35
DEVICE=ens35
ONBOOT=yes
IPADDR=20.168.2.13
NETMASK=255.255.255.0
EOF
systemctl restart network
配置时间同步
chrony优势
- 同步快
- 响应快
- 高稳定
- 无轮询
配置
controller
vi /etc/chrony.conf 这里iburst如果一个标准的轮询没有应答,客户端会发送一定数量的包,而不是通常的包给NTP服务器,
server ntp.aliyun.com iburst
server ntp1.aliyun.com iburst
allow 192.168.2.0/24
allow 10.168.2.0/24
allow 20.168.2.0/24
local stratum 10
compute01、compute02
vi /etc/chrony.conf 指定时间同步服务器,这里采用阿里云时钟源。如果无外网,则指向本机主机名。
server controller iburst
开启启动
controller、compute01、compute02
命令 / 配置示例
systemctl enable chronyd.service
systemctl start chronyd.service
立即生效
systemctl restart chronyd.service
启用NTP 同步
命令 / 配置示例
timedatectl set-ntp yes
timedatectl status
验证
chronyc sources
manager(controller)
在 Name/IP address 列的内容应显示NTP服务器的主机名或者IP地址。在 S 列的内容应该在NTP服务目前同步的上游服务器前显示 *。
其他节点
在 Name/IP address 列的内容应显示控制节点的主机名。
配置主机名
controller
hostnamectl set-hostname controller
compute01
hostnamectl set-hostname compute01
compute02
hostnamectl set-hostname compute02
快照--01初始系统(01 02 03)
04、消息队列服务及配置
作用
openstack项目内部组件之间采用远程通信机制RPC(Remote Procedure Call),而RPC采用的是消息队列MQ(Message Queue)来实现进程的通信。
消息队列与消息总线
通信方式
- 事件通知
- 远程过程调用(RPC)
支持队列
- RabbitMQ
- Qpid
- ZeroMQ
AMQP模型与原理
系统组成

生产者
消息的生产者。
消费者
消息的接收者。
交换器
根据消息的条件选择不同的接收者。
队列
暂时缓存到达消费者的消息。
服务器/代理
实现了AMQP的中间件服务,用来接收和分发消息。
绑定器
交换器和队列之间建立的虚拟连接。
虚拟主机
基于多租户和安全因素的考虑。
连接
生产者与代理之间的TCP连接。
信道
在连接内部建立的逻辑链接。
传递过程
产生
交换
交换器类型
- Direct
- Topic
- Fanout
- 缓存
通信机制
- 建立连接
- 建立信道
- 发送消息
- 转发消息
- 接收消息
- 确认消息
AMQP与openstack
优势
- 解耦
- 同步
- 均衡
RabbitMQ
用Erlang语言开发的AMQP的开源实现,提供了基于消息的通信服务和远程调用功能。
安装配置RabbitMQ
controller
安装
yum -y install rabbitmq-server
修改句柄数限制
openstack-config --set /usr/lib/systemd/system/rabbitmq-server.service Service LimitNOFILE 32768
启动
命令 / 配置示例
systemctl start rabbitmq-server
systemctl status rabbitmq-server
systemctl enable rabbitmq-server
添加用户
rabbitmqctl add_user openstack 123456
设置权限
命令 / 配置示例
rabbitmqctl set_user_tags openstack administrator
rabbitmqctl set_permissions openstack ".*" ".*" ".*"
rabbitmqctl set_permissions -p "/" openstack ".*" ".*" ".*"
启动web管理
命令 / 配置示例
rabbitmq-plugins enable rabbitmq_management
systemctl restart rabbitmq-server.service
systemctl enable rabbitmq-server.service
rabbitmq-plugins list
访问
C:\Windows\System32\drivers\etc\hosts
192.168.2.11 controller
- guest/guest
openstack/123456
03、数据库服务器及配置
关系型数据库
作用
保存云基础设施建立运行时的状态,如可用的虚拟机实例类型、正在使用的虚拟机实例、可用的网络和项目等。
openstack的内部个服务以及组件之间的交互。
选择
mysql
最流行的开源数据库,互联网行业首选!
mariadb
mysql的一个分支,由mysql源总裁离职后创建
推荐
postgresql
开源、免费
演示
systemctl status mariadb
cat /etc/my.cnf
安装配置
controller
安装
yum install -y mariadb mariadb-server python2-PyMySQL
配置
命令 / 配置示例
cat <<EOF > /etc/my.cnf.d/openstack.cnf
[mysqld]
bind-address = 0.0.0.0
default-storage-engine = innodb
innodb_file_per_table = on
max_connections = 4096
collation-server = utf8_general_ci
character-set-server = utf8
EOF
修改 /usr/lib/systemd/system/mariadb.service文件
命令 / 配置示例
openstack-config --set /usr/lib/systemd/system/mariadb.service Service LimitNOFILE 65535
openstack-config --set /usr/lib/systemd/system/mariadb.service Service LimitNOPROC 65535
- 如果不修改,max_connections参数不会生效
启动
命令 / 配置示例
systemctl start mariadb
systemctl status mariadb
systemctl enable mariadb
设置
mysql_secure_installation
开启root远程登录
命令 / 配置示例
mysql -uroot -p123456
use mysql;
update user set Host='%' where User='root' and Host='localhost' and user='root';
flush privileges;
exit
验证
命令 / 配置示例
mysql -uroot -p123456
exit;
NoSQL数据库
NoSQL 四种常见类型
键值(Key-Value)存储数据库
特点
这一类数据库主要会使用到一个哈希表,这个表中有一个特定的键和一个指针指向特定的数据。
举例
- redis
- memcached
- etcd
场景
内容缓存,主要用于处理大量数据的高访问负载,也用于一些日志系统等等。
优点
查找速度快。
缺点
数据无结构化,通常只被当作字符串或者二进制数据。
列存储数据库
特点
这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在,但是它们的特点是指向了多个列。
举例
Cassandra, HBase
场景
分布式的文件系统。
优点
查找速度快,可扩展性强,更容易进行分布式扩展。
缺点
功能相对局限。
文档型数据库
特点
文档型数据库的灵感是来自于 Lotus Notes 办公软件的,而且它同第一种键值存储相类似。
举例
MongoDB、CouchDB
场景
Web 应用
优点
数据结构要求不严格,表结构可变,不需要像关系型数据库一样需要预先定义表结构。
缺点
查询性能不高,而且缺乏统一的查询语法。
图形(Graph)数据库
特点
使用灵活的图形模型,并且能够扩展到多个服务器上。
举例
Neo4j, InfoGrid
场景
专注于构建关系图谱,社交网络,推荐系统等。
优点
利用图结构相关算法。比如最短路径寻址,N 度关系查找等。
缺点
很多时候需要对整个图做计算才能得出需要的信息,而且这种结构不太好做分布式的集群方案。
安装配置
controller
memcached
作用
各类服务的身份认证机制使用Memcached缓存令牌。缓存服务memecached通常运行在控制节点。在生产部署中,我们推荐联合启用防火墙、认证和加密保证它的安全。
安装
命令 / 配置示例
yum -y install memcached
yum -y install python-memcached
修改配置文件
命令 / 配置示例
cat <<EOF>/etc/sysconfig/memcached
PORT="11211"
USER="memcached"
MAXCONN="4096"
CACHESIZE="256"
OPTIONS="-l 127.0.0.1,::1,controller"
EOF
启动
命令 / 配置示例
systemctl restart memcached
systemctl enable memcached
systemctl status memcached
验证
netstat -atnp |grep 11211
redis
作用
计量服务ceilometer
安装
命令 / 配置示例
yum -y install redis
yum -y install python-redis
启动
命令 / 配置示例
systemctl restart redis
systemctl enable redis
systemctl status redis
etcd
介绍
etcd(Extended Distributed Key Value)是一个开源的分布式键值存储数据库,被广泛应用于云计算平台、容器编排平台、微服务和分布式系统等领域,用于存储和管理关键配置数据和元数据。
作用
官方推荐安装
安装
yum install -y etcd
配置
命令 / 配置示例
cat <<EOF>/etc/etcd/etcd.conf
#[Member]
#ETCD_CORS=""
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
#ETCD_WAL_DIR=""
ETCD_LISTEN_PEER_URLS="http://192.168.2.20:2380"
ETCD_LISTEN_CLIENT_URLS="http://192.168.2.20:2379"
#ETCD_MAX_SNAPSHOTS="5"
#ETCD_MAX_WALS="5"
ETCD_NAME="controller"
#ETCD_SNAPSHOT_COUNT="100000"
#ETCD_HEARTBEAT_INTERVAL="100"
#ETCD_ELECTION_TIMEOUT="1000"
#ETCD_QUOTA_BACKEND_BYTES="0"
#ETCD_MAX_REQUEST_BYTES="1572864"
#ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"
#ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"
#ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"
#
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.2.20:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.2.20:2379"
#ETCD_DISCOVERY=""
#ETCD_DISCOVERY_FALLBACK="proxy"
#ETCD_DISCOVERY_PROXY=""
#ETCD_DISCOVERY_SRV=""
ETCD_INITIAL_CLUSTER="controller=http://192.168.2.20:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-01"
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_STRICT_RECONFIG_CHECK="true"
ETCD_ENABLE_V2="true"
EOF
不能用主机名,用IP地址
启动
命令 / 配置示例
systemctl restart etcd
systemctl enable etcd
systemctl status etcd