1
0

手工部署openstack基础环境搭建

2026-11-02
手工部署openstack基础环境搭建

手动部署openstack基础环境搭建

环境

课程环境

组网

组网

01、模板机template制作

创建目录

手工部署

模板

template

控制节点

controller

计算节点

compute01 compute02

ceph存储

ceph01 ceph02 ceph03

系统安装

CPU勾选虚拟化

CPU勾选虚拟化

开启时间同步

开启时间同步

删除打印机和声卡

设置光盘镜像

设置光盘镜像

软件包

Development and Create Workstation
  • Addiional Development
  • Compatibility Libraries
  • Development Tools
  • Hardware Monitoring Utilities
  • Large Systems Performance
  • Legacy X Windows System Compatibility
  • Platform Development
  • System Administration Tools

分区

  • LVM自动配置
  • 删除home分区
  • swap 8192m
  • boot 2g
/ 修改逻辑卷名字vg00 大小100g

后期可以再扩

系统配置

配置网络

命令 / 配置示例

cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.251
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF
systemctl restart network

设置主机名

hostnamectl set-hostname template

配置解析

命令 / 配置示例

cat <<EOF>/etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
# openstack
192.168.2.20 controller
192.168.2.31 compute01
192.168.2.32 compute02
# cpeh-public
192.168.2.11 ceph01
192.168.2.12 ceph02
192.168.2.13 ceph03
# ceph-cluster
20.168.2.11 ceph01-cluster
20.168.2.12 ceph02-cluster
20.168.2.13 ceph03-cluster
# allinone
192.168.2.250 allinone
EOF

配置时区

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

时间同步

yum install -y chrony

关闭selinux

命令 / 配置示例

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0

关闭防火墙

命令 / 配置示例

systemctl disable firewalld.service
systemctl stop firewalld.service

关闭网络管理器

命令 / 配置示例

systemctl stop NetworkManager
systemctl disable NetworkManager

关闭默认的网络管理,和neutron有冲突。

设置文件句柄及其他参数

命令 / 配置示例

cat <<EOF>> /etc/sysctl.conf
##default 1
net.ipv4.tcp_syncookies = 1
##default 0
net.ipv4.tcp_tw_reuse = 1
##default 0
net.ipv4.tcp_tw_recycle= 1
##default 60
net.ipv4.tcp_fin_timeout = 30
##default 256
net.ipv4.tcp_max_syn_backlog = 4096
##default 32768 60999
net.ipv4.ip_local_port_range= 1024 65535
##default
net.core.somaxconn = 32768
EOF
sysctl -p

命令 / 配置示例

cat <<EOF>> /etc/security/limits.conf
* hard nofile 655360
* soft  nofile  655360
* hard noproc 655360
* soft noproc 655360
* hard   core 655360
* soft core 655360
EOF

句柄数

命令 / 配置示例

cat <<EOF>/etc/security/limits.d/20-nproc.conf
*      soft nproc unlimited
root soft nproc unlimited
EOF

开启CPU嵌套虚拟化

查看
cat /sys/module/kvm_intel/parameters/nested
  • 如果是N表示未开启

如果没这个目录文件,则表示该主机没有开启虚拟化。

设置

命令 / 配置示例

cat <<EOF> /etc/modprobe.d/kvm-nested.conf
options kvm_intel nested=1 ept=0 unrestricted_guest=0
EOF

重启生效

配置yum源

从阿里云下载yum 配置文件

命令 / 配置示例

cd /etc/yum.repos.d && mkdir backup && mv *.repo backup/
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
安装T版本文件
yum -y install centos-release-openstack-train

安装完毕后,会增加yum配置文件

  • CentOS-openstack-train.repo
  • CentOS-QEMU-EV.repo
  • CentOS-Ceph-Nautilus.repo
  • CentOS-Storage-common.repo
  • CentOS-NFS-Ganesha-28.repo
添加ceph-nautilus 源

命令 / 配置示例

cat <<EOF> /etc/yum.repos.d/ceph.repo
[ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64
enabled=1
gpgcheck=0

[ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=0

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=0
EOF
重新生成缓存
yum clean all && yum makecache

安装openstack客户端

yum install -y python-openstackclient

openstack-config工具

yum install -y openstack-utils

更新软件包

yum erase PyQt4-4.10.1-13.el7.x86_64 sip-4.14.6-4.el7.x86_64 -y

删掉冲突的包

yum upgrade -y

02、克隆配置虚拟机

更改MAC地址

按机器性能调整cpu、内存参数

controller、compute01、compute02

增加两块网卡

controller、compute01、compute02

controller、compute01、compute02

controller、compute01、compute02

增加硬盘

compute01、compute02

compute01、compute02 各增加一块50G 硬盘(用作cinder 存储)

配置网络

controller

命令 / 配置示例

cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.20
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens34
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens34
DEVICE=ens34
ONBOOT=yes
IPADDR=10.168.2.20
NETMASK=255.255.255.0
EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens36
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens36
DEVICE=ens36
ONBOOT=yes
IPADDR=20.168.2.20
NETMASK=255.255.255.0
EOF
systemctl restart network

compute01

命令 / 配置示例

cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.31
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens34
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens34
DEVICE=ens34
ONBOOT=yes
IPADDR=10.168.2.31
NETMASK=255.255.255.0
EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens36
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens36
DEVICE=ens36
ONBOOT=yes
IPADDR=20.168.2.31
NETMASK=255.255.255.0
EOF
systemctl restart network

compute02

命令 / 配置示例

cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.32
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens34
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens34
DEVICE=ens34
ONBOOT=yes
IPADDR=10.168.2.32
NETMASK=255.255.255.0
EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens36
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens36
DEVICE=ens36
ONBOOT=yes
IPADDR=20.168.2.32
NETMASK=255.255.255.0
EOF
systemctl restart network

ceph01

命令 / 配置示例

cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.11
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens35
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens35
DEVICE=ens35
ONBOOT=yes
IPADDR=20.168.2.11
NETMASK=255.255.255.0
EOF
systemctl restart network

ceph02

命令 / 配置示例

cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.12
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens35
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens35
DEVICE=ens35
ONBOOT=yes
IPADDR=20.168.2.12
NETMASK=255.255.255.0
EOF
systemctl restart network

ceph03

命令 / 配置示例

cat <<EOF>/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.2.13
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-ens35
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV6INIT=no
NAME=ens35
DEVICE=ens35
ONBOOT=yes
IPADDR=20.168.2.13
NETMASK=255.255.255.0
EOF
systemctl restart network

配置时间同步

chrony优势

  • 同步快
  • 响应快
  • 高稳定
  • 无轮询

配置

controller
vi /etc/chrony.conf  这里iburst如果一个标准的轮询没有应答,客户端会发送一定数量的包,而不是通常的包给NTP服务器,
server ntp.aliyun.com iburst
server ntp1.aliyun.com iburst
allow 192.168.2.0/24
allow 10.168.2.0/24
allow 20.168.2.0/24
local stratum 10
compute01、compute02

vi /etc/chrony.conf 指定时间同步服务器,这里采用阿里云时钟源。如果无外网,则指向本机主机名。

server controller iburst

开启启动

controller、compute01、compute02

命令 / 配置示例

systemctl enable chronyd.service
systemctl start chronyd.service

立即生效

systemctl restart chronyd.service

启用NTP 同步

命令 / 配置示例

timedatectl set-ntp yes
timedatectl status

验证

chronyc sources
manager(controller)

在 Name/IP address 列的内容应显示NTP服务器的主机名或者IP地址。在 S 列的内容应该在NTP服务目前同步的上游服务器前显示 *。

其他节点

在 Name/IP address 列的内容应显示控制节点的主机名。

配置主机名

controller

hostnamectl set-hostname controller

compute01

hostnamectl set-hostname compute01

compute02

hostnamectl set-hostname compute02

快照--01初始系统(01 02 03)

04、消息队列服务及配置

作用

openstack项目内部组件之间采用远程通信机制RPC(Remote Procedure Call),而RPC采用的是消息队列MQ(Message Queue)来实现进程的通信。

消息队列与消息总线

通信方式

  • 事件通知
  • 远程过程调用(RPC)

支持队列

  • RabbitMQ
  • Qpid
  • ZeroMQ

AMQP模型与原理

系统组成

系统组成

生产者

消息的生产者。

消费者

消息的接收者。

交换器

根据消息的条件选择不同的接收者。

队列

暂时缓存到达消费者的消息。

服务器/代理

实现了AMQP的中间件服务,用来接收和分发消息。

绑定器

交换器和队列之间建立的虚拟连接。

虚拟主机

基于多租户和安全因素的考虑。

连接

生产者与代理之间的TCP连接。

信道

在连接内部建立的逻辑链接。

传递过程

产生

交换

交换器类型

  • Direct
  • Topic
  • Fanout
  • 缓存

通信机制

  • 建立连接
  • 建立信道
  • 发送消息
  • 转发消息
  • 接收消息
  • 确认消息

AMQP与openstack

优势

  • 解耦
  • 同步
  • 均衡

RabbitMQ

用Erlang语言开发的AMQP的开源实现,提供了基于消息的通信服务和远程调用功能。

安装配置RabbitMQ

controller

安装
yum -y install rabbitmq-server
修改句柄数限制
openstack-config --set /usr/lib/systemd/system/rabbitmq-server.service  Service LimitNOFILE  32768
启动

命令 / 配置示例

systemctl start rabbitmq-server
systemctl status rabbitmq-server
systemctl enable rabbitmq-server
添加用户
rabbitmqctl add_user openstack 123456
设置权限

命令 / 配置示例

rabbitmqctl set_user_tags openstack administrator
rabbitmqctl set_permissions openstack ".*" ".*" ".*"
rabbitmqctl set_permissions -p "/" openstack ".*" ".*" ".*"
启动web管理

命令 / 配置示例

rabbitmq-plugins enable rabbitmq_management
systemctl restart rabbitmq-server.service
systemctl enable rabbitmq-server.service
rabbitmq-plugins list
访问

C:\Windows\System32\drivers\etc\hosts

192.168.2.11 controller

http://192.168.2.20:15672/

  • guest/guest
openstack/123456

03、数据库服务器及配置

关系型数据库

作用

保存云基础设施建立运行时的状态,如可用的虚拟机实例类型、正在使用的虚拟机实例、可用的网络和项目等。

openstack的内部个服务以及组件之间的交互。

选择

mysql

最流行的开源数据库,互联网行业首选!

mariadb

mysql的一个分支,由mysql源总裁离职后创建

推荐

postgresql

开源、免费

演示

systemctl status mariadb
cat /etc/my.cnf

安装配置

controller

安装

yum install -y mariadb mariadb-server python2-PyMySQL

配置

命令 / 配置示例

cat <<EOF >  /etc/my.cnf.d/openstack.cnf
[mysqld]
bind-address = 0.0.0.0
default-storage-engine = innodb
innodb_file_per_table = on
max_connections = 4096
collation-server = utf8_general_ci
character-set-server = utf8
EOF

修改 /usr/lib/systemd/system/mariadb.service文件

命令 / 配置示例

openstack-config --set /usr/lib/systemd/system/mariadb.service Service LimitNOFILE  65535
openstack-config --set /usr/lib/systemd/system/mariadb.service Service LimitNOPROC  65535
  • 如果不修改,max_connections参数不会生效

启动

命令 / 配置示例

systemctl start mariadb
systemctl status mariadb
systemctl enable mariadb

设置

mysql_secure_installation

开启root远程登录

命令 / 配置示例

mysql -uroot -p123456
use mysql;
update user set Host='%' where User='root' and Host='localhost' and user='root';
flush privileges;
exit

验证

命令 / 配置示例

mysql -uroot -p123456
exit;

NoSQL数据库

NoSQL 四种常见类型

键值(Key-Value)存储数据库

特点

这一类数据库主要会使用到一个哈希表,这个表中有一个特定的键和一个指针指向特定的数据。

举例

  • redis
  • memcached
  • etcd

场景

内容缓存,主要用于处理大量数据的高访问负载,也用于一些日志系统等等。

优点

查找速度快。

缺点

数据无结构化,通常只被当作字符串或者二进制数据。

列存储数据库

特点

这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在,但是它们的特点是指向了多个列。

举例

Cassandra, HBase

场景

分布式的文件系统。

优点

查找速度快,可扩展性强,更容易进行分布式扩展。

缺点

功能相对局限。

文档型数据库

特点

文档型数据库的灵感是来自于 Lotus Notes 办公软件的,而且它同第一种键值存储相类似。

举例

MongoDB、CouchDB

场景

Web 应用

优点

数据结构要求不严格,表结构可变,不需要像关系型数据库一样需要预先定义表结构。

缺点

查询性能不高,而且缺乏统一的查询语法。

图形(Graph)数据库

特点

使用灵活的图形模型,并且能够扩展到多个服务器上。

举例

Neo4j, InfoGrid

场景

专注于构建关系图谱,社交网络,推荐系统等。

优点

利用图结构相关算法。比如最短路径寻址,N 度关系查找等。

缺点

很多时候需要对整个图做计算才能得出需要的信息,而且这种结构不太好做分布式的集群方案。

安装配置

controller

memcached

作用

各类服务的身份认证机制使用Memcached缓存令牌。缓存服务memecached通常运行在控制节点。在生产部署中,我们推荐联合启用防火墙、认证和加密保证它的安全。

安装

命令 / 配置示例

yum -y install memcached
 yum -y install python-memcached

修改配置文件

命令 / 配置示例

cat <<EOF>/etc/sysconfig/memcached
PORT="11211"
USER="memcached"
MAXCONN="4096"
CACHESIZE="256"
OPTIONS="-l 127.0.0.1,::1,controller"
EOF

启动

命令 / 配置示例

systemctl restart memcached
systemctl enable memcached
systemctl status memcached

验证

netstat -atnp |grep 11211

redis

作用

计量服务ceilometer

安装

命令 / 配置示例

yum -y install redis
 yum -y install python-redis

启动

命令 / 配置示例

systemctl restart redis
systemctl enable redis
systemctl status redis

etcd

介绍

etcd(Extended Distributed Key Value)是一个开源的分布式键值存储数据库,被广泛应用于云计算平台、容器编排平台、微服务和分布式系统等领域,用于存储和管理关键配置数据和元数据。

作用

官方推荐安装

安装

yum install -y etcd

配置

命令 / 配置示例

cat <<EOF>/etc/etcd/etcd.conf
#[Member]
#ETCD_CORS=""
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
#ETCD_WAL_DIR=""
ETCD_LISTEN_PEER_URLS="http://192.168.2.20:2380"
ETCD_LISTEN_CLIENT_URLS="http://192.168.2.20:2379"
#ETCD_MAX_SNAPSHOTS="5"
#ETCD_MAX_WALS="5"
ETCD_NAME="controller"
#ETCD_SNAPSHOT_COUNT="100000"
#ETCD_HEARTBEAT_INTERVAL="100"
#ETCD_ELECTION_TIMEOUT="1000"
#ETCD_QUOTA_BACKEND_BYTES="0"
#ETCD_MAX_REQUEST_BYTES="1572864"
#ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"
#ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"
#ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"
#
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.2.20:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.2.20:2379"
#ETCD_DISCOVERY=""
#ETCD_DISCOVERY_FALLBACK="proxy"
#ETCD_DISCOVERY_PROXY=""
#ETCD_DISCOVERY_SRV=""
ETCD_INITIAL_CLUSTER="controller=http://192.168.2.20:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-01"
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_STRICT_RECONFIG_CHECK="true"
ETCD_ENABLE_V2="true"
EOF

不能用主机名,用IP地址

启动

命令 / 配置示例

systemctl restart etcd
systemctl enable etcd
systemctl status etcd

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!