openstack网络服务(Neutron服务)
介绍
openstack云计算平台提供的云主机只能存在于网络中,因此网络是云主机工作的必要环境。
Neutron是openstack云计算平台的核心组件之一,负责虚拟网络设备的创建和管理。这些虚拟的网络设备包括网桥、网络、端口等。
nova_network--------Quantum--------neutron(H)
linux虚拟网络
网络虚拟化
传统物理网络

虚拟化网络

虚拟网桥

虚拟局域网

vlan端口配置模式
- 接入(Access)
- 中继(Trunk)
开放虚拟交换机

openstack网络服务基础
网络结构

- 外部网络
- 内部网络
- 路由器
常见术语
网桥(Bridge)
网桥类似于交换机,用于连接不同的网络设备。Neutron把网桥分为内部网桥(bridge- internal,br-int)和外部网桥(bridge-external,ex-int)两类。内部网桥即实现内部网络功能的网桥。外部网桥即负责跟外部网络通信的网桥。
网络(Network)
一个隔离的二层网段,类似于一个虚拟局域网(Virtual Local Area Network,VLAN)。网络之间是隔离的,不同网络中的IP地址可以重复。子网和端口都挂接在某个网络上。
子网(Subnet)
子网是一个IPv4 或者 IPv6 地址段。子网中的云主机的IP地址从该地址段中进行分配。子网必须关联一个网络。网络与子网是一对多关系,一个子网只能属于某个网络;一个网络可以有多个子网。
端口(Port)
端口可以看作虚拟交换机上的一个端口。端口上定义了硬件物理地址(MAC地址)和IP地址,当云主机的虚拟网卡(Virtual Interface,VIF)绑定到某个端口时,端口就会将MAC地址和IP地址分配给虚拟网卡。子网与端口是一对多关系,一个端口必须属于某个子网;一个子网可以有多个端口。
Underlay与Overlay
Underlay
Underlay 网络是负责传递数据包的物理网络,由交换机和路由器等设备组成,借助以太网协议、路由协议和VLAN协议等驱动。Underlay的所有网络组件都必须通过使用路由协议来确定 IP 连接。
Overlay
Overlay 是使用网络虚拟化在物理基础设施之上建立连接的逻辑网络。与UnderLay网络相比,Overlay实现了控制平面与转发平面的分离,这也是SDN的核心理念。
网络拓扑类型
Local
Local网络与其他网络和节点隔离。Local 网络中的 instance 只能与位于同一节点上同一网络的 Instance 通信,主要用于单机测试。
Flat
Flat 网络是无 VLAN tagging 的网络。Flat 网络中的虚拟机能与位于同一网络的虚拟机通信,并且可以跨多个节点。
所有的云主机都在同一个网络内,没有进行网络隔离,容易产生广播风暴。而且每台虚拟机都要用到宝贵的局域网IP地址资源,这就注定Flat网络模式的网络中能容纳的云主机数量不会太多。
vlan
VLAN是一种将局域网(Local Area Network,LAN)设备从逻辑上划分成更小的局域网。VLAN网络模块是指将若干云主机按逻辑划分属于不同的VLAN,此时只有同一个VLAN中的虚拟机可以相互访问。
同一 Vlan 中的 instance 可以通信,不同 vlan 只能通过 router 通信,可以有效避免Flat网络模式中的广播风暴问题。vlan 网络可跨节点,是应用最广泛的网络类型。
无法适应大规模的网络

共享同一个物理网络的多个VLAN是相互隔离的,不同的VLAN默认不能相互访问,因此可以有效避免Flat网络模式中的广播风暴问题。如图物理网络“ens34.101”“ens34.102”中的“101”“102”被称为“VLAN ID”,用于标注不同的网络。“VLAN ID”的有效值为0~4095,其中0和4095一般被保留不用,所以最多能标识4094个网络,故VLAN网络模式无法满足公有云超大规模用户的需求,只在私有云中应用较多。
vxlan
Vxlan 是基于隧道技术的 overlay 网络网络。Vxlan 网络通过唯一的 segmentation ID(也叫 VNI)与其他 Vxlan 网络区分。vxlan 中数据包会通过 VNI 封装成 UDP 包进行传输。因为二层的包通过封装在三层传输,能够克服 VLAN 和物理网络基础设施的限制。
支持更多网段

都是建立在隧道技术上的网络模型,只是VXLAN构建的隧道是“VXLAN Tunnel”,而GRE构建的隧道是“GRE Tunnel”。与VLAN相比,VXLAN与GRE支持更多的网段。VXLAN与GRE可以支持的网段数超过1600万,因此它们更适合用于公有云。
GRE
是与 Vxlan 类似的一种 overlay 网络。主要区别在于使用 IP 包而非 UDP 进行封装。
GRE的隧道两端的源IP地址和目的IP地址定义,它允许用户使用IP封装IP等协议,并支持全部的路由协议。
GENEVE
通用网络虚拟封装,仅定义封装数据格式,尽可能实现数据格式的弹性和拓展性。
基本架构

外部请求
使用neuron的应用程序
neutron-server
Neutron的服务模块,对外提供openstack网络API,接收请求,并调用插件处理请求
- 层次架构

network privider
提供openstack网络服务的虚拟或物理网络服务
- linux Bridge
- open vswitch
- 支持neutron的物理交换机
database
默认使用mariadb,存放openstack的网络状态信息
- 网络
- 子网
- 端口
- 路由器
neutron-plugin
Neutron的插件对应某个具体功能,各个厂商可以开发自己的插件放入Neutron中。插件做的事情主要有两件:在数据库中创建资源和发送请求给具体的“neutron-agent”
neutron-agent
Neutron的代理可以理解为插件在物理设备上的对应代理,插件要实现具体功能必须要通过代理。代理接收到“neutron-plugin”通知的业务操作和参数,然后在网络提供者(如一块真实的网卡)上实现各种网络功能,如创建网络、子网、网桥等。当设备发生问题时,“neutron-agent”会将情况通知给“neutron-plugin”
工作流程

01
“neutron-server”服务模块收到要创建虚拟网络的请求,然后将该请求通过消息队列通知给对应的“neutron-plugin”插件,假设网络提供者为开放虚拟交换机(Open vSwitch,OVS),那么这里的插件对应的就是OVS的插件。
02
当OVS插件收到请求后,将需要创建的虚拟网络的信息(名称、ID等)保存到数据库中并通过消息队列通知运行在各个节点上的 “neutron-agent”代理。
03
“neutron-agent”代理收到消息后会在节点上创建对应设备,例如VLAN设备。
网络分层模型
核心组件
Neutron中的核心插件即为二层模块(Modular Layer 2,ML2),它负责管理OSI第二层的网络连接。ML2中主要包括网络、子网、端口这3类核心资源。在Neutron服务中必须包括核心插件,因此在Neutron配置文件中必须配置ML2,否则无法启动Neutron服务。
服务组件
服务插件是除核心插件以外其他的插件的统称,主要实现OSI模型的第三层到第七层的网络服务。与核心插件不同的是,服务插件通常不会影响Neutron服务运行,因此在Neutron的配置文件中可以不用配置此类插件的信息。
插件由neutron-server的Core Plugin API和Extension Plugin API调用,用于确定具体的网络功能。
代理处理插件转发的请求,负责在网络提供者上真正实现各种网络功能。
插件、代理与网络提供者配合使用。
物理部署
方案一:控制节点与计算节点
控制节点
neutron-server(API)、Core Plugin、Service Plugin
计算节点
Core Plugin、linux Bridge或者Open vSwitch代理
方案二:控制节点与网络节点
控制节点
neutron-server(API)
网络节点
Core Plugin、Service Plugin
插件、代理与服务
层次结构图

ML2插件
问题
- 多种网络提供者无法共存
- 开发插件的工作量大
产生
从H版开始实现了一个插件ML2(Moduler Layer 2),旨在取代所有的Core Plugin,允许在openstack网络中同时使用多种二层网络技术,不同的节点可以使用不同的网络实现机制。
框架

类型驱动(Type Manager)
neutron支持的每一种网络类型都有一个对应的ML2类型驱动。
机制驱动(Mechanism Manager)
neutron支持的每一种网络机制都一个对应的ML2机制驱动。
拓展资源
- 端口绑定(Port Bindings)
- 安全组(Security Group)
Linux Bridge代理
含义
成熟可靠的neutron二层网络虚拟化技术
- local
- flat
- vlan
- vxlan
将一台主机上多个网卡桥接起来,充当一台交换机。
用于桥接的虚拟网卡的是TAP接口,在逻辑上与物理接口具有相同的功能,可以接收和发送数据包。
设备
Tap接口
用于桥接虚拟机网卡,命名tapxxxx
Linux网桥
二层交换机,命名brqxxxx
vlan接口
在vlan网络中用于连接网桥,命名ethx.y
vxlan接口
在vxlan网络用于连接网桥,命名vxlan-z
物理网络接口
用于连接到物理网络。
架构
flat

vlan

Open vSwitch代理
与Linux Bridge相比,OVS具有集中监控功能,性能更加优化,支持更多功能。
- local
- flat
- vlan
- vxlan
- GRE
- GENEVE
设备
TAP设备
命名tapxxxx
Linux网桥
命名qbrxxxx
VETH对(VETH Pair)
- qvbxxxx
- qvoxxxx
OVS网桥
br-int
OVS PATCH端口
- int-br-ethx
- phy-br-ethx
OVS物理连接网桥
flat、vlan
br-ethx
其他
br-tun
物理网络接口
ethx
DHCP代理
实现实例启动过程中能够从neutron提供的DHCP服务自动获得IP地址。
组件
- DHCP代理
- DHCP驱动
- DHCP代理调度器
任务
定期报告DHCP代理的网络状态。
启动dnsmasq进程,检测qdhcp-xxx名称空间中的ns-xxx端口接收到的DHCP的discover请求。
工作机制
L3代理
虚拟网络类型
提供者网络

自服务网络

网络管理
网络
创建
openstack network create
--h
显示帮助信息
--enable
启用网络
--disable
禁用网络
--enable-port-security
启用端口安全
--disable-port-security
禁用端口安全
--share
设置网络为共享网络
--no-share
设置网络为非共享网络
--availability-zone-hint
设置网络可用域
--external
设置网络为外部网络
--internal
设置网络为内部网络
默认
--provider-network-type
网络类型,包括Flat、GRE、Local、VLAN、VXLAN这几类网络
--provider-physical-network
实现虚拟网络的物理网络的名称
--privider-segment
- VLAN的网络VLAN ID
- GENEVE/GRE/VXLAN的隧道ID
举例
openstack network create --share --external --provider-physical-network provider --provider-network-type flat vm-network
创建一个“Flat”类型的共享外部网络,名为“vm-network”。
修改
openstack network set
举例
openstack network set --name new-vnet --no-share vm-network
修改网络的名称并将其更改为非共享网络
openstack network set --name vm-network --share new-vnet
显示
openstack network list
列表
openstack network show
单个网络的详细信息
删除
openstack network delete
子网
创建
openstack subnet create
--h
显示帮助信息
--project
当前项目,输入项目名或项目ID
--subnet-range
子网的IP网段
--dhcp
启用DHCP为云主机自动分配IP地址
--no-dhcp
不使用DHCP
--allocation-pool<start=,end=>
DHCP分配的IP地址池,用“start”代表起始地址,“end”代表结束地址。
--gateway
设置网关
--dns-nameserver
配置DNS服务器地址
--network
子网属于的网络
举例
openstack subnet create --network vm-network --allocation-pool start=192.168.20.100,end=192.168.20.200 --dns-nameserver 114.114.114.114 --subnet-range 192.168.20.0/24 vm-subnetwork
为网络“vm-network”创建一个名为“vm-subnetwork”的子网,该子网拥有“192.168.20.0/24”网段,并为云主机自动分配“192.168.20.100”到“192.168.20.200”之间的IP地址,同时设置DNS服务器地址为“114.114.114.114”
修改
openstack subnet set
举例
openstack subnet set --name new-subvnet --gateway 192.168.20.2 vm-subnetwork
修改子网的名称并设定网关值为“192.168.20.2”
显示
openstack subnet list
openstack subnet show
删除
openstack subnet delete
端口
创建
openstack port create
--h
显示帮助信息
--network
端口属于的网络
--fixed-ip subnet=,ip-address=
为端口绑定IP地址。“subnet”表示子网,“ip-address”表示IP地址
--enable
启用端口
--disable
禁用端口
--enable-port-security
启用端口安全设置
--disable-port-security
禁用端口安全设置
举例
openstack port create --network vm-network --fixed-ip subnet=vm-subnetwork,ip-address=192.168.20.120 myport
为网络“vm-network”的“my_subnet”子网创建一个绑定了IP地址“192.168. 20.120”的端口,取名为“myport”。
修改
openstack port set
显示
openstack port list
openstack port show
删除
openstack port delete
手工部署
规划
ens33
外部网络(在openstack 术语中,外部网络常被称之为Provider 网络)。同时也用作管理网络,便于测试访问,生产环境建议分开。
ens34
租户网络,即vxlan 网络
ens36
ceph 集群网络
网络环境准备(所有节点)
设置外网网卡为混杂模式
设置
ifconfig ens33 promisc
查看
ip a
自启
命令 / 配置示例
cat <<EOF>>/etc/profile
ifconfig ens33 promisc
EOF
修改内核配置文件/etc/sysctl.conf,确保系统内核支持网桥过滤器
命令 / 配置示例
cat <<EOF>>/etc/sysctl.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF
添加网桥过滤器,并设置开机加载
命令 / 配置示例
modprobe br_netfilter
sysctl -p
sed -i '$amodprobe br_netfilter' /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local
controller
安装软件包
命令 / 配置示例
yum install -y openstack-neutron
yum install -y openstack-neutron-ml2
yum install -y openstack-neutron-linuxbridge
yum install -y ebtables
yum install -y ipset
openstack-neutron
neutron-server模块的包
openstack-neutron-ml2
ML2插件包
openstack-neutron-linuxbridge
网桥和网络提供者相关软件包。
默认已经安装
ebtables
以太网桥防火墙,以太网桥工作在数据链路层(MAC层),ebtables主要过滤数据链路层数据包,ebtables能过滤桥接流量。ebtables每个阶段的过滤时机都比iptables早。
ipset
ip set 是linux内核的一个内部框架, 可由ipset工具管理,ip set 可以分为以下几种类型:ip地址, 网路地址(网段),tcp/udp 端口号, mac地址, 网卡名称。或者是上述类型的组合,并保证快速的匹配。
创建数据库并授权
命令 / 配置示例
mysql -uroot -p123456
CREATE DATABASE neutron;
GRANT ALL PRIVILEGES ON neutron.* TO 'neutron'@'localhost' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON neutron.* TO 'neutron'@'%' IDENTIFIED BY '123456';
flush privileges;
exit
配置 neutron配置文件
flat
DEFAULT
命令 / 配置示例
openstack-config --set /etc/neutron/neutron.conf DEFAULT core_plugin ml2
openstack-config --set /etc/neutron/neutron.conf DEFAULT service_plugins
openstack-config --set /etc/neutron/neutron.conf DEFAULT transport_url rabbit://openstack:123456@controller
openstack-config --set /etc/neutron/neutron.conf DEFAULT auth_strategy keystone
openstack-config --set /etc/neutron/neutron.conf DEFAULT notify_nova_on_port_status_changes true
openstack-config --set /etc/neutron/neutron.conf DEFAULT notify_nova_on_port_data_changes true
database
openstack-config --set /etc/neutron/neutron.conf database connection mysql+pymysql://neutron:123456@controller/neutron
keystone_authtoken
命令 / 配置示例
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_url http://controller:5000
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken memcached_servers controller:11211
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_type password
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_domain_name default
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken user_domain_name default
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_name service
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken username neutron
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken password 123456
没有
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken www_authenticate_uri http://controller:5000
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken token_cache_time 3600
oslo_concurrency
openstack-config --set /etc/neutron/neutron.conf oslo_concurrency lock_path /var/lib/neutron/tmp
nova
命令 / 配置示例
openstack-config --set /etc/neutron/neutron.conf nova auth_url http://controller:5000
openstack-config --set /etc/neutron/neutron.conf nova auth_type password
openstack-config --set /etc/neutron/neutron.conf nova project_domain_name default
openstack-config --set /etc/neutron/neutron.conf nova user_domain_name default
openstack-config --set /etc/neutron/neutron.conf nova project_name service
openstack-config --set /etc/neutron/neutron.conf nova username nova
openstack-config --set /etc/neutron/neutron.conf nova password 123456
openstack-config --set /etc/neutron/neutron.conf nova region_name RegionOne
openstack-config --set /etc/neutron/neutron.conf nova server_proxyclient_address 192.168.2.20
增加
server_proxyclient_address=192.168.2.20
汇总
命令 / 配置示例
openstack-config --set /etc/neutron/neutron.conf DEFAULT core_plugin ml2
openstack-config --set /etc/neutron/neutron.conf DEFAULT service_plugins
openstack-config --set /etc/neutron/neutron.conf DEFAULT transport_url rabbit://openstack:123456@controller
openstack-config --set /etc/neutron/neutron.conf DEFAULT auth_strategy keystone
openstack-config --set /etc/neutron/neutron.conf DEFAULT notify_nova_on_port_status_changes true
openstack-config --set /etc/neutron/neutron.conf DEFAULT notify_nova_on_port_data_changes true
openstack-config --set /etc/neutron/neutron.conf database connection mysql+pymysql://neutron:123456@controller/neutron
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_url http://controller:5000
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken memcached_servers controller:11211
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_type password
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_domain_name default
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken user_domain_name default
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_name service
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken username neutron
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken password 123456
openstack-config --set /etc/neutron/neutron.conf oslo_concurrency lock_path /var/lib/neutron/tmp
openstack-config --set /etc/neutron/neutron.conf nova auth_url http://controller:5000
openstack-config --set /etc/neutron/neutron.conf nova auth_type password
openstack-config --set /etc/neutron/neutron.conf nova project_domain_name default
openstack-config --set /etc/neutron/neutron.conf nova user_domain_name default
openstack-config --set /etc/neutron/neutron.conf nova project_name service
openstack-config --set /etc/neutron/neutron.conf nova username nova
openstack-config --set /etc/neutron/neutron.conf nova password 123456
openstack-config --set /etc/neutron/neutron.conf nova region_name RegionOne
openstack-config --set /etc/neutron/neutron.conf nova server_proxyclient_address 192.168.2.20
service_plugins 默认为空,如果值是router 表示支持路由模式,即vxlan
vxlan
DEFAULT
命令 / 配置示例
openstack-config --set /etc/neutron/neutron.conf DEFAULT core_plugin ml2
openstack-config --set /etc/neutron/neutron.conf DEFAULT service_plugins router
openstack-config --set /etc/neutron/neutron.conf DEFAULT transport_url rabbit://openstack:123456@controller
openstack-config --set /etc/neutron/neutron.conf DEFAULT auth_strategy keystone
openstack-config --set /etc/neutron/neutron.conf DEFAULT notify_nova_on_port_status_changes true
openstack-config --set /etc/neutron/neutron.conf DEFAULT notify_nova_on_port_data_changes true
openstack-config --set /etc/neutron/neutron.conf DEFAULT allow_overlapping_ips true
service_plugins 默认为空,如果值是router 表示支持路由模式,即vxlan
- allow_overlapping_ips 允许每个项目都可以构建相同的IP
database
openstack-config --set /etc/neutron/neutron.conf database connection mysql+pymysql://neutron:123456@controller/neutron
keystone_authtoken
命令 / 配置示例
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_url http://controller:5000
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken memcached_servers controller:11211
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_type password
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_domain_name default
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken user_domain_name default
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_name service
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken username neutron
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken password 123456
没有
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken www_authenticate_uri http://controller:5000
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken token_cache_time 3600
oslo_concurrency
openstack-config --set /etc/neutron/neutron.conf oslo_concurrency lock_path /var/lib/neutron/tmp
nova
命令 / 配置示例
openstack-config --set /etc/neutron/neutron.conf nova auth_url http://controller:5000
openstack-config --set /etc/neutron/neutron.conf nova auth_type password
openstack-config --set /etc/neutron/neutron.conf nova project_domain_name default
openstack-config --set /etc/neutron/neutron.conf nova user_domain_name default
openstack-config --set /etc/neutron/neutron.conf nova project_name service
openstack-config --set /etc/neutron/neutron.conf nova username nova
openstack-config --set /etc/neutron/neutron.conf nova password 123456
openstack-config --set /etc/neutron/neutron.conf nova region_name RegionOne
openstack-config --set /etc/neutron/neutron.conf nova server_proxyclient_address 192.168.2.20
增加
server_proxyclient_address=192.168.2.20
汇总
命令 / 配置示例
openstack-config --set /etc/neutron/neutron.conf DEFAULT core_plugin ml2
openstack-config --set /etc/neutron/neutron.conf DEFAULT service_plugins router
openstack-config --set /etc/neutron/neutron.conf DEFAULT transport_url rabbit://openstack:123456@controller
openstack-config --set /etc/neutron/neutron.conf DEFAULT auth_strategy keystone
openstack-config --set /etc/neutron/neutron.conf DEFAULT notify_nova_on_port_status_changes true
openstack-config --set /etc/neutron/neutron.conf DEFAULT notify_nova_on_port_data_changes true
openstack-config --set /etc/neutron/neutron.conf DEFAULT allow_overlapping_ips true
openstack-config --set /etc/neutron/neutron.conf database connection mysql+pymysql://neutron:123456@controller/neutron
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_url http://controller:5000
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken memcached_servers controller:11211
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_type password
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_domain_name default
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken user_domain_name default
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_name service
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken username neutron
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken password 123456
openstack-config --set /etc/neutron/neutron.conf oslo_concurrency lock_path /var/lib/neutron/tmp
openstack-config --set /etc/neutron/neutron.conf nova auth_url http://controller:5000
openstack-config --set /etc/neutron/neutron.conf nova auth_type password
openstack-config --set /etc/neutron/neutron.conf nova project_domain_name default
openstack-config --set /etc/neutron/neutron.conf nova user_domain_name default
openstack-config --set /etc/neutron/neutron.conf nova project_name service
openstack-config --set /etc/neutron/neutron.conf nova username nova
openstack-config --set /etc/neutron/neutron.conf nova password 123456
openstack-config --set /etc/neutron/neutron.conf nova region_name RegionOne
openstack-config --set /etc/neutron/neutron.conf nova server_proxyclient_address 192.168.2.20
配置/etc/neutron/plugins/ml2/ml2_conf.ini
flat
ml2
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 type_drivers flat
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 tenant_network_types
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 mechanism_drivers linuxbridge
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 extension_drivers port_security
ml2_type_flat
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_flat flat_networks provider
securitygroup
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini securitygroup enable_ipset true
汇总
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 type_drivers flat
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 tenant_network_types
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 mechanism_drivers linuxbridge
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 extension_drivers port_security
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_flat flat_networks provider
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini securitygroup enable_ipset true
vxlan
ml2
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 type_drivers flat,vlan,vxlan
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 tenant_network_types vxlan
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 mechanism_drivers linuxbridge,l2population
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 extension_drivers port_security
ml2_type_flat
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_flat flat_networks provider
ml2_type_vlan
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_vlan network_vlan_ranges provider
ml2_type_vxlan
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_vxlan vni_ranges 1:3000
租户内网VXLAN ID取值范
securitygroup
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini securitygroup enable_ipset true
汇总
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 type_drivers flat,vlan,vxlan
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 tenant_network_types vxlan
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 mechanism_drivers linuxbridge,l2population
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 extension_drivers port_security
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_flat flat_networks provider
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_vlan network_vlan_ranges provider
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_vxlan vni_ranges 1:3000
openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini securitygroup enable_ipset true
初始化创建网络
ln -s /etc/neutron/plugins/ml2/ml2_conf.ini /etc/neutron/plugin.ini
配置Agent.ini文件
flat
linux_bridge
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini linux_bridge physical_interface_mappings provider:ens33
vxlan
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan enable_vxlan false
securitygroup
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup enable_security_group true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup firewall_driver neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
汇总
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini linux_bridge physical_interface_mappings provider:ens33
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan enable_vxlan false
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup enable_security_group true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup firewall_driver neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
vxlan
linux_bridge
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini linux_bridge physical_interface_mappings provider:ens33
vxlan
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan enable_vxlan true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini local_ip 10.168.2.20
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan l2_population true
securitygroup
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup enable_security_group true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup firewall_driver neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
汇总
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini linux_bridge physical_interface_mappings provider:ens33
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan enable_vxlan true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan local_ip 10.168.2.20
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan l2_population true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup enable_security_group true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup firewall_driver neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
修改dhcp_agent.ini 文件,配置DHCP 代理
配置Linux网桥接口驱动程序Dnsmasq DHCP驱动程序,并启用独立元数据,以便提供商网络上的实例可以通过网络访问元数据
命令 / 配置示例
openstack-config --set /etc/neutron/dhcp_agent.ini DEFAULT interface_driver linuxbridge
openstack-config --set /etc/neutron/dhcp_agent.ini DEFAULT dhcp_driver neutron.agent.linux.dhcp.Dnsmasq
openstack-config --set /etc/neutron/dhcp_agent.ini DEFAULT enable_isolated_metadata true
修改/etc/neutron/metadata_agent.ini 文件,配置元数据代理
命令 / 配置示例
openstack-config --set /etc/neutron/metadata_agent.ini DEFAULT nova_metadata_host controller
openstack-config --set /etc/neutron/metadata_agent.ini DEFAULT metadata_proxy_shared_secret METADATA_SECRET
配置元数据主机和共享秘钥
配置/etc/nova/nova.conf文件
命令 / 配置示例
openstack-config --set /etc/nova/nova.conf neutron auth_url http://controller:5000
openstack-config --set /etc/nova/nova.conf neutron auth_type password
openstack-config --set /etc/nova/nova.conf neutron project_domain_name default
openstack-config --set /etc/nova/nova.conf neutron user_domain_name default
openstack-config --set /etc/nova/nova.conf neutron region_name RegionOne
openstack-config --set /etc/nova/nova.conf neutron project_name service
openstack-config --set /etc/nova/nova.conf neutron username neutron
openstack-config --set /etc/nova/nova.conf neutron password 123456
openstack-config --set /etc/nova/nova.conf neutron service_metadata_proxy true
openstack-config --set /etc/nova/nova.conf neutron metadata_proxy_shared_secret METADATA_SECRET
修改/etc/neutron/l3_agent.ini 文件,配置layer-3 代理(flat无需配置)
命令 / 配置示例
openstack-config --set /etc/neutron/l3_agent.ini DEFAULT interface_driver linuxbridge
openstack-config --set /etc/neutron/l3_agent.ini DEFAULT external_network_bridge
配置Linuxbridge 接口驱动和外部网络网桥
同步neutron 数据库
su -s /bin/sh -c "neutron-db-manage --config-file /etc/neutron/neutron.conf \
--config-file /etc/neutron/plugins/ml2/ml2_conf.ini upgrade head" neutron
验证
命令 / 配置示例
mysql -uroot -p123456
use neutron ;
show tables;
exit
一共172张表
创建neutron用户、角色授权、网络服务
source /root/admin-openrch.sh
openstack user create --domain default --password 123456 neutron
将neutron添加到service项目并授予admin角色
openstack role add --project service --user neutron admin
创建Neutron 服务实体
openstack service create --name neutron --description "openstack Networking" network
创建neutron网络服务的API端点(endpoint)
命令 / 配置示例
openstack endpoint create --region RegionOne network public http://controller:9696
openstack endpoint create --region RegionOne network internal http://controller:9696
openstack endpoint create --region RegionOne network admin http://controller:9696
启动并开机自启相关网络服务
flat
命令 / 配置示例
systemctl restart openstack-nova-api
systemctl enable neutron-server
systemctl enable neutron-linuxbridge-agent
systemctl enable neutron-dhcp-agent
systemctl enable neutron-metadata-agent
systemctl restart neutron-server
systemctl restart neutron-linuxbridge-agent
systemctl restart neutron-dhcp-agent
systemctl restart neutron-metadata-agent
vxlan
命令 / 配置示例
systemctl restart openstack-nova-api
systemctl enable neutron-server
systemctl enable neutron-linuxbridge-agent
systemctl enable neutron-dhcp-agent
systemctl enable neutron-metadata-agent
systemctl restart neutron-server
systemctl restart neutron-linuxbridge-agent
systemctl restart neutron-dhcp-agent
systemctl restart neutron-metadata-agent
systemctl enable neutron-l3-agent
systemctl restart neutron-l3-agent
验证
端口
netstat -tnlup|grep 9696
检查服务端点
curl http://controller:9696/
服务状态
systemctl status neutron-server
日志
查看三个网络组件的日志
tail -f /var/log/neutron/linuxbridge-agent.log
查看Metadata agent组件的日志信息
tail -f /var/log/neutron/metadata-agent.log
查看DHCP agent组件的日志信息
tail -f /var/log/neutron/dhcp-agent.log
compute01、compute02
安装软件包
命令 / 配置示例
yum install -y openstack-neutron-linuxbridge
yum install -y ebtables
yum install -y ipset
配置neutron.conf 文件
DEFAULT
命令 / 配置示例
openstack-config --set /etc/neutron/neutron.conf DEFAULT transport_url rabbit://openstack:123456@controller:5672
openstack-config --set /etc/neutron/neutron.conf DEFAULT auth_strategy keystone
keystone_authtoken
命令 / 配置示例
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_url http://controller:5000
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken memcached_servers controller:11211
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_type password
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_domain_name default
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken user_domain_name default
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_name service
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken username neutron
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken password 123456
oslo_concurrency lock_path
openstack-config --set /etc/neutron/neutron.conf oslo_concurrency lock_path /var/lib/neutron/tmp
汇总
命令 / 配置示例
openstack-config --set /etc/neutron/neutron.conf DEFAULT transport_url rabbit://openstack:123456@controller:5672
openstack-config --set /etc/neutron/neutron.conf DEFAULT auth_strategy keystone
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_url http://controller:5000
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken memcached_servers controller:11211
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_type password
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_domain_name default
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken user_domain_name default
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_name service
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken username neutron
openstack-config --set /etc/neutron/neutron.conf keystone_authtoken password 123456
openstack-config --set /etc/neutron/neutron.conf oslo_concurrency lock_path /var/lib/neutron/tmp
配置/etc/neutron/plugins/ml2/linuxbridge_agent.ini文件
flat
为实例建立layer-2 虚拟网络并且处理安全组规则,并将Flat 网络和外部物理业务网络接口对应起来
linux_bridge
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini physical_interface_mappings provider:ens33
vxlan
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini enable_vxlan false
securitygroup
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup enable_security_group true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup firewall_driver neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
汇总
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini physical_interface_mappings provider:ens33
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini enable_vxlan false
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup enable_security_group true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup firewall_driver neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
vxlan
compute01
linux_bridge
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini physical_interface_mappings provider:ens33
vxlan
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan enable_vxlan true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan local_ip 10.168.2.31
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan l2_population true
securitygroup
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup enable_security_group true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup firewall_driver neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
汇总
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini linux_bridge physical_interface_mappings provider:ens33
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan enable_vxlan true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan local_ip 10.168.2.31
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan l2_population true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup firewall_driver neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup enable_security_group true
local_ip 要修改成计算节点实际用于vxlan IP。
provider 网络使用的是ens33 网口,部署时根据实际情况调整,provider 网络可以理解为能与外部互联网相通的网络,后面在创建Flat 类型网络时物理
网络--provider-physical-network 要指定是provider。
compute02
命令 / 配置示例
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini linux_bridge physical_interface_mappings provider:ens33
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan enable_vxlan true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan local_ip 10.168.2.32
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini vxlan l2_population true
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup firewall_driver neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
openstack-config --set /etc/neutron/plugins/ml2/linuxbridge_agent.ini securitygroup enable_security_group true
配置/etc/nova/nova.conf文件
default
命令 / 配置示例
openstack-config --set /etc/nova/nova.conf default vif_plugging_is_fatal false
openstack-config --set /etc/nova/nova.conf default vif_plugging_timeout 0
neutron
命令 / 配置示例
openstack-config --set /etc/nova/nova.conf neutron auth_url http://controller:5000
openstack-config --set /etc/nova/nova.conf neutron auth_type password
openstack-config --set /etc/nova/nova.conf neutron project_domain_name default
openstack-config --set /etc/nova/nova.conf neutron user_domain_name default
openstack-config --set /etc/nova/nova.conf neutron region_name RegionOne
openstack-config --set /etc/nova/nova.conf neutron project_name service
openstack-config --set /etc/nova/nova.conf neutron username neutron
openstack-config --set /etc/nova/nova.conf neutron password 123456
汇总
命令 / 配置示例
openstack-config --set /etc/nova/nova.conf default vif_plugging_is_fatal false
openstack-config --set /etc/nova/nova.conf default vif_plugging_timeout 0
openstack-config --set /etc/nova/nova.conf neutron auth_url http://controller:5000
openstack-config --set /etc/nova/nova.conf neutron auth_type password
openstack-config --set /etc/nova/nova.conf neutron project_domain_name default
openstack-config --set /etc/nova/nova.conf neutron user_domain_name default
openstack-config --set /etc/nova/nova.conf neutron region_name RegionOne
openstack-config --set /etc/nova/nova.conf neutron project_name service
openstack-config --set /etc/nova/nova.conf neutron username neutron
openstack-config --set /etc/nova/nova.conf neutron password 123456
启动并开机启动Linux网桥代理服务
命令 / 配置示例
systemctl restart openstack-nova-compute
systemctl enable neutron-linuxbridge-agent
systemctl start neutron-linuxbridge-agent
controller验证
openstack network agent list
命令 / 配置示例
openstack network agent list
+--------------------------------------+--------------------+------------+-------------------+-------+-------+---------------------------+
| ID | Agent Type | Host | Availability Zone | Alive | State | Binary |
+--------------------------------------+--------------------+------------+-------------------+-------+-------+---------------------------+
| 5de7f648-6bdf-4403-8018-ad4889a898ff | Linux bridge agent | controller | None | :-) | UP | neutron-linuxbridge-agent |
| 62320ef0-1e3d-4255-87ae-0eee57ea7de8 | Metadata agent | controller | None | :-) | UP | neutron-metadata-agent |
| 7c9e8262-515d-4368-8851-c496d5175edb | L3 agent | controller | nova | :-) | UP | neutron-l3-agent |
| f4444cbf-20eb-48b4-a633-4061ed402234 | DHCP agent | controller | nova | :-) | UP | neutron-dhcp-agent |
+--------------------------------------+--------------------+------------+-------------------+-------+-------+---------------------------+
[root@controller ~]#
- neutron-status upgrade check