8
0

Linux 的内存管理与监控

2026-08-18
2026-08-19
Linux 的内存管理与监控

1、物理内存与虚拟内存

物理内存就是系统硬件提供的内存大小,是真正的内存,相对于物理内存,在linux下还有一个虚拟内存的概念,虚拟内存就是为了满足物理内存的不足而提出的策略,它是利用磁盘空间虚拟出的一块逻辑内存,用作虚拟内存的磁盘空间被称为交换空间(Swap Space)。

linux的内存管理采取的是分页存取机制,为了保证物理内存能得到充分的利用,内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中,而将经常使用的信息保留到物理内存。Linux操作系统会进行页面交换操作,保持尽可能多的空闲物理内存。Linux进行页面交换是有条件的,不是所有页面在不用时都交换到虚拟内存。

交换空间的页面在使用时会首先被交换到物理内存,如果此时没有足够的物理内存来容纳这些页面,又会被马上交换出去,如此以来,虚拟内存中可能没有足够空间来存储这些交换页面,可能导致linux出现假死机(假死机: 内核处理运行态,但是上层业务或者命令交互等卡死)、服务异常等问题。出现如下假死机症状需要考虑内存问题:

1. free -h:Mem 几乎用完,Swap 100% 占用

2. vmstat:si、so 持续很高(频繁换入换出)

3. SSH 能连上,但敲命令卡顿,ls、top 要等十几秒甚至几十秒才输出

4. kill -9 生效极慢,甚至感觉杀不掉进程

5. OOM killer 迟迟不触发

出现这些问题,考虑原因是存不够,大量进程内存往 Swap 写、又从 Swap 读,磁盘 IO 被内存置换占满,所有程序都被拖慢,也有可能是开发的原因导致内存问题。

2. 系统内存监控

排查命令简单使用free -m

[root@centos-1 ~]# free -m 
              total        used        free      shared  buff/cache   available
Mem:           7261         163        6843          11         253        6812
Swap:          5119           0        5119
[root@centos-1 ~]# 

得到主要数据:

total 7261 MB 物理总内存约 7.1 GB

available 6812 MB 可立即分配给应用的内存

Swap used 0k swapd 未触发回收,无换页行为

buff/cache 253 MB 页面缓存极少

由于buff/cache的机制,从内核和应用两个角度看,可用内存是不一样的。

从内核角度看: 内核认为系统当前空闲内存为 7261 - 163 = 6843 MB(total - used = free),已使用 163 MB

从应用角度看: 应用层实际可支配内存为 6843 + 253 = 7096 MB(free + buff/cache)

buff/cache 是文件页缓存,内核在应用需要时可以随时回收,对应用来说等同于可用

3. buffers与cached的异同

  1. 本质都是内核缓存,为减少磁盘 IO、提升读写性能而设,都属于 "可回收内存",内存紧张时可被 kswapd 回收给应用

  2. 都不计入应用真实内存占用

  3. 都基于页或块管理

为了匹配CPU/内存/磁盘三者的速度,进程写入数据时先走红色路径,将数据暂存到内存的 buffer 中攒批,再由内核批量刷入磁盘,起到缓冲写入、减少 IO 次数的作用;而读取数据时走黄色路径,磁盘内容先被载入内存的 cache,CPU 后续重复读取时直接命中缓存,避免再次访问慢速磁盘,起到加速读取的作用。

buffers与cached都是内存操作,用来保存系统曾经打开过的文件以及文件属性信息,这样当操作系统需要读取某些文件时,会首先在buffers与cached内存区查找,如果找到,直接读出传送给应用程序,如果没有找到需要数据,才从磁盘读取,这就是操作系统的缓存机制,通过缓存,大大提高了操作系统的性能,但buffers与cached缓冲的内容却是不同的。

  1. buffers表示块设备(block device)所占用的缓存页(page cache),包括直接读写块设备、以及文件系统元数据(metadata)如SuperBlock所使用的缓存页.

  2. cached表示普通文件所占用的缓存页(page cache),cached把读取过的数据保缓存起来,重新读取时若命中(找到需要的数据)就不要去读硬盘了,若没有命中就读硬盘。其中的数据会根据读取频率进行组织,把最频繁读取的内容放在最容易找到的位置,把不经常读取的内容不断往后排,直至从内存中消失。

  3. 简单总结区别: buffers 管 "磁盘块和文件系统元数据"—— 记住" 块 "和" 元数据 "。cached 管 "文件内容"—— 记住" 文件数据页 "。cached的重要性远大于buffers,大量的IO场景和内存占用都是走cache,直接影响系统性能。Cache(缓存),为了调高CPU和内存之间数据交换而设计,Buffer(缓冲)为了提高内存和硬盘之间的写操作。buffer把分散的写操作集中进行,减少磁盘碎片和硬盘的反复寻道,从而提高系统性能。

4.手动释放cache

  1. 释放page cache:

echo 1 > /proc/sys/vm/drop_caches

  1. 释放文件节点(inodes)缓存和目录项缓存(dentries),大部分缓存数据都是用的page cache

echo 2 > /proc/sys/vm/drop_caches

  1. 释放page cache、dentries和inodes缓存:

echo 3 > /proc/sys/vm/drop_caches

在手动释放内存前,需要使用sync指令,将所有未写的系统缓冲区写到磁盘中,包含已修改的 i-node、已延迟的块 I/O 和读写映射文件。否则在释放缓存的过程中,可能会丢失未保存的文件。生产环境中,无特殊情况,一般只会只使用到第一条的释放。在Linux系统内部有一个守护进程,会定期清空Buffer中的内容,将其写入硬盘内,当手动执行sync命令时也会触发上述操作。

5.创建swap交换空间

创建交换空间所需的交换文件是一个普通的文件,但是,创建交换文件与创建普通文件不同,必须通过dd命令来完成,同时这个文件必须位于本地硬盘上,不能在网络文件系统(NFS)上创建swap交换文件。例如:

[root@centos-1 ~]# dd if=/dev/zero of=/data/swapfile bs=1024 count=65536
65536+0 records in
65536+0 records out

if=输入文件,或者设备名称。

of=输出文件或者设备名称。

ibs=bytes 表示一次读入bytes 个字节(即一个块大小为 bytes 个字节)。

obs=bytes 表示一次写bytes 个字节(即一个块大小为 bytes 个字节)。

bs=bytes,同时设置读写块的大小,以bytes为单位,此参数可代替 ibs 和 obs。

count=blocks 仅拷贝blocks个块。

激活和使用swap

首先通过mkswap命令指定作为交换空间的设备或者文件:

[root@localhost ~]#mkswap  /data/swapfile
[root@localhost ~]#/usr/sbin/swapon /data/swapfile

6.swap的优化

swappiness的值的大小对如何使用swap分区是有着很大的联系的。swappiness=0的时候表示最大限度使用物理内存,然后才是 swap空间,swappiness=100的时候表示积极的使用swap分区,并且把内存上的数据及时的搬运到swap空间里面。

linux的基本默认设置为60或者30,具体如下:

cat /proc/sys/vm/swappiness

也就是说,你的内存在使用到100-60=40%的时候,就开始出现有交换分区的使用。操作系统层面,要尽可能使用内存,对该参数进行调整。

临时调整的方法如下,调成10:

sysctl vm.swappiness=10

要想永久调整的话,需要将在/etc/sysctl.conf修改,加上:

cat /etc/sysctl.conf

vm.swappiness=10

7.内存不足时,系统回收内存

  1. 脏页面写回:脏页面指内存中已被修改但尚未写入磁盘的数据, vm.dirty_ratio 控制脏页占内存的最大比例, vm.dirty_background_ratio 设置自动触发回写的阈值,内存紧张时会加速将脏页刷回磁盘以释放空间

  2. 页面缓存清理:Page Cache 虽然能加快文件读取,但会占用大量物理内存,内存不足时内核会通过 LRU(最近最少使用)算法淘汰不再频繁访问的缓存页

  3. 使用交换分区:若 Page Cache 释放后仍不够,内核会将不常用的内存页换出到 swap 分区,频繁 swap 会因大量磁盘 IO 导致性能下降,可通过 vm.swappiness 调节交换倾向

  4. OOM Killer:当上述手段都无法回收足够内存时,OOM Killer 启动,它基于进程的 OOM 分数选择占用内存较多的进程终止,通常优先杀掉内存占用过大的后台进程,以保障系统整体存活

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!