个人站点

主线 · 第 2 / 6 篇

· 约 8 分钟

让服务一直在:关掉的进程为什么又起来了

服务器上的服务时在时不在:进程由谁拉起,开机自启和正在运行差在哪,Swap 能缓冲什么,日志为什么不会自己变小,Docker 又多了哪一层。

本文目录 7 节
  1. 进程是谁拉起来的
  2. 设了开机自启,不等于现在在运行
  3. 空闲内存少,不等于内存不够
  4. 日志不会自己变小
  5. Docker:多出来的一层管理
  6. 怎样才算服务在运行
  7. 参考资料

连上服务器以后,下一类问题出在服务上:关掉的进程又出现了;以为配好的服务,其实没在跑;机器越来越慢,连 SSH 都卡。这一篇讲服务靠什么活着,又为什么会消失。

进程是正在运行的程序。服务是长期在后台运行、等着处理请求的进程,比如网站后端、接口代理。大多数 Linux 服务器上,管理服务的是 systemd:开机时启动服务,服务退出后决定要不要拉起,服务的输出也由它的日志组件记下来。

进程是谁拉起来的

4 月初,一台机器内存紧张,我想关掉几个 QQ 相关的进程腾点空间。AI 结束掉以后,没过多久它们又出现在进程列表里。

每个进程都由另一个进程启动,长期运行的服务上面通常还有一层看管它的程序。systemd 是一种:服务单元里写了失败后重启,进程一退出就再启动一次。容器是另一种:容器的入口程序和重启策略,会把它管的进程重新拉起来。结束一个有人看管的进程,那一层只当它意外退出了,照规则再启动。

那次的进程属于一个 NapCat 容器。AI 找到并停掉这个容器,进程才不再出现,内存也降了下来。

容易误解的是,以为进程「杀不掉」是出了故障。有一层负责重启,正是服务该有的样子。要停一个服务,先问清谁启动了它、谁在它退出后拉起它,再停那一层。反过来也一样:4 月中旬,一个接口服务更新后循环重启,原因是服务单元里还写着旧的程序入口。仓库里有一份容器编排文件,但这台机器上实际由 systemd 运行它,最后改的是服务单元。先弄清谁在管它,才知道改动该落在哪里。

设了开机自启,不等于现在在运行

3 月初,一台小内存机器上,AI 为了省掉 Docker 的常驻开销,把一个服务从容器改成直接用 systemd 运行。我接着问:“如果重启后也不自动拉起 Docker,对项目本身运行是否会有影响?”AI 答不会,受影响的只是其他还靠容器运行的服务。

「部署好了」其实包含好几种状态:

  • 已安装:程序文件和服务单元都在机器上。
  • 已启动:进程此刻在运行。
  • 已启用:下次开机会自动启动。
  • 失败重启:进程退出后要不要再拉起。systemd 的 Restart= 默认是 no。
  • 健康:进程能正确处理请求。

启用和启动是两个独立的动作。systemctl 的手册写明,enable 只建立开机启动需要的链接,不会顺带启动服务;要立即启动,得加 --now,或者另外执行 start。Docker 也分两层:Docker 本身要不要开机启动归 systemd 管,在 Debian 和 Ubuntu 上默认开机启动;每个容器退出后要不要拉起,看容器自己的重启策略,默认不拉起。

5 月底给一台新机器装隧道程序时,我追问过一句:“开机自启做了吗”。那次启用和启动都做了。6 月初还是漏了一回:处理日志问题时停掉了一个服务,之后只执行了 enable,没有 start。两天后服务用不了,一查是「已启用、未运行」,要等下次开机才会起来。AI 也承认是上次收尾漏了启动。

容易误解的有两处。一是在进程列表里看到它,就以为服务没问题。进程可能卡住了,可能监听错了地址,也可能它依赖的后端已经不在。二是以为设了失败重启就没事。重启能应付偶尔的崩溃;启动条件一直不满足时,比如端口被别的进程占着,它会失败、重启、再失败。systemd 有启动频率限制,短时间内启动太多次就不再尝试,但这个限制按时间窗口计算,未必拦得住间隔较长的循环。后面那次日志写满,就是这样一个循环。

空闲内存少,不等于内存不够

3 月中旬接入一台新的云服务器时,我问 AI:“需不需要设置虚拟内存?”那时我手上的机器大多只有 1G 左右的内存。

虚拟内存有两种用法。严格说,它指操作系统给每个进程的一套独立地址空间,由内核映射到真实的内存上。日常说的「加虚拟内存」,指拿一块硬盘空间给内存当后备,Linux 上叫 Swap,Windows 上叫页面文件。我问的是后一种。

内存紧张时,内核可以丢掉一部分文件缓存,需要时再从硬盘读回;也可以把暂时不用的进程内存写进 Swap。内核参数 swappiness 表示这两种做法的相对代价,取值 0 到 200,100 表示代价相当,数值越低,内核越少用 Swap。所以看内存够不够,不能只看 free 命令里的 free 一列:Linux 会拿空闲内存缓存文件,这一列本来就偏小。更有用的是 available,也就是内核估算的、不换页就能给新程序用的内存,已经算上了能回收的缓存。

那台机器后来补了 Swap,重启后确认生效。5 月,另一台机器的页面间歇性返回 502,SSH 也变慢。AI 回报物理内存很小,换页、负载和 IO 等待都偏高,一个常驻的浏览器服务占了不少资源。要不要停它,我让 AI 先查清用途:“你最好先判断一下”。确认用不上才停,重启以后占用和负载都降了下来。

容易误解的有两处。一是把 Swap 当成多出来的内存。硬盘比内存慢得多,偶尔换出一点问题不大,一直换进换出,整台机器都会卡。内存彻底耗尽时,内核的 OOM killer 会按一套启发式规则挑一个进程结束掉,通常是占内存多的那个,看起来就是服务「突然没了」。Swap 能缓冲短时的峰值,代替不了真正的内存。我的两个项目跑在小内存机器上,数据库则放在云上的托管服务里,另一篇笔记写过这种分工。二是看到 502 就归到内存上。502 只说明代理或网关没能从后面的服务拿到有效响应。那次还有另一条线索:一个手动启动的进程已经退出,请求到了可能根本没有进程接收。

日志不会自己变小

6 月初,5 月那台机器的磁盘用到了九成以上,大部分是日志。我问:“为什么会这么多,而且不会自动清理吗”

服务器上的日志不止一处,清理规则各不相同。systemd 的日志由 journald 保存,默认上限是所在文件系统的 10%,最多 4G。/var/log 下的文本日志通常交给 logrotate,按天、按周或按大小把旧日志切出来、压缩,超过保留份数的删掉;logrotate 自己一般每天只运行一次。Docker 默认的 json-file 日志驱动不限大小,要自己设。

轮转是规则,不是硬上限。按周轮转的日志,一周之内长到多大都没人管;按大小轮转,也要等下一次运行才会切。写得够快,磁盘会先满。

那次就是这样。一个 5 月底手动启动的旧进程占着端口,新的服务实例每次启动都绑定失败、退出,几秒后再来一轮,每轮都以调试级别往系统日志里写一大段。系统日志按周轮转,不看大小,几天里涨到十几 G。处理办法是清掉超大的日志,结束旧进程,关掉调试输出,再给 journald 设容量限制,给系统日志的轮转加上按大小切分的条件。

容易误解的有两处。一是把磁盘满和内存不够混为一谈。磁盘满了,文件写不进去,服务可能起不来;内存不够,表现是换页变慢、进程被结束,排查方向不同。二是只清日志。日志暴涨是结果,原因是那个一直失败重启的服务,不停下这个循环,过几天磁盘还会满。

Docker:多出来的一层管理

这一节是资料整理。最早研究服务器时,我看过 Docker 一类的部署方式;机器上实际跑的容器,都是 AI 替我部署的。6 月我也说过:“之前的docker也是通过ai帮我完成的”。运行容器的那台机器,叫宿主机。

概念是什么对照直接用 systemd 运行
镜像打包好的程序和运行环境,只读装好的程序文件
容器镜像运行起来的实例,带一层自己的可写层一个正在运行的服务
卷和挂载把容器外的存储接进容器,删掉容器数据也还在服务的数据目录
端口映射把容器里的端口接到宿主机上服务直接监听宿主机的端口
compose用一个文件写清几个容器怎样一起启动几份服务单元和它们的依赖
重启策略容器退出后要不要拉起,默认不拉起服务单元里的 Restart=
日志默认写进宿主机上的 JSON 文件,不限大小journald,有默认上限

换成 Docker,前面几节的问题都还在:谁启动它,谁在它退出后拉起它,数据放在哪,日志有没有上限。Docker 在系统和程序之间多了一层管理,这一层本身也要有人管:systemd 启动 Docker,Docker 再管容器。

和我的经历对得上的,除了前面的 QQ 进程和 3 月那次改动,还有一处:8 月升级一个装在容器里的网页应用,第三方扩展不见了。扩展装在容器的可写层里,没有放进挂载的目录,容器一重建就没了。Docker 的文档写明,删除容器时可写层随之删除,卷里的数据不受影响。

容易误解的是把 Docker 和 systemd 看成谁比谁高级。两者解决的问题有重叠,取舍不同:小内存机器上,直接用 systemd 运行更省;需要隔离环境、整体搬到别的机器时,容器更方便。4 月我问正式部署用什么方式,“我是指比如docker之类的东西”,AI 建议第一版先用 systemd 加 Nginx,不上 Docker。

怎样才算服务在运行

这一阶段要分开的,是下面几件事:

  • 进程在,不等于服务能用,要看它能不能正确处理请求。
  • 启用管下次开机,启动管现在,两件事分别确认。
  • 进程关了又起来,先找管着它的那一层。
  • 看内存看 available,不看 free;Swap 是缓冲,不是多出来的内存。
  • 日志轮转是规则,不是上限;日志暴涨时,先找是谁在不停地写。
  • 502 只说明代理后面那一层出了问题,原因还要往下查。

服务稳定以后,下一个问题是外面的请求怎样进来。我的机器为了省钱去掉了公网 IPv4,靠的是一条隧道,见第 3 篇。

参考资料

本文涉及的知识点

11 个

名称打开知识图谱中的对应条目;「另见」只计已发布文章。