返回目录
排障 · 2026.03.18
磁盘打满之后,按这个顺序看
先分清是空间满了还是 inode 满了,再找大目录和已删除仍被占用的文件。
告警通常只有一句:磁盘使用率超过 90%。这时候最有用的不是立刻删文件,而是用两条命令把问题拆开。
df -hT
df -i
df -hT 看容量和文件系统类型。df -i 看 inode。小文件特别多时,容量可能还剩很多,inode 却已经用完,表现同样是无法创建文件。
确认是空间问题后,从挂载点往下看一层,避免一上来对整盘做深度扫描:
du -xh -d 1 /var | sort -h
常见的大户是 /var/log、/var/lib/docker 和某个应用自己的数据目录。定位到目录之后再往下加一层,而不是全盘 du。
还有一种情况:du 看到的占用,和 df 对不上。文件已经删除,但进程仍拿着文件描述符,空间就不会释放。
lsof +L1
输出里 SIZE/OFF 很大、名字带 (deleted) 的,就是这类文件。处理方式是让对应进程重新打开日志,或在确认影响后重启该进程。只删文件名不会让空间回来。
容器环境再补看一眼 docker system df。json-file 日志没有 max-size 时,单个容器日志就能把分区写满。
清理之后把原因记下来:是日志轮转没配,是备份文件堆在同一块盘,还是删除后句柄没释放。下一次告警可以直接从记录的那一层开始。
· · ·
返回目录
Nginx · 2026.02.11
反代超时,先分清 502 和 504
连接失败、读超时、写超时不是同一个指令。把三个 timeout 一起调大,通常只是把问题藏起来。
用户看到的是“网关错误”。先看 Nginx 返回的状态码,再决定看哪一段配置。
- 502:连不上上游,或上游返回了 Nginx 无法理解的响应。进程没起来、端口错了、上游中途断开,都常见。
- 504:连接已经建立,但在等待上游时超时。
和 504 直接相关的是这三项,默认大多是 60 秒:
location /api/ {
proxy_pass http://app_upstream;
proxy_connect_timeout 5s;
proxy_send_timeout 30s;
proxy_read_timeout 60s;
}
proxy_connect_timeout:和上游建立连接的时间。这个值应该短,连不上就尽快失败。
proxy_send_timeout:把请求体发给上游时,两次写操作之间的间隔上限。
proxy_read_timeout:从上游读响应时,两次读操作之间的间隔上限。长接口、导出、等待上游计算,超时多半出在这里。
只把 proxy_read_timeout 改成 300 秒,不能替代上游本身变慢的原因。先看上游日志里的耗时,再决定这个接口该异步,还是该放宽这一处超时。
改完用 nginx -t 检查,再 reload。错误日志里的 upstream timed out 和 connect() failed 能对上上面的区分,就不用再靠猜。
· · ·
返回目录
日志 · 2026.01.09
让 journald 留下上一轮启动的日志
机器重启之后,内存里的日志就没了。要复盘宕机前发生了什么,存储得落到磁盘上。
先看当前日志放在哪里、占了多少:
journalctl --disk-usage
cat /etc/systemd/journald.conf
Storage=auto 时,如果 /var/log/journal 不存在,日志只留在内存里,重启即失。改成持久化:
sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
# /etc/systemd/journald.conf
[Journal]
Storage=persistent
SystemMaxUse=200M
然后执行 sudo systemctl restart systemd-journald。之后可以用上一轮启动的日志做复盘:
journalctl -b -1 -p err
journalctl -b -1 --since "1 hour ago"
-b -1 是上一次启动,-p err 只看错误及以上。磁盘配额用 SystemMaxUse 封顶,避免日志本身把分区写满。这和上一篇是连着的:持久化之后,仍然要限制体积。
· · ·
返回目录
容器 · 2025.12.02
容器时间和宿主机对不上
日志差八小时,多半不是时钟坏了,而是容器里仍是 UTC。
先在宿主机和容器里各看一次:
date
docker exec app date
timedatectl
两边的绝对时刻如果一致,只是时区显示不同,时钟就是好的。国内环境里,容器默认 UTC、宿主机是 Asia/Shanghai,日志看起来会正好差 8 小时。
应用只在这一个容器里跑、又必须按本地时间写文件时,可以明确指定时区:
environment:
TZ: Asia/Shanghai
更稳妥的做法是日志里使用 UTC,或带上时区偏移。展示和告警在查询时再换成本地时间。这样换机器、跨区域排障时,时间线不会被各容器自己的时区拆开。
不要为了对齐显示去改宿主机时区。宿主机保持 UTC,需要本地时间的容器单独声明 TZ,边界更清楚。
· · ·
返回目录
发布 · 2025.10.20
健康检查不要只返回 200
存活和就绪是两件事。存活探针去连数据库,会把一次短暂抖动变成重启循环。
很多服务只有一个 /health,里面依次检查数据库、缓存和下游接口,最后一律返回 200。探针一失败,编排系统就重启容器。数据库慢几秒,服务会被反复打死。
拆成两个接口:
/live:进程还在、事件循环没卡死就返回 200。不要访问外部依赖。
/ready:依赖可用、初始化完成,才返回 200。否则返回 503,让负载均衡把这台摘掉,但不要重启它。
livenessProbe:
httpGet:
path: /live
port: 8080
periodSeconds: 10
readinessProbe:
httpGet:
path: /ready
port: 8080
periodSeconds: 5
发布时也靠就绪探针:新实例 /ready 成功后再接流量,旧实例先从负载里摘掉再退出。只有一个永远返回 200 的地址,滚动更新就看不出“进程活着但还不能接请求”。
· · ·
返回目录
备份 · 2025.09.04
备份脚本写完,先做一次恢复
能导出文件不算备份。在一套空环境里还原成功,这条链路才算通。
定时任务绿了,只说明导出命令退出码是 0。文件可能是空的,权限可能读不回来,版本也可能和当前数据库对不上。所以验收要放在恢复上。
一条最小的检查可以是:
- 把备份拷到另一台机器,或另一个目录,避免和线上数据混在一起。
- 在空库里执行还原。
- 跑一条事先写好的校验:表数量、某张表的行数,或一条业务上说得通的查询。
- 把这次恢复花了多久记下来。这就是当前能承诺的恢复时间。
# 示例:确认备份文件不是空的,再记录体积
test -s /backup/app-$(date +%F).sql
ls -lh /backup/app-$(date +%F).sql
保留几天、放在哪块盘,都要在至少成功恢复过一次之后再定。同一块已经告警的磁盘上堆备份,会和日志一起把分区写满。
脚本旁边留三行说明就够:备份命令、恢复命令、上次成功恢复的日期。三个月后再看,不用从 cron 里把流程重新猜一遍。
· · ·