从「打不开」到「SSH 恢复」:一次服务器 IP 被墙的完整排查记录

今天早上打开自己的站点,白屏。一路查下去,最后确认是服务器 IP 被墙,但服务器本身活得好好的。修复过程中踩了几个坑,顺手还发现并解决了三个潜伏已久的问题,记录一下。

〇、结论先行

现象 实测结果 含义
ICMP ping 4/4 通,214ms,0 丢包 机器活着、路由可达
本地 TCP 22/80/443/8888 全部 connect timeout SYN 被丢,不是 reset
境外 8 节点测 443 全部 OK,0.01–0.33s 服务正常监听
对照组 github / cloudflare 443 通 本机出网没问题

「ICMP 放行 + TCP 全端口无响应」这个组合,基本就是 IP 级的 TCP 阻断。不是服务器挂了,不是防火墙配错,也不是 DNS 污染。

一、先分清是「墙」还是「坏」

很多人第一反应是重启服务器。这里必须先排除两种更常见的可能,再下结论。

1)是不是本机网络或代理的问题

查系统代理、查有没有 TUN 类工具劫持默认路由,再用其他境外站点做对照组:

terminal
# 系统代理是否开启
scutil --proxy | grep -i enable
# 是否有 utun 接口劫持了 IPv4 默认路由
netstat -rn | grep -E "^default|^0/1|^128.0/1"
# 对照组:其他境外站点能否建连
nc -z -G 6 github.com 443

结果本机代理全关、默认路由只走 en0,对照组正常。本机嫌疑排除。

2)是不是服务器自己出问题

从境外节点反查同一台机器的端口。这一步是关键,它能直接区分「服务器坏了」和「你这条路走不通」。

check-host.net
GET https://check-host.net/check-tcp?host=<你的IP>:443&max_nodes=8
# 等 10 秒取结果
GET https://check-host.net/check-result/<request_id>

德国、印尼、伊朗、葡萄牙、瑞典、土耳其、美国的节点全部连通,延迟 0.01–0.33 秒。又补测 22 和 80 端口,同样全通。

结论至此确定:服务器完全正常,sshd 和 nginx 都在跑,443 对全球开放。唯一不通的是「我这台机器 → 这个 IP」的 TCP 通路。这是被墙,不是故障。

二、先止血:把全站挂到 CDN 后面

域名本来就托管在 Cloudflare,只是 A 记录一直是灰云(直连源站)。把记录改成橙云(Proxied)后,访客访问的是 CF 的边缘节点,源站 IP 只在 CF 回源时暴露——而 CF 是从境外回源的,不受这条阻断影响。

记录多的时候别在后台手点,直接调 API 批量改:

batch-open-proxy.py
# 列出全部 A 记录,逐条打开橙云
GET  /client/v4/zones/{zone}/dns_records?type=A&per_page=100
PATCH /client/v4/zones/{zone}/dns_records/{id}
     {"proxied": true}

17 条 A 记录一次性全开。改完必须逐个域名验状态码,尤其是看有没有 CF 的 52x 系列错误——出现了说明 CF 连不上源站,通常是源站没开 443 或证书不匹配。

顺带一个容易被误判的点:401、404、405、501 这些是源站应用对根路径的正常响应,不是 CF 故障。只有 52x/53x 才是回源失败。

三、想 SSH 进去,三条路全堵死

网站虽然恢复了,但服务器处于「只能看不能管」的状态,这很危险。挨个试了三条路:

路径 结果 卡在哪
SSH 22 不通 IP 被阻断
云厂商 Run Command 不可用 Agent 从未启动,插件全 STOPPED
实例串口控制台 连不上 通道建到 ACTIVE,但实例端未启用

串口那条路的两个细节

第一,创建连接时公钥类型必须是 RSA,用 ed25519 会直接报 Invalid ssh public key type。第二,私钥如果有 passphrase,非交互脚本里根本用不了,必须先造一个无密码的。

serial-console.sh
# 必须 RSA,且私钥无 passphrase
ssh-keygen -t rsa -b 4096 -f /tmp/console_key -N ""
# 建连接,拿 connection-string
oci compute instance-console-connection create \
  --instance-id <实例OCID> \
  --ssh-public-key-file /tmp/console_key.pub
# 连过去(串口走 443,不受墙影响)
ssh -i /tmp/console_key \
  -o ProxyCommand="ssh -i /tmp/console_key -W %h:%p -p 443 \
  <连接OCID>@instance-console.ap-singapore-1.oci.oraclecloud.com" \
  <实例OCID>@instance-console.ap-singapore-1.oci.oraclecloud.com

通道本身通了——能看到厂商的欢迎横幅,说明域名和 443 都正常。但最后一步报 channel 0: open failed: connect failed: Unable to establish connection,意思是实例那侧的串口服务没开。这条路需要机器内部预先配置,救不了「进不去」的场。

四、换 IP:为什么不能停实例

剩下的办法只有换 IP。这里有个必须避开的大坑。

绝对不要用「停止实例再启动」来换 IP。免费 ARM 实例(A1.Flex)停机后大概率因为容量不足起不来,那就真死了。正确做法是走公网 IP 的 API,实例始终在线。

另外要分清两种 IP:

类型 特点 适合
Ephemeral 临时,删了就没了,无法预建 默认分配
Reserved 可预先申请、随时绑定解绑 换 IP 用这个

用 Reserved 的好处是下次想再换,只要申请一个新的再切绑定,不用碰实例。切换流程只有三步:

switch-ip.sh
# 1. 删掉临时 IP(注意参数是 --public-ip-id,不是 address)
oci network public-ip delete --public-ip-id <旧IP的OCID> --force
# 2. 把预留 IP 绑到实例的私有 IP
oci network public-ip update --public-ip-id <预留IP的OCID> \
  --private-ip-id <私有IP的OCID>
# 3. 批量改 DNS 记录的 content 字段
PATCH /client/v4/zones/{zone}/dns_records/{id} {"content":"<新IP>","proxied":true}

这里踩了一个小坑:delete 和 update 只认 --public-ip-id,不认 --public-ip-address,第一次跑直接报参数不存在。建议先在脚本里做一步「读取 → 断言拿到 OCID → 再操作」,别硬编码。

换完后实测:ping 226ms 零丢包,TCP 22/80/443 全部建连成功,SSH 直接恢复。整个过程停了不到两分钟,实例一秒都没重启。

五、进去之后,发现三个潜伏的问题

1)App 的更新地址写死了旧 IP

这是最要命的一个。两个 App 的 OTA 配置里,APK 下载地址是硬编码的 IP:

update.json
// 改前
"apkUrl": "http://161.x.x.x/release/latest.apk"
// 改后:走域名,以后换 IP 不用再动它
"apkUrl": "https://momo.7998888.xyz/release/latest.apk"

如果没发现这个,用户点「检查更新」会一直卡在下载失败。改完做了端到端验证:接口返回新地址,两个 APK 分别 27.8MB 和 10MB,全部 200。

2)nginx 一直在读备份文件当配置

nginx.conf 里是 include sites-enabled/* 通配加载,而那个目录里混进了 6 个 .bak-* 备份文件——备份一直被当配置读,所以 nginx -t 每次刷十几条 conflicting server name 警告。全部挪到 sites-backup/ 之后,配置检查零警告。

教训:备份文件不要放在被 include * 通配匹配的目录里。要么改扩展名,要么放到同级另一个目录。

3)云助手装了但从来没启动过

之前远程执行命令失败的根因找到了:包是装着的,但服务从未 enable。把它启动并升级到最新版后,Run Command 插件才真正可用。以后就算 IP 再被封,也能直接通过云 API 下发命令,不依赖 SSH。

agent-fix.sh
sudo snap start oracle-cloud-agent
sudo snap refresh oracle-cloud-agent
snap services oracle-cloud-agent   # 期望 enabled + active

升级前插件列表里根本没有 Run Command 这一项,升级后才出现并变成 RUNNING。这说明旧版本压根不支持这个能力,不是配置问题。

六、这次的检查清单

以后再遇到「网站打不开」,按这个顺序走,能省很多时间:

  1. 先 ping 域名 → 通不通,判断是 DNS 问题还是网络问题
  2. 如果 ping 通但 TCP 不通 → 基本就是 TCP 层阻断,别再折腾服务器
  3. 用境外节点测端口,确认服务端是否真的活着
  4. 立刻把站点切到 CDN 橙云止血,先把用户能访问这件事解决
  5. 再单独解决管理通道(换 IP / 隧道 / 云 API),别把两件事混在一起
  6. 进去之后,顺手检查硬编码 IP、配置文件目录卫生、辅助服务是否真的在跑

七、写在最后

这轮折腾最大的收获不是「换了 IP」,而是想清楚了一件事:把站点挂在 CDN 后面,等于把「IP 是否可用」从业务里解耦出去。源站 IP 成了纯粹的内部细节,被封了换一个就行,用户完全无感。

另外就是那句老话:别急着重启。这次如果上来就重启实例,可能就再也起不来了。先分清「墙」和「坏」,方向对了,剩下的都是执行细节。

文中涉及的 IP、OCID、密钥均已脱敏处理,命令中的占位符请替换为你自己的值。

© 版权声明
THE END
喜欢就支持一下吧
点赞5 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容