我是从淘宝的一个普通店铺购买的NVIDIA DGX Spark (GB10 Grace Blackwell) , 本来选的另外一家31899元, 结果付款前看到另一家便宜了500块, 只要31399,对比了一下淘宝上大批这类卖家, 谁便宜就买谁的了, 反正这东西还比较新, 也造不了假。如果当时能等到618还能再便宜900块。
是否先让AI帮忙列个文章提纲来写？？？但本着原创的精神, 打算自己一个字一个字的写一篇人类味的分享。
by 技术奇客ITGeeker.net
艰难的大模型选择
买了黄仁勋送给马斯克的小金砖， 首先想到的是跑什么本地大模型呢？
总以为128G统一内存， 总能跑个特别大的模型吧， 至少也要个100G， 现实很快就会让你觉得很骨感， kv cache， context, 并发等等各种吃内存的存在， 还会发现就算是100G左右的开源可本地部署的大模型似乎也不多。
1. 用什么工具来部署本地大模型
- Ollama
- llama.cpp
- vLLM
- SGLang
这是我尝试过的几个比较有名的工具， 其它的当然还有很多。
Ollama使用最简单， 直接去 https://ollama.com/search 选择一个模型, 然后
# 启动大模型
ollama run qwen3.8:27b
# 启动opencode并使用刚才的大模型
ollama launch opencode --model qwen3.8
# 跑个龙虾和骏马
ollama launch openclaw --model qwen3.8
ollama launch hermes --model qwen3.8非常简单, 但也有很多限制, 官方打包提供的模型也不是那么多.
如果想折腾和尝试其它的更多的各个机构发布的开源模型、量化版模型、或越狱版模型， 那么就绕不开llama.cpp， vLLM这些工具， SGLang据说比较适合企业级部署, 适配多显卡的模式， 技术奇客ITGeeker.net用它部署过Qwen3.8 27B， 可参考这个脚本试试:
Qwen3.8 27B on SGLang for DGX Spark
一看名称就知道专为NVIDIA DGX Spark (GB10 Grace Blackwell) 优化的, 不过跑出来速度也就30 tokens/s左右.
2. 我用过的模型和当前的本地主力大模型
太多了, Ollama速度不快, 但中规中矩, 当前还装着的:
ollama list
qwen3.8:27b
muse-glimmer:30b-bf16-dflash
nemotron-3.5ightning:latest
gemma4:e4b
qwen3:8b
ornith:35b-bf16
llama4:16x17b
deepseek-coder:33b
qwen3-vl:latest
gpt-oss:120b
gemma4:12b
nomic-embed-text:latest
gemma4:31b
nemotron-3-super:120b
qwen3-coder-next:latest
qwen3.6:35bOllama的好处是运行完之后会自动释放内存和显存, 可以留更多的空间跑ComfyUi或则其它模型.
如果通过谷歌搜索, 它会告诉你NVIDIA DGX Spark (GB10 Grace Blackwell) 跑量化模型就是带NVFP4的模型最快, 然后推荐用Nvidia官方vLLM Docker来跑最合适, 其实也不然的, 这些量化的组织各不相同, HuggingFace上的模型又太多, 尝试过很多, 也都不理想.
当前主力模型:
by 技术奇客ITGeeker.net
vLLM跑的Qwen_Qwen3.6-35B-A3B-FP8
50-70 tokens/s
# 启动 vLLM 服务
echo "正在启动 vLLM 服务: ${MODEL_NAME}..."
VLLM_USE_DEEP_GEMM=0 \
VLLM_FLASHINFER_MOE_BACKEND=latency \
TORCHINDUCTOR_AUTOTUNE_MAX_ONLY=0 \
VLLM_MEMORY_PROFILER_ESTIMATE_CUDAGRAPHS=0 \
vllm serve "${MODEL_PATH}" \
--tensor-parallel-size 1 \
--served-model-name "${MODEL_NAME}" \
--max-model-len 131072 \
--max-num-seqs 4 \
--kv-cache-dtype fp8 \
--gpu-memory-utilization 0.55 \
--block-size 16 \
--enable-chunked-prefill \
--max-num-batched-tokens 4096 \
--enable-prefix-caching \
--attention-backend flashinfer \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder用的pip install vllm安装的vllm, 也没用nVidia官网优化版的Docker vLLM, 尝试过很多次, 官方优化版本未必跑的就快。
Hermes 接入后运行也比较快速和顺畅。显存占有在50-70G左右， 不像Ollama会自动释放,占比虽然有点高， 除了跑ComfyUI文生图之类的， 还可以Ollama跑个小模型， 所以还是比较适合，至少还没有OOM.
用的Qwen官方HuggingFace的FP8模型：
找其它NVFP4版应该能省下一半显存， 如果用FP16的全精度版， 显存则会占用多一半， 这也就为什么说NVIDIA DGX Spark (GB10 Grace Blackwell) 用不了真正的大模型了，显存永远都不够。 NVFP4据说会损失一些精度， 能力会有所削弱， 官方的FP8版据说几乎没有损失， 这可能也是为什么技术奇客ITGeeker.net把它当做主力本地大模型的原因吧
3. 尝鲜Qwen3.8 27B新模型
Qwen2026年8月刚开放的大模型， 因为只有27B， 尝试了上面提到的所有四种部署方式， 最后发现最快的竟然是Ollama和SGLang， 能达到30token/s.
vLLM部署后尝试了各种参数， 都只有7-9token/s每秒左右， 而且占用显存100G以上，很是奇怪， 只能说不同的模型要用不同的马车拉吧， 稠密模型太占显存？
技术奇客ITGeeker.net会继续测试Qwen3.8 27B， 据说Qwen3.8 35B也会即将到了， 毕竟是隔代升级应该能替换Qwen3.6吧
4. 越狱模型
如果你想尝试一些黑客攻防的代码， 写一些自己偷偷看的露骨小说， 问一下禁言或涉及安全的问题， 那么可以尝试一下越狱模型。
这些模型一般都是gguf格式， 所以llama.cpp是最佳选择， 而且一般提供各种量化版2bit， 4bit等等， 可以在较小的显存环境使用， 也是很多低显存机器的最佳选择了。
什么稠密模型（Dense Models）或则混合专家模型（MoE, Mixture of Experts）之类的，不管怎么说，能让玩家本地部署， 速度又快， 又尽可能不失智的才是好选择， 目前看来Qwen还是不错的选择。
有朋友当时问技术奇客ITGeeker.net自己部署和购买的token大模型对比怎么样， 明确的告诉大家， 那是肯定比不上的，人家那是商用使用集群机房部署的， 一个小主机怎么攀比。
One more thing, 分享一下这一个月使用Minimax M3的token数， 10多个亿而已。不过幸亏是包月的, 比较便宜。
发表回复