英伟达开源 Nemotron 3.5 Bolt E4B 4GB：在 Gemma 4 E4B 上做后训练，约 4GB 显存跑本地语音助手、游戏 NPC 和小机器人

一个为「会说话、会动手」的本地智能体准备的小模型

英伟达 Nemotron 团队 10 月 23 日发布 Nemotron 3.5 Bolt E4B 4GB，定位是「每 GB 显存智能最高」的对话智能体小模型。它并不是从零训练的新架构，而是以 Google 的 Gemma 4 E4B 指令版为底座，用 NeMo-RL 和 NeMo-Gym 做可验证奖励强化学习（RLVR）和人类反馈强化学习（RLHF），重点练指令遵循、多轮工具调用和自然对话。一周前，同属 Nemotron 3.5 家族、面向 24GB 设备的 Bolt 74B 已先行发布。

英伟达列出的目标场景有三类：PC、手机、家居和车内的本地语音助手；游戏 NPC、陪伴角色这类需要一边保持人设一边执行动作的互动角色；机器人和工业设备的人机界面。演示里，Reachy Mini 桌面机器人在 8GB 的 Jetson Orin Nano 上同时跑 Cosmos 3 Edge 视觉模型和 Bolt E4B，由后者调用动作脚本并负责说话；另一个演示是铁匠商人 NPC，确认玩家付款后自己调用工具查配方、收材料、打造物品再交付。

名字里的 4GB 怎么来的

模型特性包括多轮工具调用、让回答更短更适合朗读的对话模式、可开关并可限制长度的推理、6.4 万 token 上下文，以及 35 种语言（底座预训练覆盖 140 多种）。发布的权重是用 llama.cpp 和重要性矩阵校准量化的 Q4_K_M 版本，另附一个 DFlash 草稿模型做推测解码，官方称吞吐量比 Gemma 4 E4B 原配的草稿模型最多高 21%。

「4GB」指的是目标工作负载下的显存占用，而不是文件大小。官方实测：RTX 5070（12GB）上、3K 输入 50 输出时占用 3.5GB 显存，首 token 548 毫秒、每秒 133.4 个 token；8GB 的 Jetson Orin Nano 上占用 4.2GB，首 token 约 5.8 秒、每秒 15.5 个 token，适合对实时性要求不高的嵌入式场景。

成绩：强在守规矩，弱在长任务

英伟达用 21 项基准分五类比较，对手是 Nemotron 3 Nano 4B、Qwen 3.5 4B 和 Gemma 4 E4B。官方称 Bolt E4B 平均比自家上一代高约 40%、比其他同级模型高约 10%，开启推理的对比中输出 token 最多少约 80%。优势集中在指令层级和多轮一致性上，例如 IHEval 84.8（Gemma 4 E4B 为 67.0、Qwen 3.5 4B 为 60.6），MultiChallenge 53.1（Gemma 4 E4B 为 42.1）。

短板同样写在官方表格里：多轮客服任务 Tau2-Bench 只有 55.1，Qwen 3.5 4B 是 75.1；长文本理解 LongBench v2 为 50.5 对 59.9，64K 的 RULER 为 87.0 对 95.1。也就是说，它更适合短回合、规则明确的对话代理，而不是长链条的复杂任务。以上分数均为英伟达自测，部分自建基准（Brevity Bench、When2Call-MT）尚未公开。

怎么拿到

模型权重、训练数据清单和完整训练配方均已公开，Hugging Face 模型卡标注的许可为 OpenMDW-1.1；可通过 Hugging Face、Ollama、LM Studio、Unsloth、Jetson AI Lab 和英伟达游戏内推理 SDK 部署。对想在本地跑语音助手或游戏角色的开发者，它提供了一个比通用 4B 模型更守规矩、显存更省的选项；但在客服式多轮任务上，Qwen 3.5 4B 仍是更稳的基线。