Liquid AI 发布 LFM3:一个 1.7B 底座分出文本、视觉、音频、全模态和决策共 6 个 2B 级开放权重模型,文本版 4 位量化约 1 GB

Liquid AI 10 月 27 日发布第三代 Liquid 基础模型 LFM3,首批 6 个约 2B 参数的开放权重模型都由同一个在 22 万亿 token 上预训练的 LFM3-1.7B-Base 分支而来:文本模型 LFM3-1.7B(256K 上下文、面向本地智能体)、视觉语言模型 LFM3-VL-2B(首次支持视频输入)、音频模型 LFM3-Audio-2B(18 种语言)、全模态模型 LFM3-Omni-2B,以及两个决策模型 d1-2B 和 d1-Omni-2B。新架构是「三混合」:24 层中 13 层门控短卷积、5 层 256 token 滑动窗口注意力、6 层全局注意力。官方称 LFM3-1.7B 以少 35% 的参数超过上一代 LFM2.5-2.6B,4 位量化约 1 GB,128K 上下文的 KV 缓存只需 1.6 GB;在 65 个真实 macOS 智能体任务上其成功率 64%,高于 Qwen3.5-2B 的 48%。所有模型可在单张 GPU 上微调,权重已上架 Hugging Face。成绩多为 Liquid 自报。

一个底座,六个模型

Liquid AI 10 月 27 日发布第三代 Liquid 基础模型 LFM3。首批 6 个模型都在 2B 参数量级,全部从同一个 LFM3-1.7B-Base 底座分支出来,底座在 22 万亿 token 上预训练,最后 3.5 万亿 token 是以智能体轨迹和多样工具调用为主的中期训练,并把上下文扩到 256K:

  • LFM3-1.7B:文本模型,256K 上下文,针对 Hermes Agent、Pi、OpenClaw 等智能体框架做了后训练;
  • LFM3-VL-2B:视觉语言模型,LFM 系列首次支持视频输入,带空间推理;
  • LFM3-Audio-2B:语音对话、转写、合成和翻译,支持 18 种语言;
  • LFM3-Omni-2B:视觉、音频和语言合一,可用文本、语音或两者回答;
  • d1-2B、d1-Omni-2B:分别从视觉和全模态模型特化出来的决策模型。

基座和后训练模型都是开放权重,已上架 Hugging Face,并可通过 Liquid 的 Playground 和 API 使用;每个模型都能在单张 GPU 上微调。

架构与官方数据

LFM3 用的是 Liquid 所说的「三混合」结构:24 层里 13 层是门控短卷积(卷积核从 LFM2 的 3 增到 7),5 层是 256 token 窗口的滑动窗口注意力,6 层是全局注意力。设计在 14 种设备与后端组合上做了「硬件在环」的架构搜索,包括三星 Galaxy S26 Ultra、树莓派 5、Apple M4 Max 和高通 Hexagon NPU。

Liquid 公布的数字包括:LFM3-1.7B 以少 35% 的参数超过上一代 LFM2.5-2.6B;4 位量化约 1 GB;128K 上下文的 KV 缓存只需 1.6 GB,而 Qwen3.5-4B 要 4.3 GB;8K 上下文时比 LFM2-1.2B 快约 25%。Liquid 还公布了一组在 65 个真实 macOS 智能体任务上的对比:LFM3-1.7B 成功率 64%、Qwen3.5-2B 为 48%,前者每个任务少用 58% 的 token,卡住的比例不到 1%(后者为 15%),Mac 软件公司 MacPaw 的工程师在发布文中为这一结果背书。视觉模型的新编码器算力只有原 SigLIP2 编码器的三分之一。

适合谁

这类 2B 模型的定位不是和大模型比综合能力,Liquid 自己也承认在智能体编程和知识类任务上更大的模型仍然领先。它更适合的是:数据不能出设备的场景、需要大量并发小智能体的批处理(Liquid 演示了 30 多万个智能体并行梳理安然邮件档案),以及愿意用自家数据做一次单卡微调、把小模型训练成某个窄任务专家的团队。多数基准成绩是 Liquid 自报,上手前建议用自己的任务先跑一遍。

via: Liquid AI:Introducing LFM3: Every Modality for Specialized Intelligence、Hugging Face:Build specialized multimodal models with LFM3