极限压缩卷到哪了
量化是把模型权重从高精度数字压到低精度的手艺，从 8 位到 4 位再到逼近 1 位，每往下压一档，显存和算力需求就砍一半以上，代价是精度损失的风险。TurboQuant 宣称在更激进的压缩率下保住了任务表现，技术路线照例要等独立复现来验证，但这个方向的整体进展是真实的：两年前 4 位量化还被当妥协，现在已是本地部署的默认操作。
压缩为什么是大生意
推理成本是悬在所有 AI 商业模式头上的账单，而量化是少数能直接砍账单的杠杆：同样的硬件服务几倍的请求，或者让原本进不了手机和笔记本的模型塞进去。所以这条赛道上挤满了人，学界刷论文，芯片厂做硬件原生支持，云厂商把它做成服务。对用户的实际意义：本地模型的能力地板每季度都在抬高，「这台设备跑不动大模型」的判断有效期越来越短，做长期技术选型时别用今天的硬件约束锁死明天的方案。
via: Hacker News