毛病的具体表现
作者给出了可复现的例子：对话拉长之后，模型开始混淆消息的归属，「你刚才说过」的内容其实是它自己说的，用户明确否定过的方案被当成用户的主意端回来。在闲聊里这只是别扭，在正经场景里就是事故：会议纪要里发言人张冠李戴、客服记录里诉求归属错乱、多人协作的上下文里责任错位。归属（attribution）是语言理解的基本功，这门课不及格的影响面比看起来大。
为什么会这样，怎么防
技术上的解释不复杂：对话在模型眼里是一长串文本，角色标记只是文本的一部分，注意力机制并不保证「谁说的」这个信息在长距离上不丢。上下文越长、参与者越多，混淆概率越高，而且所有模型都有这毛病，程度有别。实用的防御：关键信息别依赖模型的记忆归属，重要决策让它复述确认，长对话定期重置并显式总结，多人场景在内容里写明发言人而不是依赖角色字段。在归属可靠性有根本改进之前，这些笨办法就是必要成本。
via: Hacker News