嵌套学习
机器学习

嵌套学习(Nested Learning)

谷歌推出的新型机器学习范式,能解决传统大语言模型在持续学习中面临的「灾难性遗忘」问题。

机器学习谷歌持续学习灾难性遗忘
01

什么是嵌套学习

Nested Learning(嵌套学习)是谷歌推出的新型机器学习范式,能解决传统大语言模型在持续学习中面临的'灾难性遗忘'问题。嵌套学习将复杂的机器学习模型分解为多个嵌套的子模型,每个子模型负责不同层次的知识表示。

02

核心原理

嵌套学习通过分层的知识封装机制,让模型在学习新知识时不会覆盖旧知识。外层子模型学习通用知识,内层子模型学习特定领域知识,形成类似俄罗斯套娃的嵌套结构。当需要更新特定领域知识时,只需调整对应层的子模型。

03

实际应用

嵌套学习特别适合需要持续更新知识的场景,如新闻推荐系统、医疗诊断辅助等。它使模型能够在不重新训练全部参数的情况下,高效地吸收新知识,大幅降低了模型更新的计算成本。