Google Research stellt einen «Schlaf»-Ansatz vor, mit dem LLMs Wissen dauerhaft speichern sollen

Google Research stellt einen Ansatz vor, bei dem grosse Sprachmodelle zwischen der Verarbeitung neuer Eingaben und Ruhephasen zum Festigen von Wissen wechseln. In diesen Ruhephasen sollen sie neue Informationen in langfristig nutzbare Modellparameter übertragen und mit selbst erzeugten Übungsbeispielen trainieren, ohne früher Gelerntes zu verlieren. Laut Google Research konnten Modelle damit neue Fakten aufnehmen, Wissen aus langen Eingaben mit bis zu 10M tokens behalten und komplexe Aufgaben besser lösen.