Google erforscht Ruhephasen für lernende Sprachmodelle
Das Wichtigste zuerst
Google Research hat ein Forschungsverfahren vorgestellt, mit dem grosse Sprachmodelle neue Informationen langfristig speichern sollen. Die Modelle wechseln zwischen der Verarbeitung neuer Eingaben und Ruhephasen. In diesen Phasen üben sie mit selbst erzeugten Beispielen und sollen neues Wissen festigen, ohne früher Gelerntes zu verlieren. Google Research berichtet, dass Modelle damit neue Fakten und Informationen aus sehr langen Eingaben behalten und komplexe Aufgaben besser lösen konnten. Das sind Ergebnisse aus der Forschung, kein angekündigtes Produkt.
KI-generiert aus Berichten · aktualisiert vor 2 Stunden
Berichtsverlauf
Entdecken Sie verschiedene Seiten des Ereignisses anhand der Berichte.
- Google ResearchGoogle Research stellt einen «Schlaf»-Ansatz vor, mit dem LLMs Wissen dauerhaft speichern sollen
Google Research stellt einen Ansatz vor, bei dem grosse Sprachmodelle zwischen der Verarbeitung neuer Eingaben und Ruhephasen zum Festigen von Wissen wechseln. In diesen Ruhephasen sollen sie neue Informationen in langfristig nutzbare Modellparameter übertragen und mit selbst erzeugten Übungsbeispielen trainieren, ohne früher Gelerntes zu verlieren. Laut Google Research konnten Modelle damit neue Fakten aufnehmen, Wissen aus langen Eingaben mit bis zu 10M tokens behalten und komplexe Aufgaben besser lösen.
Trendverlauf dieses Ereignisses
Noch nicht genügend durchgehende Beobachtungsdaten für einen Trend.