Verstärkendes Lernen ohne zeitliche Differenzierung

Einführung in einen neuen Ansatz des verstärkenden Lernens

In diesem Artikel werde ich Ihnen einen Algorithmus für verstärkendes Lernen (RL) vorstellen, der auf einem alternativen Paradigma basiert: teile und herrsche. Im Gegensatz zu traditionellen Methoden beruht dieser Algorithmus nicht auf zeitlicher Differenzierung (TD), die Herausforderungen hinsichtlich der Skalierbarkeit aufweist, und ist gut geeignet für Aufgaben mit langer Dauer.

Kontext: Verstärkendes Lernen ausserhalb der Politik

Bevor wir ins Detail gehen, lassen Sie uns klären, was verstärkendes Lernen ausserhalb der Politik bedeutet. Es gibt zwei Hauptkategorien von Algorithmen im RL: on-policy und off-policy. On-policy-Lernen erfordert die Verwendung von nur aktuellen Daten, die von der aktuellen Politik gesammelt wurden, was bedeutet, dass ältere Daten bei jeder Aktualisierung der Politik verworfen werden müssen. Algorithmen wie PPO und GRPO gehören zu dieser Kategorie. Off-policy-Lernen hingegen erlaubt die Verwendung jeglicher Art von Daten, einschliesslich vergangener Erfahrungen, menschlicher Demonstrationen und Daten aus dem Internet. Dies macht das off-policy-Lernen allgemeiner und flexibler, obwohl es auch komplexer ist. Q-Learning ist ein bekannter Algorithmus in diesem Bereich.

In Bereichen, in denen die Datensammlung kostspielig ist, wie in der Robotik oder bei Dialogsystemen, wird die Nutzung des off-policy-Lernens oft unerlässlich, was es zu einem kritischen Problem macht, das gelöst werden muss. Bis 2025 haben wir zufriedenstellende Lösungen für die Skalierung des on-policy-Lernens (wie PPO und seine Varianten) entwickelt, aber wir haben noch keinen skalierbaren off-policy-Algorithmus gefunden, der für komplexe, langfristige Aufgaben geeignet ist.

Paradigmen im Wertlernen: Zeitliche Differenzierung und Monte Carlo

Im off-policy RL trainieren wir typischerweise eine Wertfunktion unter Verwendung von zeitlicher Differenzierung, indem wir die Bellman-Aktualisierungsregel anwenden. Die grösste Herausforderung besteht darin, dass der Fehler im nächsten Wert über das Bootstrapping zum aktuellen Wert propagiert wird, was zu einer Fehlerakkumulation über den gesamten Horizont führt. Diese Dynamik macht das TD-Lernen schwierig anwendbar für Aufgaben mit langer Dauer.

Um dieses Problem zu mildern, haben Forscher das TD-Lernen mit Monte-Carlo-Rückgaben kombiniert. Zum Beispiel verwendet das TD-$n$-Lernen die tatsächlichen Monte-Carlo-Rückgaben für die ersten $n$ Schritte und wendet dann den bootstrapped Wert für den Rest an. Obwohl dies die Anzahl der Bellman-Rekursionen reduziert, löst es das Problem der Fehlerakkumulation nicht grundlegend. Darüber hinaus kann ein zu grosses $n$ zu hoher Varianz und Suboptimalität führen.

Ein dritter Ansatz: Teile und herrsche

Ich argumentiere, dass ein dritter Ansatz, teile und herrsche, eine ideale Lösung für das off-policy verstärkende Lernen bieten könnte, die eine Anpassung an beliebig lange Aufgaben ermöglicht. Diese Methode reduziert die Anzahl der Bellman-Rekursionen logarithmisch. Die Schlüsselidee besteht darin, eine Trajektorie in zwei gleich lange Segmente zu unterteilen und deren Werte zu kombinieren, um den Wert der gesamten Trajektorie zu aktualisieren. Dies ermöglicht eine logarithmische Verringerung der Anzahl der Rekursionen, ohne dass eine Wahl des Hyperparameters wie $n$ erforderlich ist, und vermeidet die Probleme mit Varianz oder Suboptimalität, die beim TD-$n$-Lernen auftreten.

Ein praktischer Algorithmus

Kürzlich haben wir zusammen mit Aditya bedeutende Fortschritte gemacht, um diese Idee zu verwirklichen. Wir haben es geschafft, das Wertlernen nach dem teile-und-herrsche-Paradigma auf komplexe Aufgaben anzupassen, insbesondere im Bereich des zielgerichteten verstärkenden Lernens. Diese Art des Lernens zielt darauf ab, eine Politik zu schaffen, die in der Lage ist, jeden Zustand von jedem anderen Zustand aus zu erreichen, was eine natürliche Struktur für die Anwendung dieser Methode bietet.

In einer deterministischen Umgebung muss die kürzeste Pfadlänge zwischen zwei Zuständen $s$ und $g$ die Dreiecksungleichung einhalten. Wir können diese Ungleichung in eine Bellman-Aktualisierungsregel umsetzen. Das bedeutet, dass wir den Wert von $V(s, g)$ unter Verwendung von zwei kleineren Werten, $V(s, w)$ und $V(w, g)$, aktualisieren können, wobei $w$ der optimale Zwischenpunkt ist. Dieser Prozess stellt genau die Aktualisierungsregel dar, die wir gesucht haben.

Fazit

Obwohl diese Methode vielversprechende Ansätze bietet, bleibt eine grosse Herausforderung bestehen: Wie wählt man das optimale Zwischenziel $w$ aus? Diese Frage bleibt offen und erfordert weitere Forschung, um vollständig gelöst zu werden. Dennoch könnte das Paradigma teile und herrsche das verstärkende Lernen tatsächlich transformieren, indem es eine robuste Lösung für Probleme der Skalierbarkeit und Komplexität bietet.

Für Fragen oder um diese Konzepte weiter zu besprechen, zögern Sie nicht, mich zu kontaktieren.