The Illusion of Non-Thinking

Apple hat am vergangenen Wochenende mit dem Paper The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity für Gesprächsstoff gesorgt.

Dort testen sie LLMs der Kategorien “normales Instruction-Following” und “Instruction-Following mit Think-Step”, denen als erster Schritt eine Zerlegung der Anweisung in eine Chain-of-though in <think>-Begrenzern antrainiert wurde.

Als Grundlage wurden Aufgaben genutzt, die in ihrer Lösung mehrere Schritte benötigen – für die es aber wenig bis keine Anleitungen im Internet gibt. Konkret: Aufgabenstellungen rund um die Türme von Hanoi, das Springen auf dem Dame-Feld, die Flussüberquerung mit Schaf und Wolf und die aus anderen Papers schon bekannte Blocks World.

Dein Arbeitsplatz ist sicher!

Wir Menschen lieben jedes Paper, das uns nicht nur die Erlösung von Gerhard Vollmers Kränkung Nummer 7, sondern darüber hinaus noch Arbeitsplatzsicherheit verspricht.

Also ist das Paper schnell sehr populär, oft besprochen und diskutiert worden.

Als jemand, der viele KI-Lösungen entwickelt hat und zumindest gelegentlich auch selbst Datasets für Instruction-Tuning baut (zum Beispiel letzte Woche), sehe ich eine Vielzahl der Interpretationen dieser Studie als problematisch an. Deshalb möchte ich etwas Kontext herstellen.

Damit das nicht wie AI-Singularity-Fandom aussieht: Natürlich denken LLMs nicht wie Menschen, das behauptet auch niemand aus dem Metier. “Denken” ist ein bunter Haufen zutiefst verschiedener Fähigkeiten, die in Kombination und einzeln auftauchen können. Und während KI sich Stück für Stück neue Fähigkeiten im Moravecsches Paradox erkämpft, ist es noch weit davon entfernt, alle Fähigkeiten eines Menschen in sich zu vereinen.

Also, warum wär es ein Irrtum, solche Paper als Befreiungsschlag “Siehst Du, KI kann in Wahrheit gar nicht denken!” zu interpretieren?

LLMs & LRMs != State of the Art

Wer KI-Lösungen baut, setzt im Regelfall nicht direkt auf LLMs auf, sondern nutzt Agenten. Agenten sind nicht nur ein LLM mit Tools, sondern integrieren vor allem Workflow-Strategien wie etwa das Grounding von Wissen durch Online-Recherche, Reflexion, Parallelität, Pläne und Adaption auf Basis von externen Faktoren.

Wie Agenten lernen

Das ist aber nicht alles – sie bringen auch Memory mit, d. h. sie können aus besuchten Pfaden, aus gescheiterten Strategien, aus nutzlosen Toolcalls lernen, ja sogar die eigenen Prompts verbessern.

Oft haben Agenten einen planenden Node (oft Architect, Planner, Supervisor, etc. betitelt), der nach der Analyse des Problems eine Strategie als eine Art To-do-Liste aufmacht. Diese To-do-Liste wird dann bearbeitet und bei Bedarf aktualisiert, wenn etwa das eine To-do auf der Liste statt Ergebnis eine Fehlermeldung zurückliefert.

Diese einzelne Aktualisierung im Kurzzeitgedächtnis ist aber nicht alles, was ein Agent kann. Nach Beendigung der Aufgaben ist der Agent noch nicht fertig, danach beginnt der zweite Teil der Reflexion, im Delayed Background Memory Processing. Und dort findet eine zweite Reflexion über das Gesamtverhalten statt, also:

• Welche Schritte hätte man sich sparen können?
• Welche Schritte hätte man zusätzlich, etwa zur Prüfung, machen können?
• Was wäre bei ähnlichen Problemen ein besseres Vorgehen gewesen?
• Wenn ich mir 100 von diesen Durchläufen anschaue, welche Generalisierungen lassen sich daraus ableiten?

… und vieles mehr.

Problem gelöst?

Solche Agenten, die man mit überschaubar viel Aufwand mit LangChains Bordmitteln LangGraph und LangMem bauen kann, sind recht gut in der Lage, die bei Apple genannten Aufgaben zu lösen.

Umgekehrt kann man auch neue Probleme finden, die dann durch diese Agenten nicht mehr lösbar sind. Wie oben bereits gesagt: künstliche Intelligenz ist noch weit entfernt davon, ein universelles Allzweckwerkzeug zu sein; genauso wenig wie es jeder Mensch ist. Es gibt Grenzen, aber die meisten sind keine harten technischen Grenzen, sondern vor allem durch Aufwand und Zeit limitiert.

Deine AI-Lösung liefert falsche oder unvollständige Antworten!

Und der Grund dafür ist, dass deine Herausforderung die Möglichkeiten der AI übersteigt?

In über 40 erfolgreichen AI-Projekten haben wir bewiesen, dass das ein Trugschluss ist.

Buche jetzt ein unverbindliches Strategiegespräch und überzeuge dich selbst.

Jetzt beraten lassen

Ist es jetzt eine Entwarnung für den Arbeitsmarkt?

Nein, es ist keine Entwarnung. Türme von Hanoi und ähnlich geartete Aufgaben machen nur einen kleinen Teil unserer täglichen Arbeitsaufgaben aus, da bleibt also noch genug übrig, was durch agentische Automatisierung preiswerter, schneller und/oder besser gelöst werden kann.

Im Umkehrschluss ist aber auch nicht damit zu rechnen, dass die optimale Implementierung von KI die nächsten Jahre ohne Menschen auskommen wird. Denn gerade lernende Agenten wie oben beschrieben sind nie universell und oft auch weder schneller noch preiswerter als Menschen.

Können die jetzt echtes Reasoning, ja oder nein?

Meiner Erfahrung nach mündet eine Diskussion darüber oft in einer Variante des Hard problem of consciousness, oder, wie es ein Kollege von mir formulierte: Wir trauen einem Schleimpilz eher “echte” Intelligenz zu als einem Supercluster.

In der praktischen Anwendung kann man das Reasoning von aktuellen LLMs aber für großartige Dinge nutzen. Von der Erledigung von ganzen Teilaufgaben bis zur Verbesserung des eigenen Reasonings, indem man z. B. bei der Recherche durch Automatisierung eine Vielzahl mehr an Dokumenten einbeziehen kann.