Nicht jeder ist ein Freund davon – und für nicht jeden ist es überhaupt rechtlich machbar –, Daten an amerikanische KI-Betreiber zu verschicken. Selbst-gehostete Modelle sind die emergente Lösung, um das volle Potenzial von KI bei voller DSGVO-Konformität auszuschöpfen.
Mit Brezn-7b hatten wir das zu der Zeit am besten performende, deutsche 7b-Modell mit Apache-Lizenz herausgebracht. (Leider hatte sein geistiger Vater es versäumt, mal alles Relevante darüber zusammenzuschreiben und zu veröffentlichen). Mit unserem starken KI-Fokus haben wir uns aber natürlich nicht auf unseren Lorbeeren ausgeruht …
Ich darf also das neue Quartal mit einer ganzen Serie von spannenden, neuen Modellen einläuten. Alle aufgeführten Modelle haben wir bereits ausführlich in realen Anwendungsfällen in der Praxis getestet. Diese Fälle erstrecken sich dabei von (augenscheinlich) einfach bis hin zu hochkomplex. Wir leben nach der Devise „Eat your own dog food” – nur wenn wir die Tools die wir entwickeln auch selbst anwenden, kommen am Ende sinnvolle Produkte zustande.
Git-Brezn
Wir sind immer noch hauptsächlich Softwareentwickler. Das ist unser tägliches Doing und der Bereich, mit dem wir uns am besten auskennen. Wenn es also ein Tool gibt, das uns dabei hilft bessere Software abzuliefern, dann greifen wir enthusiastisch danach.
Konkret geht es um Git-Kommentare, die ausführlich die enthaltenen Änderungen und Überlegungen zusammenfassen. Sicher keine weltbewegende Innovation, aber ein erstaunliches Convenience Feature, um die Dokumentation eines Projekts erheblich zu verbessern.
Die Git-Brezn läuft unkompliziert in unserem Jenkins und die generierten Texte können bequem mit Standardtools angepasst werden.
Marketing-Brezn
Natürlich ist die Arbeit unseres Marketingteams hervorragend und nicht trivial in ihrer Gänze von einer KI zu ersetzen (Anm. d. Red.: Das hat er selbst geschrieben und wir haben nicht erst intervenieren müssen!). Jedoch gibt es innerhalb des Marketings einen ganzen Schwung von kleinen Texten, die für hunderte von Anwendungsfällen neu formuliert werden müssen. Mit einem ganzen Git Repository voller Templates werden jetzt Meetup-Beschreibungen, Newsletter, E-Mails und Anschreiben aus Stichworten heraus ausformuliert und manuell nachbearbeitet. Durch einen Umweg über die Zwischenablage lässt sich dieses Tooling reibungsfrei in jede erdenkliche Software integrieren.
Beschwerde-Brezn
Dieses Modell ist eigentlich ein Witz gewesen. Wir wollten unser Modell Beschwerde-E-Mails zu einer Reihe von Themen generieren lassen. Zu diesem Zweck hatten wir das Modell getuned, um die Karikatur eines schwierigen Kunden in Textform zu generieren. Unser Modell beschwert sich über die Lautstärke seines Nudelholzes, über den Geruch seines neu erworbenen Motoröls, über das Gewicht seines Fernsehers. Er zitiert relevante Rechtspassagen und bezieht Artikelbeschreibungen mit ein, um sie Punkt für Punkt zu widerlegen.
And dieser Stelle nochmal: Dieses Modell war niemals für den Produktiveinsatz vorgesehen und wird von uns ausdrücklich nur zu Unterhaltungszwecken angeboten. Um so überraschter waren wir über die Downloadzahlen und über die Flut an Blogposts, die dem Modell eine große Effektivität in Verbraucherschutz-Themen beimessen …
Bitcoin-Brezn
Wir waren interessiert, wo die Grenzen liegen. Sentiment-Analyse über die einschlägigen Blogs, um automatische Cryptocurrency-Trades durchzuführen, erschien uns ein sinnvolles Gebiet, um zu schauen, wie gut unser Tooling in der echten Welt performt. Natürlich beschränkt sich unser Input auf deutschsprachige Quellen. Jedoch haben unsere Papertrades über elf verschiedene Währungen innerhalb von drei Monaten einen Profit von 11Prozent einfahren können. Ob das ganze stabil bleibt, wird sich zeigen müssen. Wir sind seit ein paar Tagen in den realen Betrieb übergegangen und haben die ältere Version unseres Modells bereits veröffentlicht.
Quantum-Brezn
LLMs generieren Text und ermitteln durch statistische Methoden, welches Wort als nächstes folgen sollte. Dieser Ansatz eignet sich hervorragend für viele verschiedene Anwendungsfälle, tut sich aber selbst mit elementaren Rechenaufgaben schwer, auch wenn sie mit entsprechenden Prompts unterstützt werden („Bitte formuliere jeden einzelnen Rechenschritt vollständig aus“). Zu diesem Zweck haben wir ein Agentensystem gebaut und es mit entsprechender spezialisierten Software ausgestattet.
Automatische Beweisführungs-Software ist natürlich nicht neu. Autoformatierungs-Software, die wissenschaftliche Papers im entsprechenden LaTeX-Format generiert, gibt es auch schon lange. Unser Ansatz war es nach ersten Tests mit bereits bewiesenen Theoremen die wir als Trainingsgrundlage verwendet haben, unser Modell auf ungelöste Probleme der Wissenschaft loszulassen. Die Ergebnisse … sehen plausibel aus. Ob P != NP wird sich schlussendlich im Peer Review herausstellen.
Brezn-Brezn
Die logische letzte Stufe ist natürlich eine verbesserte KI, die sich selbst weiter entwickelt und ihre eigenen Gewichte festlegen kann. Letzten Endes ist die Kreativität von Menschen begrenzt, die Kreativität eines LLMs jedoch lediglich eine Frage der Rechenkapazität.
Zu diesem Zweck haben wir ein Agentensystem gebaut, das Agentensysteme zusammenbaut, das Trainingsparameter zusammenbaut, um dann mit den neuen Modellen neue Trainingsparameter zu bauen, um neue Modelle zu generieren, und so weiter. Es war uns an dieser Stelle wichtig, den Prozess nicht durch äußere Einflüsse zu kontaminieren. Die Modelle sollten ihre Gewichtungen und Benchmarks selbst festlegen, um sich wirklich frei entfalten zu können. Dieser Prozess hat sich als sehr kostspielig herausgestellt, aber wir sind uns sicher, dass er es wert sein wird. (Siehe auch: Bitcoin-Brezn. Irgendwie müssen wir das alles ja finanzieren!)
Die Brezn-Brezn ist aktuell in Iteration 81 und noch immer nicht fertig. Wir werden sie veröffentlichen, sobald wir ein brauchbares Ergebnis haben.
Einfach Loslegen
Wer bereit ist zu starten, kann sich die entsprechenden Modelle heute schon runterladen. Das Feld der KI ist ein hoch-dynamisches bei dem es fast jeden Tag Neuerungen zu geben scheint. Wir sind voll mit dabei, unseren Beitrag zu leisten.
Schreibe einen Kommentar