AI
Wir glauben daran, dass AI einen deutlich höheren Kundennutzen erlaubt, wenn man sie richtig einsetzt!
Hier findest du:
Aktuellste Beiträge
-

Round two: Hosting GLM 5.2 via expert streaming
GLM 5.2 is a 744-billion-parameter MoE model – way too big for any GPU I own. Expert streaming let me run it anyway, at around 1.2 tokens per second, entirely from a single mini PC.
-

Hosting a 284B model on 90GB of VRAM
I own an AMD Strix Halo box with 128GB of unified memory, and I wanted to know how big a model I could actually host on it. Turns out: pretty big, if you stop trying to fit everything into VRAM.
-

Wie ich meiner KI das Ratespiel abgewöhnte
„Gleicher Mist, doppelter Preis.“ Wir erinnern uns, das war der Werbespruch, den meine lokale KI für eine Spielregel hielt. Den bin ich diesmal losgeworden. Nur … am Ende hatte ich vielleicht andere Probleme mit meinem lokalen RAG.
Es wurden keine Beiträge gefunden.
Beim Abspielen verbindet sich Ihr Browser mit YouTube. Google erhält dabei Ihre IP-Adresse und kann Informationen (z. B. Cookies) auf Ihrem Gerät speichern. Wenn Sie die Seite neu laden, wird die Einbindung wieder entfernt. Bereits übermittelte Daten und gesetzte Cookies bleiben davon unberührt.

