2026-09-21 04:55 UTC
Ich versuche gerade, ein lokales LLM so weit zu massieren, dass es sinnvolle Antworten in akzeptabler Zeit gibt.
Diese Aufgabe gleicht ein wenig der Quadratur des Kreises ...
Ich habe entweder einigermaßen sinnvolle Antworten - aber warte ewig - oder ich bekomme hinreichend zügig eine Antwort - die dann aber richtiger Müll sein kann.
Ein quantisiertes Qwen 3.5 4B ist derzeit das Modell der Wahl. Nicht ideal - aber alles andere scheint schlechter zu sein.
(1/4)
Replies (1)
-
@thoralf@gruene.social 2026-09-23 06:53
Ausblick: Wenn sich das so bestätigt und im Alltag bewährt, werde ich vermutlich die Grafikkarte in einem Proxmox Node so weit aufrüsten, dass ich mit ~12 GB VRAM und mehr Speicherbandbreite die Antwortzeiten noch weiter optimiere. 12 GB, weil das noch unter dem Preisknick liegt, bevor es absurd teuer wird. (4/4)