2026-09-23 06:53 UTC
Ausblick:
Wenn sich das so bestätigt und im Alltag bewährt, werde ich vermutlich die Grafikkarte in einem Proxmox Node so weit aufrüsten, dass ich mit ~12 GB VRAM und mehr Speicherbandbreite die Antwortzeiten noch weiter optimiere.
12 GB, weil das noch unter dem Preisknick liegt, bevor es absurd teuer wird.
(4/4)
Replies (1)
-
@bjoern@social.sengotta.net 2026-09-23 07:02
@thoralf@gruene.social zur GraKa kann ich auf jeden Fall raten. Arbeite idR mit einem Qwen 3.5-9B. Mein 6 Jahre alter Laptop mit 8 Kernen und 32GB Ram macht da gut 5-6T/s, der Rechner mit einer RTX 3060 12GB liegt da schon bei 45T/s was natürlich ein enormer Vorteil ist.