2026-09-27 08:51 UTC
@publictorsten@mastodon.social @masek@infosec.exchange
Du kannst es auch an anderen Dingen als Kosten messen. Wir sehen zur Zeit Benchmark Verbesserungen an Desktop local AI Inferenz von etwa 2x in drei bis vier Monaten. Was heute ein Qwen3.8-27b auf einem 32 GB Mac oder einer 3070Ti macht war vor 18 Monaten Frontier AI und liegt auf dem Level von GPT-5.6 Terra Low.
Das ist auch nicht abwegig. Wir brauchen große Mengen Energie um weniger zu leisten als ein junger Mensch, also eine Entität mit einem Dauerlast Budget von unter 150 Watt. Es ist also offensichtlich daß da noch viel Potenzial für Optimierung ist.
Replies (1)
-
@isotopp@infosec.exchange 2026-09-27 09:02
@publictorsten@mastodon.social @masek@infosec.exchange Was hier passiert ist die Entstehung einer echten funktionalen Alternative zu AIaaS - in meinem dreischrittigen Workflow kann ich Schritt 2 und 3 auf dem Desktop rechnen, nur Schritt 1 muss auf ein aktuelles AIaaS Modell. Das heisst, das etwa die Hälfte aller Tokens nicht mehr AIaaS sind und damit einem Rückverdienen des AIaaS investments entzogen sind. Je besser local AI wird, um so prekärer wird die Investment Lage für die Hyperscaler und AI Investoren.