mastodon 4.7.3Externer Datenschutzbeauftragter und Schulungen vorwiegend für den Sozial- und Gesundheitsbereich, hauptberuflich. ESP32, 3D-Druck und Modding, weil der Kopf sonst nicht abschaltet. Aus Vorarlberg, baue mit seprOS ein Schulungssystem auf Moodle-Basis. Hier für den Austausch abseits der großen Plattformen. #Datenschutz, #ESP32
KI finde ich stark, aus Datenschutzsicht aber heikel. Darum teste ich gerade, was lokal auf eigener Hardware geht. Falls ich das mal bei Kunden im Sozial- und Gesundheitsbereich einsetzen will, sind lokale Modelle Pflicht, selbst EU-Clouds sind mir da zu grenzwertig.
Ohne die großen Speicher- und Geldfresser: Ich lasse die KI nicht rechnen, sondern coden. Das Modell schreibt die Skripte, die Arbeit macht deterministischer Code.
Soll auf einer RTX 5060 Ti 16 GB vernünftig laufen. Freue mich auf den Austausch und eure Erfahrungswerte. #LocalLLM #Datenschutz #Selfhosting
Danke an alle für die nette Begrüßung... als linkedin geschädigter ist man das ja gar nicht gewohnt. Darf man das hier überhaupt sagen 😛