@____________________@shitpost.poridge.club
2026-01-18 16:52 UTC
Replies (2)
-
@skobkin@gts.skobk.in 2026-01-18 17:09
@____________________@shitpost.poridge.club То есть по твоему эта штука с гуем - это полноценная альтернатива OpenAI-совместимому серверу моделей с функциональстью для их менеджмента? Не, оно выглядит нормально для того чтобы на десктопе поднять и делать сразу всё в одном месте. Но у меня юзкейс совсем другой. У меня модели крутятся на отдельной машине, работа с ними идёт через OoenWebUI, а также есть клиенты к API вроде ботов, которым нужно чтобы бэкенд мог скачать нужную модельку сам, если что. Этот бекенд должен уметь держать несколько моделей в памяти, ограничивать количество одновременно обрабатываемых запросов чтобы расходовать память аккуратно. Ну и ещё, конечно, мне нужен образ с поддержкой ROCm. Ну и да, я не понял твоего "любые модели с HF", т.к. и в Ollama притаскивал молели оттуда своими руками если было нужно 🤷 @lonelyowl@pl.kotobank.ch @pastecat@shitpost.poridge.club @iowoof@social.iowoof.com
-
@lonelyowl@pl.kotobank.ch 2026-01-18 17:09
@____________________@shitpost.poridge.club @pastecat@shitpost.poridge.club @iowoof@social.iowoof.com @skobkin@gts.skobk.in > любые модели с HF > HF > Transformers Я не буду говорить что я не люблю эту библиотеку, я просто скажу что если у меня будет выбор между использованием трансформерс и его спидоносного формата чекпоинтов и запиливанием своего тулкита с нуля на Holy C, я выберу Holy C