Elektrine lite

← Feed

medvedych

medvedych@neverwhe.re

<p>Записная книжка по админству, программизму и чутка бомбежа</p>

Posts

  • View post

    В порядке эксперимента заменил Qwen 3.8-27B на Strata Coder. Результат: Могу и быстрее, но такая фигня получается. В моих задачах 27b оказался значительно стабильнее. Снёс Coder, накатил Qwen3.8-Flash-Next-GSQ-RCO-GGUF IQ3_XXS. Вот тут уже сильно интереснее - скорость выше в среднем на 20т/с на том же контексте, результаты визуально лучше (сильно в коде не копался пока). Попробую погонять недельку, но выглядит хорошо #ai #нейрослоп

  • View post

    Strata с Qwen3.8-Flash-Next интересная тема. Огромная (ну по меркам домашнего железа) модель, при этом работает быстрее чем более маленькая. Так еще нагрузка на карты меньше чем для dense модели. Правда меня смущает пила на графиках загрузки. Кажется что она должна снижать общую скорость, для dense моделей так и есть. А в реальности для MoE добавление 3060 к 3090 дало 30% прироста генерации. И vision тоже на 3060 уехал, 3090 не грузит - приятно #ai #нейрослоп

  • View post

    Тизер трейлера #endlesssky #auroraos

  • View post

    Strata и Qwen3.8-Flash-Next прямо радуют. Моделька не тупит, вся конструкция работает быстро. Правда средняя загрузка карт около 40%. В теории, наверное можно еще скорости выжать, но пока не понял как, оно там экспертов тасует и постоянно камень и шину грузит в полку. Возможно надо с рязани перейти на зеон v4, но уверенности как-то нет что поможет. #ai #нейрослоп #strata

  • View post

    &amp;quot;Medvedych регулярно выступает «внешним экспертом», который объясняет XXX их же проблемы&amp;quot; Какмощнымоилапищи.жпг

  • View post

    Тем временем в Strata 0.2.7 завезли нормально так скорости по сравнению с 0.2.5. НО (всегда есть но) только в однопотоке, если взять дефолтные 3, то она будет медленее на 10-15% в зависимости от размера контекста. Открытка со сравнительной табличкой прилагается. Между прогонами менялась только версия движка, всё остальное одинаковое #ai #strata

  • View post

    я не плачу, просто оперативная память в глаз попала

  • View post

    Начали смотреть Полдень - пока весма приятный фанфик. Умеют же делать когда захотят

  • View post

    Отключил к фигам всю автоматику работы с памятью в BIOS сервера нейронок и теперь там 128Gb RAM. Правда в рабочем компе теперь всего 16 какой-то нонейм памяти. В очердной раз поплакал от цен на память которые были год назад. Зато теперь влезет Qwen3.8-Flash-Next-UD-IQ4_XS, а то IQ3_XSS работала как-то странно. Вроде все задачи исполнялись, но галлюцинации в логе размышлений проскакивали регулярно #ai