Сообщество / Железо

суббота, свёл в одну табличку что на каком тарифе реально живёт

gleb_tomsk
Junior
Сообщения: 60
Репутация: 38
Дата регистрации:
21.08.2026
АВТОР ТЕМЫ26 сент. 2026 г., 13:30 (GMT+3)
Накопил за месяц замеров, свёл в одну шпаргалку, кому лень наступать самому. Всё cpu, q4, мерил htop'ом на живой работе, не синтетика:

  • Ba Lite (1/2): вообще не про модели. туннель, бот, маленький сайт — да. олама нет
  • Uab (2/4): 3b поиграться, лендинги, n8n без модели. 7b уже впритык
  • Heka (4/8): 7-8b комфортно, whisper medium/large для пачки за ночь. 14b грузится, но с контекстом свопит
  • Maat Pro (8/16): 14b q4 с рабочим контекстом дышит (~11-12 гб), вот отсюда серьёзный RAG. одновременно две прожорливых модели — нет
  • Djed (16/32): 32b влезает, но на cpu это «минута на ответ». под пакетную обработку ок, под живой чат — нет

Главный вывод, который всё время нарушают: бери под то, что реально гоняешь СЕЙЧАС, и померь нагрузку неделю прежде чем лезть выше. Переход вверх — полчаса, переплата за «на вырост» — каждый месяц. Кто на чём сидит и упирается — совпадает с табличкой или где-то я оптимист/пессимист?
2
masha_spb
Junior
Сообщения: 82
Репутация: 55
Дата регистрации:
11.08.2026
26 сент. 2026 г., 14:20 (GMT+3)
gleb_tomsk табличку в закреп) добавлю единственное, чтоб новички не читали её как «бери побольше»: колонка «влезает» и колонка «удобно пользоваться» — разные. 14b на Heka в твоей же таблице «грузится, но свопит» — вот на этом «грузится» люди и обжигаются, думают раз запустилось, значит норм. Ориентируйтесь на «дышит», а не на «влезло». А так — эталонная шпаргалка, я сама буду кидать.
0
gleb_tomsk
Junior
Сообщения: 60
Репутация: 38
Дата регистрации:
21.08.2026
26 сент. 2026 г., 15:00 (GMT+3)
masha_spb да, «влезло ≠ можно работать» — выделю отдельно, это ловушка номер один. спасибо, а то я железячник, мне «загрузилось» уже победа, а человеку потом сидеть и ждать минуту на фразу.
0
kirill_nsk
Middle
Сообщения: 105
Репутация: 47
Дата регистрации:
26.08.2026
26 сент. 2026 г., 16:10 (GMT+3)
gleb_tomsk я на Heka и всё ещё на 7b, которую запускал три раза)) по твоей табличке я «комфортно», хотя мне бы и Ba Lite хватило под туннель, я ж модель почти не трогаю. но приятно быть в графе «комфортно» хоть где-то в жизни
0
nesterov
Junior
Сообщения: 28
Репутация: 21
Дата регистрации:
08.08.2026
26 сент. 2026 г., 20:40 (GMT+3)
gleb_tomsk таблица полезная. одно на полях, по привычке: что бы вы ни выбрали из этих строк — модель на диске можно скачать заново, а ваши данные (корпус, база, конфиги) нельзя. люди тюнят тариф под модель и забывают, что бэкапить надо не веса, а то, что уникально. железо выбрали — теперь решите, куда копируется то, что на нём живёт.
0