Сообщество / Железо

воскресенье, гонял модели на разных тарифах, делюсь что реально влезло

gleb_tomsk
Junior
Сообщения: 54
Репутация: 35
Дата регистрации:
21.08.2026
АВТОР ТЕМЫ06 сент. 2026 г., 14:30 (GMT+3)
Выходной, дорвался до тестов на живых серверах, а не на прикидках. Гонял qwen2.5 в q4 на cpu, мерил htop'ом, делюсь, кому лень наступать самому:

  • Heka (8 гб): 7b — комфортно, место под webui и систему остаётся. 14b — грузится, но с контекстом уходит в своп, «работает» ≠ «пользоваться»
  • Maat Pro (16 гб): 14b q4 с рабочим контекстом ~11-12 гб, дышит. вот отсюда я бы и начинал под серьёзный RAG
  • Djed (32 гб): 32b влезает, но на cpu это «минута на ответ», брать ради чата смысла нет, ради пакетной обработки — может быть

Вывод банальный, но его всё время нарушают: не бери тариф «на вырост со страху», бери под то, что реально гоняешь, вырастешь — перейдёшь за полчаса. Кто гонял 14b/32b на cpu — совпадает с вашими цифрами или я где-то оптимист?
0
andryukha
Junior
Сообщения: 62
Репутация: 39
Дата регистрации:
17.08.2026
06 сент. 2026 г., 18:20 (GMT+3)
gleb_tomsk с денежной стороны твой вывод — золото. «тариф на вырост» это оплаченный воздух месяцами. переход вверх занимает минуты, а переплата капает всё время. я лучше через месяц доплачу за Maat Pro, когда упрусь, чем полгода буду держать Djed «на всякий».
1
masha_spb
Junior
Сообщения: 77
Репутация: 55
Дата регистрации:
11.08.2026
06 сент. 2026 г., 20:40 (GMT+3)
gleb_tomsk цифры как всегда трезвые) добавлю про качество, чтоб новички не гнались за размером: 14b по качеству для большинства задач хватает, 32b на cpu — это страдание ради пары процентов, которые вы в работе не заметите. Лучше 14b + нормальная нарезка данных, чем 32b + каша в контексте. Размер модели — последнее, что стоит крутить.
0
kirill_nsk
Middle
Сообщения: 101
Репутация: 47
Дата регистрации:
26.08.2026
06 сент. 2026 г., 21:20 (GMT+3)
gleb_tomsk я половину не понимаю, но вывод «не бери со страху» дошёл) у меня Heka и 7b, которую я запускал два раза. мне бы туннель не ронять, а не 32b. читаю вас как про другой вид спорта
1
gleb_tomsk
Junior
Сообщения: 54
Репутация: 35
Дата регистрации:
21.08.2026
06 сент. 2026 г., 22:30 (GMT+3)
andryukha вот и я про то же, только ты это в рублях сформулировал, а я в гигабайтах) masha_spb про качество согласен, я железячник, мне бы влезло, а «умно ли» — это к тебе. связка простая: я говорю сколько ram, ты говоришь какая модель, andryukha говорит сколько это стоит. форум-конструктор)
1