Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Сколько RAM нужно для Mistral
Mistral 7B весит 4,4 ГБ — восемь гигабайтов выглядят нормальным запасом. Дальше выясняется, что родное окно в 32 тысячи токенов стоит ещё четыре гигабайта кэша, русский текст съедает это окно в полтора раза быстрее английского, а Mixtral 8x7B при 26 ГБ весов печатает быстрее, чем Small 24B при четырнадцати. Ниже — требования Mistral к RAM по всем тегам Ollama, арифметика кэша и границы, за которыми пора менять тариф.
Подробнее →