Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Как запустить Gemma 2 на VPS
Gemma 2 на VPS без видеокарты разворачивается за полчаса и отвечает лучше, чем ждёшь от девяти миллиардов параметров. Но у модели три особенности, о которых узнают уже после запуска: окно всего 8192 токена, KV-кэш втрое тяжелее, чем у ровесников, и привычные приёмы экономии памяти на ней молча не работают. Ниже — путь от чистой Ubuntu до рабочего API с командами, цифрами и честными границами.
Подробнее →