GPU или CPU для ИИ: что реально брать под VPS

Вокруг ИИ сложился миф: без дорогой видеокарты и соваться нечего. На практике огромный класс задач — инференс квантованных LLM, эмбеддинги, RAG, боты — прекрасно живёт на CPU. Разберём, где проходит граница.

Короткий ответ

GPU нужен для двух вещей: обучение (fine-tune, тем более с нуля) и высоконагруженный инференс больших моделей с низкой задержкой на много пользователей. Всё остальное — CPU.

Если ты запускаешь одну-две модели 7B–14B в квантовании для себя, своего бота или небольшого сервиса, CPU-сервер с быстрой памятью и NVMe закроет задачу дешевле и без возни с драйверами.

• CPU достаточно: инференс GGUF-моделей до ~14B, эмбеддинги, RAG-поиск, классификация, чат-боты с очередью запросов.
• Нужен GPU: обучение и дообучение, модели 30B+ в реальном времени, десятки параллельных пользователей, генерация изображений.

Почему CPU-инференс вообще работает

Скорость генерации токенов на CPU упирается не столько в число ядер, сколько в пропускную способность памяти. Модель на каждый токен читает все свои веса из RAM. Поэтому 7B-модель в 4-битном квантовании (~4 ГБ весов) на быстрой DDR даёт вполне юзабельные 8–15 токенов в секунду.

Здесь и играет железо MAATRIX: платформа AMD EPYC + NVMe даёт высокую производительность на ядро и широкий канал к памяти, а быстрый диск ускоряет холодную загрузку модели с NVMe в RAM — модель на 8 ГБ поднимается за секунды, а не минуты.

Проверить, что у тебя за процессор и сколько памяти:

lscpu | grep -E 'Model name|CPU\(s\)|MHz'
free -h
nproc

Прикинуть скорость до аренды

Грубый ориентир по скорости CPU-инференса в квантовании Q4: делишь пропускную способность памяти (ГБ/с) на размер весов модели (ГБ) — получаешь примерный потолок токенов/с.

• 7B Q4 (~4 ГБ) — комфортно для чата и ботов.
• 13B Q4 (~8 ГБ) — заметно медленнее, но приемлемо для фоновых задач.
• 30B+ — на CPU уже для батч-обработки, не для интерактива.

Запусти llama.cpp с бенчмарком, чтобы увидеть реальные цифры именно на своём сервере:

./llama-bench -m model-q4_k_m.gguf -p 512 -n 128

Когда GPU действительно окупается

GPU-VPS оправдан, если задержка критична (голосовой ассистент, live-чат с потоком пользователей) или ты гоняешь обучение. Видеокарта даёт десятки-сотни токенов в секунду и держит батчи параллельных запросов.

Минусы: цена в разы выше, привязка к драйверам CUDA, дефицит доступных карт. Для MVP и первых пользователей это часто преждевременная оптимизация — начни с CPU и мигрируй, когда упрёшься.

Практическое правило миграции: если очередь запросов стабильно растёт быстрее, чем модель успевает отвечать, и апгрейд числа ядер/RAM уже не спасает — вот тогда пора смотреть на GPU. До этого момента CPU дешевле и проще в эксплуатации.

Гибридный подход

Не обязательно выбирать одно. Частая рабочая схема: лёгкие и частые задачи (эмбеддинги, классификация, короткие ответы) держишь на CPU-сервере, а редкие тяжёлые вызовы отправляешь во внешний API или на отдельный GPU-инстанс по требованию.

Так основная нагрузка идёт по дешёвому CPU-тарифу, а за дорогой GPU платишь только за реальные тяжёлые запросы. Для большинства продуктов это оптимальный баланс цены и скорости на старте.

Частые ошибки

• Берут GPU «на всякий случай» под чат-бота на 7B — платят втрое дороже за простаивающую карту.
• Экономят на RAM: модель не влезает, начинается swap на диск, скорость падает в десятки раз.
• Ставят неквантованную модель (fp16) на CPU и удивляются, почему один токен идёт секунду.
• Забывают про NVMe: на медленном диске каждая перезагрузка сервиса — это минуты ожидания загрузки весов.

Частые вопросы