GPU или CPU для ИИ: что реально брать под VPS
Вокруг ИИ сложился миф: без дорогой видеокарты и соваться нечего. На практике огромный класс задач — инференс квантованных LLM, эмбеддинги, RAG, боты — прекрасно живёт на CPU. Разберём, где проходит граница.
Содержание
Короткий ответ
['GPU нужен для двух вещей: обучение (fine-tune, тем более с нуля) и высоконагруженный инференс больших моделей с низкой задержкой на много пользователей. Всё остальное — CPU.', 'Если ты запускаешь одну-две модели 7B–14B в квантовании для себя, своего бота или небольшого сервиса, CPU-сервер с быстрой памятью и NVMe закроет задачу дешевле и без возни с драйверами.', '- CPU достаточно: инференс GGUF-моделей до ~14B, эмбеддинги, RAG-поиск, классификация, чат-боты с очередью запросов.
- Нужен GPU: обучение и дообучение, модели 30B+ в реальном времени, десятки параллельных пользователей, генерация изображений.
Нужен сервер под эту задачу?
Разверните VPS MAATRIX за пару минут: NVMe, AMD EPYC, root-доступ, локации UK и США. Оплата картой РФ и по СБП.
Арендовать VPS для ИИПочему CPU-инференс вообще работает
['Скорость генерации токенов на CPU упирается не столько в число ядер, сколько в пропускную способность памяти. Модель на каждый токен читает все свои веса из RAM. Поэтому 7B-модель в 4-битном квантовании (~4 ГБ весов) на быстрой DDR даёт вполне юзабельные 8–15 токенов в секунду.', 'Здесь и играет железо MAATRIX: платформа AMD EPYC + NVMe даёт высокую производительность на ядро и широкий канал к памяти, а быстрый диск ускоряет холодную загрузку модели с NVMe в RAM — модель на 8 ГБ поднимается за секунды, а не минуты.', 'Проверить, что у тебя за процессор и сколько памяти:', "lscpu | grep -E 'Model name|CPU\\(s\\)|MHz'\nfree -h\nnprocНужны сами нейросети для контента?
Генерируйте изображения, видео и озвучку нейросетями на falapi.io — десятки моделей в одном окне. Оплата картой РФ и по СБП.
Прикинуть скорость до аренды
['Грубый ориентир по скорости CPU-инференса в квантовании Q4: делишь пропускную способность памяти (ГБ/с) на размер весов модели (ГБ) — получаешь примерный потолок токенов/с.', '- 7B Q4 (~4 ГБ) — комфортно для чата и ботов.
- 13B Q4 (~8 ГБ) — заметно медленнее, но приемлемо для фоновых задач.
- 30B+ — на CPU уже для батч-обработки, не для интерактива.
./llama-bench -m model-q4_k_m.gguf -p 512 -n 128Когда GPU действительно окупается
['GPU-VPS оправдан, если задержка критична (голосовой ассистент, live-чат с потоком пользователей) или ты гоняешь обучение. Видеокарта даёт десятки-сотни токенов в секунду и держит батчи параллельных запросов.', 'Минусы: цена в разы выше, привязка к драйверам CUDA, дефицит доступных карт. Для MVP и первых пользователей это часто преждевременная оптимизация — начни с CPU и мигрируй, когда упрёшься.', 'Практическое правило миграции: если очередь запросов стабильно растёт быстрее, чем модель успевает отвечать, и апгрейд числа ядер/RAM уже не спасает — вот тогда пора смотреть на GPU. До этого момента CPU дешевле и проще в эксплуатации.']Гибридный подход
['Не обязательно выбирать одно. Частая рабочая схема: лёгкие и частые задачи (эмбеддинги, классификация, короткие ответы) держишь на CPU-сервере, а редкие тяжёлые вызовы отправляешь во внешний API или на отдельный GPU-инстанс по требованию.', 'Так основная нагрузка идёт по дешёвому CPU-тарифу, а за дорогой GPU платишь только за реальные тяжёлые запросы. Для большинства продуктов это оптимальный баланс цены и скорости на старте.']Частые ошибки
['- Берут GPU «на всякий случай» под чат-бота на 7B — платят втрое дороже за простаивающую карту.
- Экономят на RAM: модель не влезает, начинается swap на диск, скорость падает в десятки раз.
- Ставят неквантованную модель (fp16) на CPU и удивляются, почему один токен идёт секунду.
- Забывают про NVMe: на медленном диске каждая перезагрузка сервиса — это минуты ожидания загрузки весов.
Нужен сервер под эту задачу?
Разверните VPS MAATRIX за пару минут: NVMe, AMD EPYC, root-доступ, локации UK и США. Оплата картой РФ и по СБП.
Арендовать VPS для ИИНужны сами нейросети для контента?
Генерируйте изображения, видео и озвучку нейросетями на falapi.io — десятки моделей в одном окне. Оплата картой РФ и по СБП.
Частые вопросы
Можно ли запустить ChatGPT-подобную модель без видеокарты?
Да. Модели уровня 7B–8B в GGUF-квантовании работают на обычном CPU-сервере и дают связный диалог. Для личного бота или RAG этого достаточно.
Сколько ядер брать под CPU-инференс?
Больше ядер помогают до предела пропускной способности памяти. Практический ориентир — 4–8 ядер под одну модель 7B–13B. Дальше упор в память, а не в ядра.
Почему на MAATRIX нет GPU-тарифов, а советуете CPU?
Потому что для большинства задач читателей блога — боты, RAG, эмбеддинги — CPU с EPYC и NVMe оптимален по цене. Если нужен именно GPU, напишите в support@maatrix.io.