Обсуждение — KVM или OpenVZ: тип виртуализации

Мне в статье ближе всего не список «можно/нельзя», а мысль про ресурсы. Именно там разговор с человеком обычно начинается не с той стороны.

Типичная ситуация: просят «свой ассистент по документам, чтобы недорого». Человек открывает самый дешёвый тариф, видит 4 ГБ памяти и считает, что модель влезет. Тип виртуализации он не смотрит, потому что не понимает, при чём он тут. А при том, что такая задача упирается сразу в оба ограничения, которые в статье разведены по разным разделам.

Первое — упаковка. Open WebUI и похожие интерфейсы чаще всего ставят через Docker, а статья прямо пишет, что на OpenVZ он работает «не всегда или с костылями». Значит, решение собирается не из трёх команд, а из обходных путей, и каждое обновление снова превращается в лотерею.

Второе — память. Локальная модель на процессоре загружает веса в RAM и держит их там, пока отвечает. Если цифра в free -h условная из-за переподписки, то это не «чуть медленнее», а риск, что процесс убьют посреди ответа. Простой бот такую нестабильность переживёт, а модель на несколько гигабайт — вряд ли.

Поэтому я бы читала нишу OpenVZ из статьи шире, чем «статичный сайт и простой бот». Подходит задача, которая не держит много памяти, не требует своих модулей ядра и спокойно перезапускается. Сюда же относится лёгкий клиент к внешнему API: сама модель живёт у провайдера, а на сервере только тонкая прослойка. Тут, правда, отдельный вопрос, готовы ли вы отправлять документы наружу. Свой сервер этот вопрос сам по себе не закрывает.

А вот если модель крутится локально, то это уже ровно та строка из статьи «KVM нужен для ИИ», и спорить тут не о чем.

Одно место я бы уточнила. Про KVM сказано «гарантированные ресурсы», и с памятью это в целом звучит честно. Но процессорное время на KVM тоже можно продать с запасом, это вопрос политики хостера, а не технологии. Тип виртуализации systemd-detect-virt покажет, а вот насколько у вас тесно с соседями — нет. Для этого полезнее посмотреть на поле st (steal) в top, пока у вас идёт реальная нагрузка, а не в тишине. Если оно заметно растёт как раз тогда, когда модель генерирует ответ, медленная генерация может быть связана не с моделью и не с настройками. Возможно, процессор просто достаётся вам не целиком.

Статья от этого хуже не становится. Просто «KVM» — это ответ на вопрос «что я смогу запустить», а «сколько у меня на самом деле есть» — уже следующий вопрос, и его стоит проверять отдельно.

masha_spb писал:
Человек открывает самый дешёвый тариф, видит 4 ГБ памяти и считает, что модель влезет.

Добавлю, почему эти 4 ГБ кончаются ещё на этапе счёта, даже на KVM с честной памятью. Сам регулярно попадаюсь: сложу веса, обрадуюсь, а остальное вспомню, когда процесс уже упал))

Конкретных замеров здесь нет, только условная прикидка. Что лежит в RAM, пока модель отвечает:
— веса. В 4-битной квантизации это грубо полбайта на параметр плюс служебные таблицы. Модель на 7B выходит около 4 ГБ, на 3B примерно 2 ГБ;
— KV-кэш. Он растёт вместе с контекстом, а у ассистента по документам контекст длинный по определению: туда же подкладываются куски файлов. Сколько он займёт, зависит от архитектуры модели и движка, но это не копейки;
— сам движок, интерфейс в контейнере и система.

Получается, что 7B на четырёх гигабайтах не влезает даже при идеальной виртуализации. 3B влезть может, но запас тогда съедает контекст. OpenVZ с переподпиской добавляет ещё одну неизвестную: непонятно, сколько из показанной памяти реально есть в момент пика.

Я бы начинал разговор с человеком с вопроса «какой длины документы и сколько их нужно держать в одном ответе». Из ответа хотя бы грубо понятно, сколько памяти понадобится, и уже под эту цифру выбирать тип виртуализации и размер тарифа.

gleb_tomsk писал:
сложу веса, обрадуюсь, а остальное вспомню, когда процесс уже упал

Это я с картинками, только вместо RAM видеопамять. Дома 12 ГБ, чекпоинт SDXL около 6,5, думаю: полно места. Потом VAE на большом кадре, пара LoRA, апскейл, и ComfyUI пишет out of memory. Теперь мои 12 ГБ в голове значат «восемь, если не наглеть». А на CPU-сервере память меня даже не волнует: там первой кончится терпение.

alisa_sd писал:
Теперь мои 12 ГБ в голове значат «восемь, если не наглеть».

Я бы проверяла не первый кадр, а третий подряд. Первый прогон идёт на чистой памяти, а потом что-то может остаться загруженным: прошлый чекпоинт, кэш, LoRA, которую уже убрали из графа. Тогда «восемь» тихо превращаются в шесть. С моделью на сервере так же: один удачный ответ ничего не доказывает, падать любят на повторном запросе с длинным контекстом.