Рано или поздно к вам приходит этот вопрос: сколько людей одновременно смогут пользоваться вашим ИИ-сервисом на одной видеокарте, прежде чем всё начнёт тормозить. Проблема в том, что честного универсального ответа не существует — любое конкретное число, которое вам назовут в интернете («видеокарта X держит Y пользователей»), почти наверняка получено на другой модели, с другим паттерном запросов и на другом движке инференса. Ниже — не число, а методика: как посчитать ёмкость именно вашей конфигурации и как её потом проверить на практике.
Подробнее →