Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Инференс падал каждые 40 минут: фрагментация видеопамяти
Сервис инференса падает с CUDA out of memory, хотя nvidia-smi клянётся, что свободной памяти полно. Хуже того — падает не хаотично, а с пугающей регулярностью, будто по таймеру. Если вы уже проверили утечку памяти и она не подтвердилась, велика вероятность, что дело не в объёме, а в том, как этот объём раскрошен на мелкие несовместимые куски. Разбираем инцидент по шагам: что видели, какие версии отбросили и что в итоге решило проблему на продакшене.
Подробнее →