Вы добавили .to('cuda') в код, ожидая ускорения, — а получили результат медленнее, чем на CPU. Первая мысль — «GPU слабый» или «драйвер кривой». На деле почти всегда виновата не видеокарта и не процессор, а путь, которым данные должны проехать между ними: узкая шина PCIe, через которую каждый байт из оперативной памяти хоста попадает в видеопамять. Разберём, почему это узкое место существует физически, когда оно съедает весь выигрыш от параллельных вычислений и как заранее понять, стоит ли овчинка выделки.
Подробнее →