Rclone на первый взгляд кажется прожорливым: команда синхронизирует терабайты между S3, Google Drive и локальным диском, и логично ждать, что память кончится где-то на середине переноса. На практике всё не так — rclone почти никогда не держит в памяти сами данные файлов, он их стримит. Память съедают другие вещи: количество параллельных передач, размер буферов на каждую, листинг дерева из сотен тысяч объектов и мультипарт-аплоуд в облачные бэкенды. Разберём, что конкретно грузит RAM в rclone и как посчитать свою цифру, а не гадать по объёму данных.
Подробнее →