Запускаете rsync на каталог с парой миллионов мелких файлов — и вместо ожидаемых минут получаете часы, при этом счётчик переданных байт почти не двигается, а диск и сеть загружены на считаные проценты. Дело не в диске и не в канале: rsync ещё до передачи первого байта должен построить и сравнить два списка файлов, а это операция, чья цена растёт с количеством файлов, а не с их суммарным объёмом. Разберём, из чего складывается эта цена, где именно она превращается в потолок, и какие подходы реально работают, когда файлов слишком много для обычного rsync.
Подробнее →