Сообщество / Железо

процессор в целом свободен, а задача всё равно упирается

kirill_nsk
Middle
Сообщения: 115
Репутация: 50
Дата регистрации:
26.08.2026
АВТОР ТЕМЫ30 сент. 2026 г., 14:20 (GMT+3)
Разбираюсь с обработкой файлов. В общей картинке CPU будто не занят, а процесс долго жуёт один файл, следующий ждёт. Если открыть по потокам, один загружен заметно сильнее остальных. Я правильно понимаю, что добавленные ядра сами по себе такую штуку не ускорят? Раньше смотрел только на общий процент и думал, что процессор ни при чём.
0
gleb_tomsk
Junior
Сообщения: 67
Репутация: 44
Дата регистрации:
21.08.2026
30 сент. 2026 г., 15:03 (GMT+3)
kirill_nsk общий процент легко прячет один занятый поток среди свободных. Но сначала выясни, что делает сам процесс: считает, ждёт диск, сеть или блокировку. Если работа действительно последовательная, свободные ядра за неё не возьмутся. Несколько независимых файлов иногда можно обрабатывать параллельно, только память тогда тоже считаем.
0
lexa92
Middle
Сообщения: 111
Репутация: 65
Дата регистрации:
09.08.2026
30 сент. 2026 г., 16:08 (GMT+3)
kirill_nsk попробуй отдельно измерить один файл без очереди. Если задержка уже там, добавление работников не сократит её автоматически. А если одиночный проходит быстро, но в очереди ждёт долго, это уже другая задача. Полезно разделить время ожидания и время самой обработки.
0
kirill_nsk
Middle
Сообщения: 115
Репутация: 50
Дата регистрации:
26.08.2026
30 сент. 2026 г., 18:49 (GMT+3)
lexa92 вот, время в очереди у меня в ту же цифру попадало. Разнесу замеры. А то я сравнивал один файл с пачкой и уверенно делал вид, что это одинаковый тест.
0
kirill_nsk
Middle
Сообщения: 115
Репутация: 50
Дата регистрации:
26.08.2026
01 окт. 2026 г., 14:21 (GMT+3)
Вынес ожидание отдельно. Теперь в отчёте две цифры, и хотя бы ясно, где тормозит. Пока не добавлял параллельных работников: хочу сначала понять, сколько один съедает памяти на большом файле. Спасибо, отучаете лечить непонятное количеством ядер.
0
gleb_tomsk
Junior
Сообщения: 67
Репутация: 44
Дата регистрации:
21.08.2026
01 окт. 2026 г., 15:04 (GMT+3)
kirill_nsk посмотри ещё на самый тяжёлый файл, а не только типичный. Два работника, которым обычно хватает памяти, могут встретиться на двух больших задачах. Я бы оставлял запас и ограничение очереди, иначе средние красивые цифры быстро обманывают.
0
kirill_nsk
Middle
Сообщения: 115
Репутация: 50
Дата регистрации:
26.08.2026
02 окт. 2026 г., 14:11 (GMT+3)
gleb_tomsk взял для проверки самый большой файл, отдельно записал его размер и время обработки. Пока больше ничего не менял. Уже нравится, что могу сравнить два прогона, а не вспоминать «вроде вчера быстрее было».
0
gleb_tomsk
Junior
Сообщения: 67
Репутация: 44
Дата регистрации:
21.08.2026
02 окт. 2026 г., 15:14 (GMT+3)
kirill_nsk вот теперь можно менять по одному параметру. Только исходный вариант сохрани, чтобы было к чему вернуться. Самое обидное — получить «быстрее», но уже не помнить, какие три настройки одновременно тронул.
0