Комментарий к другому из моих вопросов говорит, что я могу выполнить только “столько” потоков, что я видел где-то в другом месте.
Как начинающий новичок, как определить максимальное количество потоков для использования? Или это вопрос длительности вопроса? От чего это зависит? Конфигурация оборудования или что?
(VB в MS Visual Studio с .Net 3.5, если это имеет значение)
Обновление: кому-нибудь известно о любом s/w-инструменте, который может предложить несколько потоков (или задач), или я должен просто закодировать свой собственный, который продолжает пробовать разные числа, пока пропускная способность не упадет?
[Upperdate] Почти семь лет спустя, и теперь у нас сайт рекомендаций по программному обеспечению, поэтому я спросил если есть инструмент, чтобы помочь с этим.
Это зависит от оборудования, поскольку вы (возможно) не используете теоретический компьютер, а физический аппаратный, поэтому у вас ограниченные ресурсы.
Читайте: Есть ли у Windows предел 2000 потоков на процесс?
Кроме того, даже если вы можете запустить 5000+ потоков, в зависимости от вашего оборудования, которые могут работать намного медленнее, чем 10-нить-эквивалентная программа. Я думаю, вы должны взглянуть на объединение потоков.
Как правило, количество потоков, которые запускаются одновременно, определяется количеством процессоров и ядер ЦП (включая гиперпоточность), которые у вас есть. То есть, в любой момент времени количество потоков, работающих (в операционной системе), равно числу “ядер”.
Сколько потоков, которые вы можете запускать одновременно в вашем приложении, зависит от большого количества факторов. Наилучшим номером (легким человеком) было бы количество ядер на машине, но, конечно же, как будто никто не притворяется (ни одно другое приложение):).
Честно говоря, я бы сказал, что я много занимаюсь многопоточным в .NET/Windows, потому что у человека обычно есть больше “повреждений”, чем пользы, когда у вас нет реального понимания..NET имеет концепцию пула потоков, и вам нужно знать, как это работает в дополнение к Windows.
В .NET 3.5/4.0 вы должны смотреть на Задачи (Task Parallel Library), поскольку библиотека намного лучше определяет, как много нитей (если вообще) икру. С TPL threadpool получает капитальный ремонт, и он намного умнее в вопросе о размножении потоков и краже задач и т.д. Но вы обычно работаете с задачами, а не с потоками.
Это сложная область, и в результате платформа .NET ввела Задачи, чтобы отвлечь программистов от потоков и, таким образом, позволить времени выполнения быть умным об этом, в то время как программист просто скажет, что она хочет, и не столько о том, как для этого.
Каждый поток потребляет больше памяти (стек ядра, блок среды потока, thread-local, stack….). AFAIK в Windows нет явного ограничения, поэтому ограничение будет памятью (вероятно, стек для каждого потока).
В потоках Linux больше похожие процессы (с разделяемой памятью), и вы ограничены:
cat /proc/sys/kernel/threads-max
Довольно хорошее эмпирическое правило при запуске интенсивных задач состоит в том, чтобы запустить тот же номер, что и ваш физический подсчет ядра.
Да, вы можете запускать больше задач, но они будут ждать ресурсов (или потоков в пуле потоков), и ваш ящик, независимо от размера, не может полностью распределить все основные ресурсы процессора в 100% случаев поток из-за фона/других процессов. Таким образом, чем больше задач вы создаете, тем больше потоков вы создаете, поскольку они превосходят фактические возможные параллельные потоки (1 на ядро), тем больше будет выполняться управление ресурсами, очередность и свопинг.
Тест, который мы выполнили, теперь, когда я работаю с использованием вирусного шаблона, чтобы запустить дополнительные задачи, показал, что оптимальный уровень близок к счету процессора как кепку. Задачи, запущенные при соотношении “один к одному” с физическим числом ядер, выполнялись примерно на 1 минуту за каждую задачу. Устанавливается в два раза по счетчику процессора, время задачи перешло с 1 минуты в среднем до 5 минут среднего времени для завершения. Он становится геометрически медленнее, чем больше задач, инициированных за счет ядра.
Так, например, если у вас есть 8 физических ядер, то должны быть самыми быстрыми 8 задач (и использование TPL, по существу 8 одновременных потоков в активном процессе). Существует ваш основной поток или процесс, который создает другие задачи и другие фоновые процессы, но если ящик довольно изолирован для удовольствия от использования ресурсов, они будут довольно минимальными.
Поверхность программирования колпачка вашей задачи основана на подсчете ядра, когда вы жуете задачи из очереди или списка, поэтому при развертывании приложения на коробках разного размера он автоматически настраивается.
Чтобы определить это программно, мы используем
var CoreCount = System.Environment.ProcessorCount / 2;
Зачем делиться на две, спросите вы? Потому что почти все современные процессоры используют логические ядра или гиперпотоки. Вы должны найти со своим собственным тестированием, что, если вы используете логический счет, ваша общая скорость на одну задачу и, следовательно, весь процесс значительно снизится. Физические ядра – это ключ. Мы не могли видеть быстрый способ найти физическое против логического, но быстрый обзор наших ящиков показал, что это последовательно верно. YMMV, но это может стать довольно быстрым.
Это сильно зависит от машины. ЦП и память являются основными ограничивающими факторами (хотя в нее могут войти ограничения ОС).
Что касается .NET, то в игру также входит пул потоков.
Из моего собственного опыта при использовании потоков хорошим правилом для повышения производительности для процессов с привязкой к процессору является использование равного количества потоков в качестве ядер, за исключением случаев с гиперпотоковой системой, и в этом случае следует использовать в два раза больше ядер. Другое эмпирическое правило, которое можно заключить, связано с процессами, связанными с I/O. Это правило состоит в том, чтобы в четыре раза увеличить число потоков на ядра, за исключением случая с гиперпотоковой системой, тогда можно увеличить число потоков на ядро в четыре раза.
Мне удалось запустить 4 потока одновременно на моем текущем старом процессоре (2005). Использование EVGA CPU burner до того, как прозвучал мой зуммер процессора. (Запрограммировано в меню BIOS). Значение я превысило 90 * c. Имейте в виду, что мы говорим о потоках данных, работающих одновременно. хорошим примером может быть одновременное открытие нескольких программ. Но в целом это зависит от того, насколько хорош ваш процессор с многозадачностью. (другими словами, можно обрабатывать многие активные потоки). Безопасным способом тестирования является загрузка “ocscanner (By EVGA)” и “CPU Thermometer” с использованием центрального процессора в OC Scanner. Во время тестирования убедитесь, что ваша температура не превышает 90 * c (или любую температуру, в которой вы чувствуете себя в безопасности) и посмотрите на текущее количество потоков, которые вы запускаете, бросили ваш процессор. начните с 2 потоков, подождите 3-5 минут, наблюдая температуру процессора, добавьте еще один поток, повторите. (НЕ ПРИНИМАЙТЕ СВОЮ УДАЧУ!!!) (НЕ ПОПЫТАЙТЕ, ЕСЛИ ТЕРМОМЕТР ЦП НЕ МОЖЕТ СДЕЛАТЬ ВАШУ ТЕМПЕРАТУРУ!!!)