Фильтрация повисает

видимо прокси кончились)

т.е. что получается 1 прокси на 300 аккаунтов хватило?!

это вопросы к поставщику)

100 6ок для максимальной нагрузки мало! (хотя наверно конечно смотря какие 6ки, но чтобы такое держать не встречал)

ставь вторую птичку! 100 прокси - 100 потоков, коэф 1

список на 2.5 млн лучше разделить части на 3-4 и давать проксям после каждого круга "отдышаться"

не попадались мне пока прокси, чтобы фильтровку анлим выдерживали (из дешёвых конечно)

походу тут лучше тихим сапом, чем никак

брал 250 прокси, так даже с передыхами и в 200 потоков умерли на 4й день

сейчас фильтрую на 40 шт. ipv4 от другого сервиса тот же список, отфильтровало уже 260 тыс.

Здравствуйте.

Можно попробовать рекомендации, предложение выше по разбиению больших списков на части.

Фильтровать сейчас рекомендуется с коэффициентом 1, "нагрузку на систему" при этом для 40 прокси ставьте "минимальную", для 100 прокси "среднюю".

А что значит "сейчас"? Это в связи с новыми изменениями в алгоритмах инстаграм?

У меня на 40 прокси при максимальной на нагрузке на систему ЦП используется на 60% WIN Server 2012 R2! Что мне даст переключение на режим "минимальный"?

Я фильтрую на Ipv6 32-я подсеть 100 шт. Временами фильтрация "висит", т.е. не выполняется! Предполагаю, что какой-то прокси провисает! Бывает через 3-10 часов фильтрация продолжается, а бывает нет...

Т.е. чтоб не гадать перезапускать фильтрацию или нет, возможно ли внедрить опцию которая в случае, например, остановки задания на фильтрацию на 1 час проверялись прокси и фильтрация возобновлялась?

Или как эту проблему возможно решить?

Добрый день.

Остановите задачу на фильтрацию  и запустите заново, только добавьте прокси вручную и там же выполните проверку прокси перед стартом фильтрации:

Я проверку прокси постоянно делаю перед фильтрацией! И какая будет разница что я задал их вручную, а не через использовать общие прокси? Когда я указываю использовать общие прокси у меня тоже спрашивает проверять прокси или нет!

Какой у Вас стоит коэффициент умножения в настройках? В связи с изменением логики инстаграм,фильтр стабильно работает только со значением 1.

Да я знаю, коэффициент 1 использую, я это обсуждал с вами ниже!

Мне не понятно почему "подвисает" фильтрация!

Где-то провисают прокси? Ведь если б не работали прокси, то она бы и не продолжалась?!

Хотя бывает и не продолжается...

Перед началом фильтрации рассчитывается во сколько потоков будет обрабатываться каждый блок, в зависимости от количества добавленных прокси. Во время фильтрации изменить размер этого блока нельзя. Поэтому нужно побеспокоиться о том, чтобы прокси работали более менее качественно или разбить фильтруемую базу на меньшие части, если известно, что прокси в какие-то моменты отпадают. 

Понятно! Вот в том то и дело что не известно когда мои прокси отпадают...

Спасибо!

Были изменения в логике работы инстаграм, поэтому рекомендуемый коэффициент умножения при фильтрации и обработке списков равен 1.

Рекомендуемые настройки "Нагрузки на систему" такие:

- "Минимальная" позволяет работать не более, чем в 50 потоков;

- "Средняя" позволяет работать не более, чем в 100 потоков;

- "Высокая" позволяет работать не более, чем в 200 потоков;

- "Максимальная" позволяет работать не более, чем в 400 потоков.

Только что на этих же 100 IPv6 успешно отфильтровал список из 750 тыс. в 100 потоков (с коэф 1). Скорость в начале была 2 сек, потом от 2-5 сек!

Чудеса какие-то! Какое этому может быть объяснение?

никаких чудес) 1 прокси - 1 поток и будут жить (дольше)

4ки получше справляются

и в данном случае сила компа тут ни при чём)

раньше "Нагрузка на систему" надо было понимать буквально, сейчас это скорее "Нагрузка на прокси"

В 2 потока я еле 30 тыс. отфильтровывал! Т.е. что получается, инста отслеживает сколько соединений с 1 прокси и налаживает ограничение на фильтрацию?!

мне всё же кажется вопрос в качестве прокси