Масслукинг
Здравствуйте.
В последние дни замечаю такую тенденцию, что весь день и вечер все работает ровненько, а за ночь почти ничего не происходит.
Если ранее обработка блоков согласно настройкам была 3-5 сек (массовый просмотр сториз) и я четко мог это проследить по логам, то ночью все это превращается в 10-20 сек. Ниже свежий скрин.
Тут порой даже 30-40 сек между блоками и так на всех аккаунтах.
Все аккаунты посажены на приватный ipv6 из 48 подсети (у всех одна подсеть) и я разумеется сразу подумал на прокси.
Но здесь интересно другое, не останавливая старую партию аккаунтов, запускаю новую на этой же подсети и она параллельно работает в тех же 3-5 сек, которые я указывал для задачи.
Старая партия работает как черепаха, а новая как ни в чем не бывало шпарит по заданным интервалам )))
Из этого получаем, что часа за 4-5 вечером аккаунты пробегают по 400к, ошибок в логах никаких нет при этом, а за всю ночь (7-8 часов) эти же аккаунты проходят всего 200к.
Скажите пожалуйста, почему может возникать такая задержка?
В логах ошибок нет, просто медленнее сами блоки обрабатываются.
Может ли это быть связано с перегрузом ОЗУ?
В программе показывает нагрузку 60%, а вот этой ночью я оставил открытым браузер со вкладкой ютьюба и там висела ошибка "Недостаточной оперативной памяти, обновите страницу".
Спасибо.
Сервис поддержки клиентов работает на платформе UserEcho
Здравствуйте.
Эта ситуация описана в статье, посвященной массулкингу. На скорость просмотра и сбора базы активности "на лету" влияют следующие факторы:
1. Установленные тайм-ауты
2. Скорость отклика прокси и производительность Инетнерт соединения
3. Нагрузка на ЦП
4. Скорость отклика серверов Instagram.
Исходя из Вашего описания первые три пункта у Вас неизменны, тогда остается пункт 4 - и это самая популярная причина, влияющая на скорость работы. Дело в том, что Instagram отслеживает аномальную активность в плане отправляемых запросов от имени того или иного аккаунта и в качестве предварительных мер снижает в реальном времени скорость ответа своих серверов для того или иного аккаунта. Т.к. каждый ответ содержит довольно большой объем данных (рассказы по большой группе аккаунтов), то и скорость передачи этих данных может быть разной.
В данной ситуации Вы сделать ничего не сможете. Можете попробовать выполнить для таких аккаунтов повторную инициализацию (получить новую сессию), если скорость ответа низкая уже несколько дней, но вряд ли это поможет.
Благодарю за столь развернутый ответ, попробую два варианта:
1. Получить новые тех данные.
2. Сажать на другой прокси!
Пожалуйста, обращайтесь.