Парсинг

Здравствуйте.

Во время одновременного сбора каждый ТА берет из списка по одному конкуренту и осуществляет с него сбор пользователей. При использовании, например, 20 ТА и 100 конкурентов из списка, будет идти сбор с первых 20 конкурентов. Если с какого-то конкурента техническим аккаунтом будут собраны все пользователи раньше, чем закончат свою работу остальные ТА, то такой ТА перейдет в режим ожидания задания до следующего сбора с группы конкурентов. Если конкурентов в загруженном списке будет меньше, чем ТА, например конкурентов 3, а ТА будет 27, то в работе будет учавствовать только 3 ТА.

Если конкурентов в списке не так много, можно использовать последовательный режим сбора. При последовательном режиме сбора каждый конкурент обрабатывается по очереди (сверху вниз списка). Не важно сколько будет ТА, первый ТА делает 32 запроса (по умолчанию для Mob API), и далее следующие ТА также по 32 запроса. Каждый конкурент обрабатывается последовательно каждым ТА. Если конкурент будет один, то будут чередоваться только ТА.

А что насчёт скорости

Как с гео много людей собирать и быстро? 

При одновременном режиме сбора пользователей скорость будет больше, однако сбор может временно останавливаться, когда объём запросов на всех технических аккаунтах превысит лимит в 5000 запросов. Это ограничение Instagram накладывает на любые способы работы со своим API в том числе и для своего собственного мобильного приложения. После небольшой паузы сбор должен продолжиться.

При последовательном сборе скорость будет меньше, чем у одновременного режима сбора, однако последовательный режим сбора можно использовать в долгосрок, если имеется порядка 8-12 ТА. То есть, когда первый ТА будет переходить в режим ожидания (будет превышен лимит в 32 запроса), сбор пользователей будет переходить ко второму ТА, пока он также не отработает 32 запроса, далее к третьему.. четвертому.. пятому ТА, и т.д.. Таким образом, когда очередь работы дойдет до первого ТА снова, будет также доступно и снова 32 запроса.