0
Отвечен

ВЫСОКИЙ УРОВЕНЬ ИСПОЛЬЗОВАНИЯ HDD на VDS

Сэмюэль 8 лет назад обновлен SocialKit (Руководитель ТП) 8 лет назад 34

За два дня получил два предупреждения от админов VDS сервера за превышение лимита использования HDD.


Эти два дня я пользуюсь авторегером акков на SK.

Это функция авторегера так беспощадно использует ресурсы?


Реально необычное как-то. В остальном аккаунты ведут нормальную работу МФ и МЛ в количестве 120 шт.


Прикладываю скрин активности HDD из кабинета VDS


Image 3512


У вас очень маленький диск, советую увеличить до 60 Гб и забыть о проблеме, я через это прошел,
но опять же если будете при задании давать авто-сохранение списка, то и 60 будет мало, но судя по нагрузке вы не используете авто-сохранение списка :)

Кстати хватает ли вам оперативки и процессора?
я просто увеличил проц до 8 ядер и оперативку до 6 г
и чувствую, что выбросил деньги, программа столько не занимает .
немного тормозит и я подумываю перейти на ssd
работаю так же 100 - 130 акк + иногда на лайкинг +1000

Отвечен

Здравствуйте!


11го числа был всплеск, превышающий стандартную активность в 10 раз. Регистратор аккаунтов не мог создать такую нагрузку на HDD, т.к. в этом модуле просто-напросто нет кода, который так активно использовал бы HDD. В целом, SocialKit достаточно активно использует HDD, чтобы снизить нагрузку на ОЗУ, т.к. Windows не позволяет одному приложению использовать непрерывные участки памяти более 1.2Гб. Разумеется, мы еще раз проверим эту информацию. Если у Вас есть еще какая-либо информация, подтверждающая информацию о том, что именно модуль регистрации так активно расходует дисковый ресурс, то будем признательны за нее.

всё, заблокировали. почти 6 месяцев никаких проблем не было.


Перед блокировкой нагрузка процессора была 95% почти сутки так держалась.

По очереди ставил на пазу акки группами чтоб понять какие именно вызывают такую нагрузку. Так и не разобрался.


Очень хреново. Учитывая, что там остались все служебные файлы, логи и т.д.


благо есть возможность пройти по амнистии и самостоятельно разблокироватся. Но что это за проблема такая?

НАГРУЗКА НА ПРОЦ

НАГРУЗКА НА ДИСК


ТРАФИК

кстати, продолжал регать акки авторегером через соксы, но ни один не зарегился, регистрировал как раз в это время приблизительно. Думаю грешные мысли именно на это.


прокси просто из инета, но 5 раз проверенные встроенным чекером.

Оказывается я сделал скрин менеджера задач как раз в тот момент как делал паузы группам акком. Произошло резкое падение нагрузки, но потом она снова подросла. даже без запуска этой группы.


процессор тут не причем, у вас превышение лимита на запись на диск,
а я вам писал, увеличьте диск в три раза, хотя такой пик записи, который вы создали ни один тариф не выдержал бы. IOPS пиково превысил все допустимые нормы. пик длился несколько минут меньше часа,
программа что то очень активно и много записывала на диск

Варан, да я уже 6й месяц работаю на тарифе включающем 1гб оперативки, винт 20 гб и 1х2,8 Гц, правда на третий месяц увеличил до 2х2,8Гц, оч медленные отклики от программы были. Может есть смысл увеличить ещё до 2гб оперативку, но мне пока не принципиально для работы.


А проблема с объёмом дисковой нагрузки возросла за последние 5 дней. И это, предполагается, связано с масрегом акков на проксях некачественных.


Без регистрации акков масрегом, претензий от админов VDS не было.

+1

я думаю это был лог, раз речь идет о реге акков, кроме лога не на что думать

Судя по скриншотам, нагрузка на ЦП сутки не держалась 95%, т.к. среднесуточная нагрузка не составляет и 30%, а пики не доходят даже до 50%. Что касается диска, то, действительно, логирование в совокупности с игнор-листами (если они включены) и перезаписью основного списка с профилями (если это включено) могут создавать некоторый дисковый трафик. Опять же, размер этого трафика больше зависит от размеров игнор-листов и основного списка с профилями.


Если речь о регистрации, то логирование там действительно интенсивное, но вряд ли на столько, чтобы создавать 100Гб дискового трафика в сутки. Тем не менее, этот момент мы будем проверять. Мы постоянно работаем над улучшением производительности ПО, снижении потребляемых ресурсов. Учитывая задачи, снизить нагрузку на всё аппаратное обеспечение до тех пределов, которые будут приемлемыми для облачных сервисов, предоставляющих аппаратные ресурсы в динамике, не представляется возможным. Особенно в массовой работе. Нужно понимать, что задачи, выполняемые SocialKit, способны в некоторых случаях полностью загрузить даже выделенный сервер. Именно потому наша программа выполнена в виде Desktop-приложения, а не облачного сервиса.

" SocialKit 5 часов назад Судя по скриншотам, нагрузка на ЦП сутки не держалась 95%, т.к. среднесуточная нагрузка не составляет и 30%"


- Не вру. Может я не понимаю техническую часть. Но данные Менеджера задач, в данном случае "95% нагрузки", всегда как-то отличаются от того, что показывает статистика в кабинете.


Я же вижу, что процессор загружен и отклики от программы тормозят. И я постоянно через тимвивер слежу за работой. А статистика кабинета в результате отличается. Я уже несколько раз такое заметил. Но вот спорить не буду, целые сутки не следил.

+1

95% - это загруз ЦП в целом или нагрузка, которую дает процесс SocialKit.exe? По своему опыту знаем, что к облачному серверу лучше подключаться через RDP, т.к. TeamViewer на стандартной конфигурации может показывать до 25% нагрузки на ЦП. На самом деле это не так. На облачных серверах аппаратные ресурсы распределяются динамически, потому заявленная хостером конфигурация справедлива лишь "на бумаге". По факту полный объём ресурсов нельзя использовать у 95% хост-провайдеров облачных услуг. Рекомендуем Вам во время поиска хост-провайдера сразу обсуждать с саппортом этот момент. Не обязательно говорить, что именно Вы будете делать. Не заблокируют ли аккаунт, если Вы будете использовать 100% всех выделенных аппаратных ресурсов: ЦП, ОЗУ, диск, сеть. На этом моменте, как правило, хост-провайдеры начинают "сдавать назад" и пытаться выяснить, зачем именно нужно создавать постоянную нагрузку. Можно сказать, что имеется свое ПО, которое производит математические расчёты, интенсивно при этом работая с диском и Интернет. Если подводных камней в договоре нет, то хост-провайдер скажет что-то вроде: "все заявленные ресурсы доступны Вам для использования". В противном случае хост-провайдер покажет пункт, который запрещает работу с подобным ПО.


Поясним, что такая позиция хост-провайдера обусловлена вовсе не предвзятым отношением к каким-либо программам. Дело исключительно в деньгах. ПО, обеспечивающее распределенное выделение ресурсов, позволяет на одном слоте раздать множество виртуальных серверов. При этом чем меньше нагрузка на каждом из аккаунтов, тем больше виртуальных серверов можно раздать. Совершенно понятно, что хост-провайдеру выгоден десяток пользователей со средней нагрузкой, чем 2-3 с максимальной.

других процессов на VDS не делаю. Обратите внимание на нижнюю запись, причину нагрузки я вычислил. Может Вам будет интересно что это за прокси такой. Ну или Вам и так ясно :)))


Нагрузку давала SK но по причине этого прокси.

И кстати, спасибо за ответы.

Я ценю Ваше внимание к моим вопросам.

Снова выросла нагрузка на ЦП. Помню Ваше замечание, что нагрузка процессора и объём дисковой нагрузки не связаны.


Но может быть интересным, я вычислил, что именно вот этот прокси 88.132.10.72:8088 HTTP(S) увеличивает нагрузку процессора на +65-75% таким образом напрягая его аж на 95-100%


А попытки остановить работу аккаунта на этом прокси приводили к тому, что главное окно программы блокировалось всплывающим окном "Завершение активных задач" которое в свою очередь висело на 50% и не закрывалось. Удалось сбросить это окно только через запуск функции Экспортировать в файл , а второй раз удалось сбросить это окно через целую серию разных манипуляций с функциями программы.


НАГРУЗКА В НАЧАЛЕ


ПОСТАВИЛ НА ПАУЗУ


ОТМЕНИЛ ЗАДАНИЕ

Похоже, что процесс, выполняющийся на этом аккаунте через данный прокси, завис. Вероятно, из-за самого прокси.


А что делал аккаунт на этом прокси? Какое задание? Также напоминаем, что задание на любом аккаунте можно остановить два раза по очереди нажав кнопку "Отмена" в главном окне.

МЛ делал.


Вот как раз второй раз нажатие на Отмена и вызвало зависание окна Завершение активных задач на 50%, потому что первое нажатие не завершило работу акка как положено.


На этом прокси висело два акка и второй вроде нормально остановился, ну он уже светился в этот момент закрашеной красной полосой (хотя судя по его логу он работал буквально до момента пока я его не тормознул), а этот акка (который вызвал зависание) не светился и казалось что он норм работает, но его лог показывает что он перестал работать сегодня в 13:48 по Мск.

сейчас нагрузка штатная, как обычно

Блин, да они издеваются.

Я уже не регистрирую акки массрегом больше суток.

Что происходит то?


+1

Так регистратор и не мог создавать такую нагрузку на HDD. Нагрузка на HDD может создаваться в процессе работы задач на МФ и МЛ в случаях, когда: используются игнор-листы и они достаточно велики, стоит автосохранеие списков профилей, по которым выполняется МФ и/или МЛ и они (списки профилей) достаточно велики, выставлен большой размер лог-файла перед его очисткой.


Скорее всего, дело в игнор-листах, который программа формирует по каждому аккаунту.

так, значит очистить что? Где удалить?

ПАРНИ, Я НИЧЕГО НЕ ПОНИМАЮ В ЭТИХ ГРАФИКАХ И ПРЕТЕНЗИЯХ АДМИНОВ.

Что происходит, то?

+1

Претензия админов облачного сервиса, как обычно, в том, что ресурсы, выделяемые (якобы) для использования на личное усмотрение на самом деле лишь "на бумаге". По факту нагрузка должна быть ниже средней. В противном случае начинают сыпаться угрозы. По сути это мошенничество, которым промышляют 95% провайдеров облачных хост-услуг.


Для начала посмотрите (выборочно) на то, сколько записей в игнор-листах по тем аккаунтам, что находятся у Вас в работе. Посмотреть это можно из главного окна через контекстное меню (правая кнопка мыши на ЦА или ТА). Если счет идет на сотни тысяч профилей в каждом игнор-листе, то это одно из узких мест. По меркам домашнего ПК 3Гб в час - это смешная нагрузка, но по меркам облака это уже повод для претензии (видимо). Следовательно, можно отключать игнор-листы перед установкой задач.

За время работы с вами, я начал с пару аккаунтов друзей для себя и сейчас уже оброс несколькими сотнями. Проверить все игнор листы это просто очень много.


1. Значит по аккаунтом в которых использование игнорлистов для меня не важно (условно боты), я просто отключаю их их каждый раз перед запуском.


2. Проверить размер лог-файла по умолчанию.


3. Проверить автосохранение списков миллионников.


Я всё правильно понял?


P.S. Спасибо за подсказки и особенно за разъяснение причин такой работы, и очень особенно спасибо за инфо-справку по хитро№опой тактике работы облачных сервисов, полезно.

Пожалуйста. Все игнор-листы не надо проверять. Можно проверить выборочно. Например, от тех аккаунтов, с которыми Вы работаете чаще всего. Это можно просто глазами обойти, зайдя в папку, которая указана в SK как папка для временных и служебных файлов. Вас интересуют все файлы с расширением ".ignr".


1. Да, можно отключить. Программа все равно не будет подписывать ЦА на те профили, с которыми уже есть взаимоотношения.

2. Да.

3. Да, если включено, то это всяко "мотает" ресурс.

РЕБЯТ разработчики, вы всё же что-то таки очень сильно изменили в алгоритме работы программы. только обновился и перезапустил и через 3 часа блокировка.


В работе я держал только 15-20 акков (а до этого 150-200 и всё норм было), уже даже без автосохранения списка работал.


В итоге мне снова заблокировали VDS сервер. Теперь получается либо брать дороже VDS на SSD диске либо покупать стационарный комп (что в рамках года будет одинаковым по сумме расходов).


Конечно эта ситуация августа очень удачно совпала с маркетинговой акцией по скидкам на заказ VDS с SSD, и от этого теория заговора у меня в голове сформировалась о чём я написал в тех поддержку но, там предложили или продолжить в том же духе или вернуть деньги.



+1

Здравствуйте!


А Вы не хотите попробовать другой VDS? Мы сейчас обдумываем сотрудничество с одной конторой, которая знает о нашем ПО и о том, что люди на нем делают. Там, вроде, не должно быть таких проблем. По крайней мере, нас так заверяли. Посмотрите, возможно, Вас это заинтересует: http://vpsville.ru/


Также, пожалуйста, прикрепите скриншоты, где видны настройки всех закладок задачи, которую Вы массово устанавливаете на ЦА. Посмотрите также, пожалуйста, на размеры игнор-листов по этим аккаунтам.

:)))))))) вовремя кто-то саботировал RUVDS


Посмотрите также, пожалуйста, на размеры игнор-листов по этим аккаунтам

А размер Игнор листа в штуках (количество пунктов) или в Мегабайтах посмотреть?


...прикрепите скриншоты, где видны настройки всех закладок задачи...

Скриншот главного окна сделать?

+1

Вам конечно хостинг-провайдера менять нужно было, и уже давно. ссылки кидать отказываюсь но 1ядро 1024 Mb 20SSD = 3$ в месяц (сервера в европе) держу нагрузку в том числе другим софтом под 95% сутками! у них же

4 ядра Intel Xeon ОЗУ 4192 Mb SSD-диск 50 000 Mb = 15 бакинских комисаров) (это цены уже с виндой) так что как говорится ищите и обрящите))

кстати вопрос игнор листы как то в принципе чистить можно? например если просто поудалять их файлы это корректно для SK?

+1

ПРОМОкод socialkit дает +300 рублей при пополнении баланса от 100р к VDS http://vpsville.ru/ Лично с ними созванивались, все проблемы решаемы, блокировок у них не было и не ожидается за использование нашего софта.

Сервис поддержки клиентов работает на платформе UserEcho