Здравствуйте. Парсер Совместных покупок не видит товары. Ниже ответ от компании. "Тех отдел Турбопарсера рассмотрел парсинг сайта http://ruchki-v-teple.7910.org . На данный момент выполняется блокировка действий парсера со стороны Вашего сайта. Просим добавить наши IP адреса в белый список. IP с которых парсим: 95.217.75.164 95.217.75.165 95.217.75.166 После добавления напишите нам и мы перенастроим парсинг сайта. Без добавления парсинг сайта будет постраничным.Вероятно сначала работала так как не было большого потока запросов. Вам необходимо обратиться к Вашему программисту, чтобы он прописал это в коде сайта." Как сделать что бы парсер заработал? Где код, куда вставляется адрес? Спасибо

IP адреса турбопарсера попадают в черный список из-за того, что создают очень большую нагрузку на сервер. С одного IP адреса создается более 30 подключений в секунду и аппаратная система Cisco по защите сервера от атак блокирует такие IP адреса.

Это если одновременно много человек хотят им воспользоваться, или сама программа прасера грузит ? В общем, что делать ? :) парсер может работать, хот в какие то периоды ?

Это сам парсер создает более 30 подключений в секунду. Ни в какое время суток невозможен доступ парсера с такой нагрузкой. Есть аппаратные ограничения в серверных системах Cisco по защите сервера от атак, которые не допускают такую нагрузку на сервера. На подавляющем большинстве хостингов, особенно зарубежных, установлены аппаратные защиты Cisco, также и на наших серверах. Разработчики парсеров должны учитывать этот факт и писать корректный программный код парсера так, как это сделано у роботов поисковых систем, делать секундные паузы между запросами страниц сайта.

Сделали, но даже постранично не видит товар. Может куда их ip добавить? " Тех отдел рассмотрел Ваш запрос. Добавили задержку между запросами, но без добавления адресов в белый список парсинг сайта возможен только постраничный."

Данных IP адресов: 95.217.75.164 95.217.75.165 95.217.75.166 на данный момент нет в черном списке и доступ к страницам сайта открыт. Если будет хотя бы полусекундная задержка между запросами, то индексация сайта возможна.

Спасибо. Заработал парсер.