Тезисы выступления компании 7910 e-commerce на конференции "Электронная коммерция и торговля - 2008" на тему "Готовые программные решения для электронной коммерции" Подробнее»
Здравствуйте.
Парсер Совместных покупок не видит товары. Ниже ответ от компании.
"Тех отдел Турбопарсера рассмотрел парсинг сайта http://ruchki-v-teple.7910.org . На данный момент выполняется блокировка действий парсера со стороны Вашего сайта. Просим добавить наши IP адреса в белый список.
IP с которых парсим:
95.217.75.164 95.217.75.165 95.217.75.166
После добавления напишите нам и мы перенастроим парсинг сайта. Без добавления парсинг сайта будет постраничным.Вероятно сначала работала так как не было большого потока запросов. Вам необходимо обратиться к Вашему программисту, чтобы он прописал это в коде сайта."
Как сделать что бы парсер заработал? Где код, куда вставляется адрес?
Спасибо
IP адреса турбопарсера попадают в черный список из-за того, что создают очень большую нагрузку на сервер. С одного IP адреса создается более 30 подключений в секунду и аппаратная система Cisco по защите сервера от атак блокирует такие IP адреса.
Это если одновременно много человек хотят им воспользоваться, или сама программа прасера грузит ?
В общем, что делать ? :) парсер может работать, хот в какие то периоды ?
Это сам парсер создает более 30 подключений в секунду. Ни в какое время суток невозможен доступ парсера с такой нагрузкой. Есть аппаратные ограничения в серверных системах Cisco по защите сервера от атак, которые не допускают такую нагрузку на сервера. На подавляющем большинстве хостингов, особенно зарубежных, установлены аппаратные защиты Cisco, также и на наших серверах. Разработчики парсеров должны учитывать этот факт и писать корректный программный код парсера так, как это сделано у роботов поисковых систем, делать секундные паузы между запросами страниц сайта.
Сделали, но даже постранично не видит товар. Может куда их ip добавить?
"
Тех отдел рассмотрел Ваш запрос. Добавили задержку между запросами, но без добавления адресов в белый список парсинг сайта возможен только постраничный."
Данных IP адресов: 95.217.75.164 95.217.75.165 95.217.75.166 на данный момент нет в черном списке и доступ к страницам сайта открыт. Если будет хотя бы полусекундная задержка между запросами, то индексация сайта возможна.