Вопрос:
Привет, я хочу, чтобы экран очистил сайт, как визг, чтобы получить номера телефонов итальянских ресторанов.. Я создал простую программу, чтобы делать то, что я хотел, но они заблокировали мои серверы ip
Я использую php для этого. Как я могу пройти через блок ip?
Я слышал о таких программах, как screen-scraper, но я до сих пор еще не использовал его
Каков наилучший способ сделать это? и можно ли использовать экран-скребок с php?
Обратите внимание, что * это для личного проекта, над которым я работаю, его не создавать бизнес из него
Ответ №1
Если вы делаете это ради коммерческой выгоды, остановитесь прямо там, где вы находитесь. Посмотрите, можете ли вы найти лицензионные средства для получения одних и тех же данных или самим фунтом тротуар. Некоторые компании намеренно вводят ошибки или идентифицируемые опечатки в свою информацию как способ поймать таких людей, как вы, и предпримут юридические шаги для защиты своей интеллектуальной собственности (хотя эта информация абсолютно бесплатна, если ее собирают любым другим способом). Быть дешевым иногда может быть очень дорого.
Если вы не делаете это для коммерческой выгоды (и вы просто очень любите итальянскую кухню), двигайте серверы или ждите, пока блок IP не поднимет (что может быть никогда). Перепишите свой код и поместите в свои запросы массивный ограничитель скорости (эмулируйте пользователя и получайте одну страницу каждые 5-10 секунд или около того). Скрестите сайт в течение нескольких дней на коротких сеансах. Если они видят слишком много запросов от одного IP-адреса слишком короткое время, они снова закроют вас в черный список. Если бы вы были ими, вы тоже.
Ответ №2
Если вам нужны только номера телефонов, возможно, есть более простой способ получить эту информацию, все на одной странице. Попробуйте сортировать сайт на желтых страницах. Посмотрите итальянские рестораны в вашем районе. Сохраните всю страницу. Затем у вас есть цифры.
Возможно, есть и другой сайт, который имеет эту информацию, доступную через API, так что вам не нужно нарушать какие-либо условия обслуживания. Плохо написанные или агрессивные скрипты скремблирования могут временно повредить веб-серверы – есть причины, по которым сайты блокируют эти действия.