У меня есть основное веб-приложение Django, работающее на Heroku. Я хотел бы добавить паука для сканирования некоторых веб-страниц (например, с помощью Scrapy) на основе запланированной задачи (например, через APScheduler), чтобы получить некоторые таблицы баз данных Django, загруженные собранными данными.
Кто-нибудь знает о документации или примерах для основания для такой интеграции? Мне очень сложно это понять.
Я вообще не использовал Scrapy, но на самом деле я работаю с APScheduler и очень прост в использовании. Поэтому я предпочел бы использовать BackgroundScheduler (внутри вашего приложения Django) и добавить к нему задание, которое периодически запускает вызываемый “паук”.
Здесь вы можете вставить проект Scrapy внутри вашего приложения Django, чтобы вы могли получить доступ к одному из своих “пауков” и эффективно использовать его в качестве вызываемого в запланированной задаче.
Возможно, я немного не помогаю, но я просто пытаюсь дать вам ориентацию на кикстарт. Я почти уверен, что если вы внимательно прочитаете документацию Scrapy, вы сделаете свой путь.
Лучший.