Я пытаюсь развернуть проект scrapy с помощью scrapyd. Я могу нормально запустить свой проект, используя cd /var/www/api/scrapy/dirbot scrapy crawl dmoz Я сделал это шаг за шагом: 1 / я бегу scrapy version -v >> Scrapy : 0.16.3...

Я установил scrapyd следующим образом pip install scrapyd Я хочу использовать scrapyd-deploy когда я набираю скрапид я получил это исключение в cmd: 'scrapyd' не распознается как внутренняя или внешняя команда, исполняемая...

Недавно я опубликовал рабочий код в scrapyd. Я получаю сообщение об ошибке ниже, когда я запускаю очистку. Я рассмотрел эту закрытую проблему: https://github.com/scrapy/scrapy/issues/86 и внедрил рекомендуемое исправление в соответствии с...

У меня есть расширение, которое подключается к Spider_opened и Spider_closed. Метод spider_opened вызывается правильно, а метод spider_closed — нет. Я закрываю паука, вызывая конечную точку отмены scrapyd. class SpiderCtlExtension(object):...

Я только что попробовал запустить несколько поисковых роботов в одном процессе, используя новую документацию по скрэпу но я получаю: AttributeError: объект «CrawlerProcess» не имеет атрибута «сканирование» Я нашел это сообщение SO с той же...

Я могу запустить паука в scrapy с помощью простой команды scrapy crawl custom_spider -a input_val=5 -a input_val2=6 где input_val и input_val2 — значения, которые я передаю пауку и вышеописанный метод работает нормально.. Однако при...

Отслеживание (последний вызов последний): Файл "/ usr / local / bin / scrapyd-deploy", строка 273, в файле main () "/ usr / local / bin / scrapyd-deploy", строка 95, в основном яйце, tmpdir = _build_egg () File "/ usr / local / bin /...

Я много искал по этому поводу, возможно, у него есть простое решение, которое мне не хватает. У меня есть установка scrapy + scrapyd как на моем локальном компьютере, так и на моем сервере. Они оба работают нормально, когда я пробую как "scrapyd"....

При просмотре веб-сайта базовой системы папок, который использует каталоги для хранения файлов, yield scrapy.Request(url1, callback=self.parse) переходит по ссылкам и очищает все содержимое просканированной ссылки, но я обычно сталкиваюсь с...

Я использую scrapy для сбора данных. Запуск пауков с помощью scrapyd. Файл с результатами добавляется по умолчанию в /data/scrapyd/items/ {имя_паука}/ {идентификатор_задания}.jl job_id — Устанавливает scrapyd. Подскажите пожалуйста, можно...