Как заставить scrapy сканировать повторяющийся URL-адрес?

Вероятно, вы ищете аргумент dont_filter=True в Request(). См. http://doc.scrapy.org/en/latest/topics/request-response.html#request-objects

Более элегантным решением является полное отключение дублирующего фильтра:

# settings.py
DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'

Таким образом, вам не нужно загромождать весь код создания запроса dont_filter=True. Еще один побочный эффект: это отключает только фильтрацию дубликатов, а не какие-либо другие фильтры, такие как фильтрация вне сайта.

Если вы хотите использовать этот параметр выборочно только для одного или нескольких поисковых роботов в вашем проекте, вы можете установить его через custom_settings в реализации паука:

class MySpider(scrapy.Spider):
    name = 'myspider'

    custom_settings = {
        'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter',
    }