Bezdepbonusu7Программирование: статьи и ответы
Меню

Вопрос

Захват кодов состояния http с помощью паука scrapy

Автор вопроса: reportingmonkeyОтветов: 3

Я новичок в скрапе. Я пишу паука, предназначенного для проверки длинного списка URL-адресов на наличие кодов состояния сервера и, при необходимости, на какие URL-адреса они перенаправляются. Важно, если есть цепочка редиректов, мне нужно знать код состояния и url при каждом переходе. Я использую response.meta['redirect_urls'] для захвата URL-адресов, но не знаю, как захватить коды состояния - похоже, для него нет мета-ключа ответа.

Я понимаю, что мне может понадобиться написать какое-то пользовательское промежуточное ПО для отображения этих значений, но я не совсем понимаю, как регистрировать коды состояния для каждого прыжка и как получить доступ к этим значениям из паука. Я посмотрел, но не могу найти пример того, как кто-то это делает. Если кто-нибудь может указать мне в правильном направлении, это было бы очень признательно.

Например,

    items = []
    item = RedirectItem()
    item['url'] = response.url
    item['redirected_urls'] = response.meta['redirect_urls']
    item['status_codes'] = #????
    items.append(item)

Редактировать. Основываясь на отзывах от warawauk и активной помощи ребят на IRC-канале (freenode #scrappy), мне удалось это сделать. Я считаю, что это немного взломано, поэтому приветствуются любые комментарии по улучшению:

(1) Отключите промежуточное ПО по умолчанию в настройках и добавьте свое собственное:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.contrib.downloadermiddleware.redirect.RedirectMiddleware': None,
    'myproject.middlewares.CustomRedirectMiddleware': 100,
}

(2) Создайте свой CustomRedirectMiddleware в файле middlewares.py. Он наследуется от основного класса промежуточного программного обеспечения перенаправления и фиксирует перенаправление:

class CustomRedirectMiddleware(RedirectMiddleware):
    """Handle redirection of requests based on response status and meta-refresh html tag"""

    def process_response(self, request, response, spider):
        #Get the redirect status codes
        request.meta.setdefault('redirect_status', []).append(response.status)
        if 'dont_redirect' in request.meta:
            return response
        if request.method.upper() == 'HEAD':
            if response.status in [301, 302, 303, 307] and 'Location' in response.headers:
                redirected_url = urljoin(request.url, response.headers['location'])
                redirected = request.replace(url=redirected_url)

                return self._redirect(redirected, request, spider, response.status)
            else:
                return response

        if response.status in [302, 303] and 'Location' in response.headers:
            redirected_url = urljoin(request.url, response.headers['location'])
            redirected = self._redirect_request_using_get(request, redirected_url)
            return self._redirect(redirected, request, spider, response.status)

        if response.status in [301, 307] and 'Location' in response.headers:
            redirected_url = urljoin(request.url, response.headers['location'])
            redirected = request.replace(url=redirected_url)
            return self._redirect(redirected, request, spider, response.status)

        if isinstance(response, HtmlResponse):
            interval, url = get_meta_refresh(response)
            if url and interval < self.max_metarefresh_delay:
                redirected = self._redirect_request_using_get(request, url)
                return self._redirect(redirected, request, spider, 'meta refresh')


        return response

(3) Теперь вы можете получить доступ к списку перенаправлений в вашем пауке с помощью

request.meta['redirect_status']
  • Вы должны опубликовать свое решение в качестве ответа raben 14.03.2013

pythonweb-scrapingscrapy

Ответы

Ответ 1 · рейтинг 5 · lindelof

Я считаю, что это доступно как

response.status

См. http://doc.scrapy.org/en/0.14/topics/request-response.html#scrapy.http.Response

Ответ 2 · рейтинг 3 · warvariuc

response.meta['redirect_urls' заполняется RedirectMiddleware а>. Ваш обратный вызов паука никогда не будет получать промежуточные ответы, только последний после всех перенаправлений.

Если вы хотите контролировать процесс, создайте подкласс RedirectMiddleware, отключите исходный и включите свой. Затем вы сможете контролировать процесс перенаправления, в том числе отслеживать статусы ответов.

Вот исходная реализация (scrapy.contrib.downloadermiddleware.redirect.RedirectMiddleware):

class RedirectMiddleware(object):
    """Handle redirection of requests based on response status and meta-refresh html tag"""

    def _redirect(self, redirected, request, spider, reason):
        ...
            redirected.meta['redirect_urls'] = request.meta.get('redirect_urls', []) + \
                [request.url]

Как видите, метод _redirect, который вызывается из разных частей, создает meta['redirect_urls']

А в process_response вызывается метод return self._redirect(redirected, request, spider, response.status), что означает, что исходный ответ не передается пауку.

Ответ 3 · Antoine Brunel

Решение KISS: я подумал, что лучше добавить строгий минимум кода для захвата нового поля перенаправления и позволить RedirectMiddleware сделать все остальное:

from scrapy.contrib.downloadermiddleware.redirect import RedirectMiddleware

class CustomRedirectMiddleware(RedirectMiddleware):
  """Handle redirection of requests based on response status and meta-refresh html tag"""

  def process_response(self, request, response, spider):
    #Get the redirect status codes
    request.meta.setdefault('redirect_status', []).append(response.status)
    response = super(CustomRedirectMiddleware, self).process_response(request, response, spider)
    return response

Затем, создав подкласс BaseSpider, вы можете получить доступ к redirect_status со следующим:

    def parse(self, response):
      item = ScrapyGoogleindexItem()
      item['redirections'] = response.meta.get('redirect_times', 0)
      item['redirect_status'] = response.meta['redirect_status']
      return item

Перевод вопроса и ответов сообщества Stack Overflow, лицензия CC BY-SA. Оригинал на Stack Overflow.

Похожие материалы