Я пытался запустить простого паука с помощью scrapy, но продолжаю получать ошибку:
Could not find spider for domain:stackexchange.com
когда я запускаю код с выражением scrapy-ctl.py crawl stackexchange.com. Паук выглядит следующим образом:
from scrapy.spider import BaseSpider
from __future__ import absolute_import
class StackExchangeSpider(BaseSpider):
domain_name = "stackexchange.com"
start_urls = [
"http://www.stackexchange.com/",
]
def parse(self, response):
filename = response.url.split("/")[-2]
open(filename, 'wb').write(response.body)
SPIDER = StackExchangeSpider()`
Другой человек опубликовал почти ту же проблему несколько месяцев назад, но не сказал, как они ее исправили, Scrapy spider - это не работает Я слежу за турториалом точно по адресу http://doc.scrapy.org/intro/tutorial.html и не могу понять, почему он не работает.
Когда я запускаю этот код в eclipse, я получаю сообщение об ошибке
Traceback (most recent call last):
File "D:\Python Documents\dmoz\stackexchange\stackexchange\spiders\stackexchange_spider.py", line 1, in <module>
from scrapy.spider import BaseSpider
ImportError: No module named scrapy.spider
Я не могу понять, почему он не находит базовый модуль Spider. Нужно ли сохранять моего паука в каталоге скриптов?