2017-05-14

scrapy运行几种方式

作者:开挂的柑桔 来源:大事记 我要评论(0) 浏览(359)

scrapy运行几种方式

crawl

  • 语法: scrapy crawl

  • 是否需要项目: yes

1.在cmd窗口执行

$ scrapy crawl myspider
[ ... myspider starts crawling ... ]


2.pycharm运行

   当你运行 scrapy command arg 这样的命令时,这里的 scrapy 实质是一个 python 脚本,它接受参数,调用 scrapy/cmdline.py 中的 execute() 函数.通过几下几步配置执行命令。

blob.png

blob.png

3.通过python脚本调用

这里主要通过scrapy.crawler.CrawlerProcess来实现在脚本里运行一个spider。 

# -*- coding: utf-8 -*-

from scrapy.crawler import CrawlerProcess
from scrapy.settings import Settings
#引用spider
from project.spiders.spider_name import spider_class

#配置setting,可自定义setting属性
settings = Settings() 

process = CrawlerProcess()

#执行spider
process.crawl(CtripSpider)
process.start()


4.通过CrawlerRunner运行一个spider

# -*- coding: utf-8 -*-

from twisted.internet import reactor
from scrapy.crawler import CrawlerRunner
from scrapy.settings import Settings
#引用spider
from project.spiders.spider_name import spider_class

#配置setting,可自定义setting属性
settings = Settings() 

#执行spider
runner = CrawlerRunner(settings)
runner.crawl(spider_class)
reactor.run()


1.大事记平台遵循《互联网新闻信息服务管理规定》, 本网站不做时政、军事、新闻等采编操作,不干预新闻信息呈现或搜索结果等手段谋取不正当利益行业规范。 2.大事记平台的资讯均来自网络,如有侵权,请联系我们。3.如果您认为本网站有帮助,或者希望本站呈现更多内容,请多多支持本站!

网友评论

没有 Brand 不能评论 否则请刷新页面