BaseParser

BaseParser为Spider的基类，用来定义任务下发与数据解析，是面向用户提供的接口

源码

  1. class BaseParser(object):
  2.     def start_requests(self):
  3.         """
  4.         @summary: 添加初始url
  5.         ---------
  6.         ---------
  7.         @result: yield Request()
  8.         """
  10.         pass
  12.     def download_midware(self, request):
  13.         """
  14.         @summary: 下载中间件 可修改请求的一些参数, 或可自定义下载，然后返回 request, response
  15.         ---------
  16.         @param request:
  17.         ---------
  18.         @result: return request / request, response
  19.         """
  21.         pass
  23.     def validate(self, request, response):
  24.         """
  25.         @summary: 校验函数, 可用于校验response是否正确
  26.         若函数内抛出异常，则重试请求
  27.         若返回True 或 None，则进入解析函数
  28.         若返回False，则抛弃当前请求
  29.         可通过request.callback_name 区分不同的回调函数，编写不同的校验逻辑
  30.         ---------
  31.         @param request:
  32.         @param response:
  33.         ---------
  34.         @result: True / None / False
  35.         """
  37.         pass
  39.     def parse(self, request, response):
  40.         """
  41.         @summary: 默认的解析函数
  42.         ---------
  43.         @param request:
  44.         @param response:
  45.         ---------
  46.         @result:
  47.         """
  49.         pass
  51.     def exception_request(self, request, response):
  52.         """
  53.         @summary: 请求或者parser里解析出异常的request
  54.         ---------
  55.         @param request:
  56.         @param response:
  57.         ---------
  58.         @result: request / callback / None (返回值必须可迭代)
  59.         """
  61.         pass
  63.     def failed_request(self, request, response):
  64.         """
  65.         @summary: 超过最大重试次数的request
  66.         可返回修改后的request  若不返回request，则将传进来的request直接人redis的failed表。否则将修改后的request入failed表
  67.         ---------
  68.         @param request:
  69.         ---------
  70.         @result: request / item / callback / None (返回值必须可迭代)
  71.         """
  73.         pass
  75.     def start_callback(self):
  76.         """
  77.         @summary: 程序开始的回调
  78.         ---------
  79.         ---------
  80.         @result: None
  81.         """
  83.         pass
  85.     def end_callback(self):
  86.         """
  87.         @summary: 程序结束的回调
  88.         ---------
  89.         ---------
  90.         @result: None
  91.         """
  93.         pass
  95.     @property
  96.     def name(self):
  97.         return self.__class__.__name__
  99.     def close(self):
  100.         pass

使用

以程序开始结束回调举例：

  1. import feapder
  4. class TestSpider(feapder.Spider):
  5.     def start_callback(self):
  6.         print("爬虫开始了")
  8.     def end_callback(self):
  9.         print("爬虫结束了")