导航

序章

• 简介及安装
• 10分钟快速上手
• 架构设计
• 功能概览

常用工具

• 命令行工具

使用说明

• 使用前必读
• 轻量爬虫-AirSpider
• 分布式爬虫-Spider
• 任务爬虫-TaskSpider
• 批次爬虫-BatchSpider
• 爬虫集成

使用进阶

• 请求-Request
• 响应-Response
• 代理使用说明
• 用户池说明
• 浏览器渲染-Selenium
• 浏览器渲染-Playwright
• 解析器-BaseParser
• 批次解析器-BatchParser
• Spider进阶
• BatchSpider进阶
• 配置文件
• Item
• UpdateItem
• 数据管道-pipeline
• MysqlDB
• MongoDB
• RedisDB
• 工具库-tools
• 日志配置及使用
• 海量数据去重-dedup
• 报警及监控
• 监控打点

爬虫管理系统

• 简介及部署
• 使用说明
• 常见问题

常见问题

• 安装问题
• 运行问题
• 请求问题
• setting不生效问题