Scrapy
latest

第一步

  • 预览Scrapy
  • 安装指南
  • Scrapy 教程
  • 例子

基本概念

  • 命令行工具
  • 爬虫器
  • 选择器
  • Items
  • Item 加载器
  • Scrapy shell
  • Item 管道
  • Feed 导出
  • 请求和响应
  • 链接提取
  • 设置
  • 异常

内置服务

  • 日志
  • 统计数据集合
  • 发送邮件
  • 远程控制台
  • Web Service

解决具体问题

  • 常见问答
  • Debug 爬虫器
  • 爬虫器约束
  • 常见实践
  • 并发爬虫
  • 使用浏览器的开发工具进行抓取
  • 内存泄漏调试
  • 下载并处理文件和图片
  • 部署爬虫器
  • 爬虫器节流
  • 爬虫器硬件性能
  • 作业:暂停并恢复爬行

Scrapy 扩展

  • 框架体系
  • 下载器中间件
  • 爬虫器中间件
  • 扩展
  • 核心API
  • 信号
  • Item 导出文件

其他

  • Scrapy更新
  • 贡献Scrapy代码
  • 版本控制和API稳定性
Scrapy
  • Docs »
  • 搜索
  • Edit on GitHub

© Copyright 2008–2018, Scrapy developers Revision 57a19b11.

Built with Sphinx using a theme provided by Read the Docs.