More Related Content
What's hot (20)
pyspider 介绍 - pycon2014@北京
- 2. 来源于真实的垂搜引擎 100个站点 ? 脚本驱动 ? 任务管理、模板失效监控 ? 运行状态监控 5分钟内更新 ? 定时任务 ? 根据最近更新时间调度
- 3. pyspider 功能架构 ? Python脚本驱动 ? WebUI ? MySQL，MongoDB，SQLite持 久化后端 ? 组件可替换、单机/分布式、 Docker ? 强大的调度机制 ? 支持JavaScript页面
- 5. processor - 脚本执行 ? 完全的python ? Web下编写，Web下调试 ? 通过API完全控制调度、抓取 ? 脚本间通信、调用
- 6. fetcher - 抓取器 ? 基于 tornado 的异步抓取 ? 完整的抓取控制，从 method 到 timeout ? 支持JavaScript执行渲染（ 通过 phantomjs ）
- 7. scheduler - 调度器 ? 任务优先级 ? 流量控制 ? 周期定时任务 ? 按照过期时间调度 ? 按照前链标记调度（例如更新时间） ? 失败重试
- 8. 脚本编辑和调试
- 9. Dashboard ? 任务列表 ? 任务状态 ? 流量配额 ? 最近5分钟、1小时、1天、总任务计数
- 10. ? 最近活动的任务 ? 任务历史 ? 产出结果