ScrapydWeb爬虫管理工具 v1.4.0 官方版

ScrapydWeb汉化版是能够实现Scrapyd集群管理的多功能web软件，不仅支持支持通过分组和过滤选中特定服务器节点，而且还支持所有的Scrapyd API，也支持访问启用 Basic Auth 保护的 Scrapyd 服务器等。

ScrapydWeb全面支持Scrapy日志分析和可视化，也支持支持Scrapyd集群管理、日志可视化、定时任务、邮件通知、移动端UI，是小巧且专业的Scrapyd 集群管理工具。

ScrapydWeb汉化版功能

1、Scrapyd 集群管理

- 支持通过分组和过滤选中特定服务器节点

- 一次点击，批量执行

2、Scrapy 日志分析

- 统计信息展示

- 爬虫进度可视化

- 关键日志分类

3、支持所有 Scrapyd API

- Deploy project, Run Spider, Stop job

- List projects/versions/spiders/running_jobs

- Delete version/project

4、其他

- web UI 支持 Basic Auth

- 支持访问启用 Basic Auth 保护的 Scrapyd 服务器

ScrapydWeb汉化版安装

通过 pip:

pip install scrapydweb

:heavy_exclamation_mark: 如果 pip 安装结果不是最新版本的 scrapydweb，请先执行python -m pip install --upgrade pip，或者前往 https://pypi.org/project/scrapydweb/#files 下载 tar.gz 文件并执行安装命令 pip install scrapydweb-x.x.x.tar.gz

通过 git:

pip install --upgrade git+https://github.com/my8100/scrapydweb.git

或:

git clone https://github.com/my8100/scrapydweb.git

cd scrapydweb

python setup.py install