爬虫部署 Gerapy 安装(centos 8)演示

一.安装

pip3 install -U gerapy

  使用python3.68版本安装gerapy,报错提示:ModuleNotFoundError: No module named setuptools_rust

  解决方法更新pip3

pip3 install --upgrade pip

  安装后,测试是否安装成功:

[root@iZwz927xptl8kw8zqrmwvcZ bin]# gerapy
Usage: gerapy [-v] [-h]  ...

Gerapy 0.9.10 - Distributed Crawler Management Framework

Optional arguments:
  -v, --version       Get version of Gerapy
  -h, --help          Show this help message and exit

 

二.初始化

  在当前目录下创建gerapy工作目录

[root@iZwz927xptl8kw8zqrmwvcZ local]# pwd
/usr/local
[root@iZwz927xptl8kw8zqrmwvcZ local]# gerapy init
Initialized workspace gerapy
[root@iZwz927xptl8kw8zqrmwvcZ local]# ls
aegis  bin  etc  games  gerapy  include  lib  lib64  libexec  sbin  share  src

  数据库初始化,这将生成一个 SQLite 数据库,该数据库将用于保存每个主机的配置信息、部署版本、定时任务等。最后一行创建了一个dbs文件夹

[root@iZwz927xptl8kw8zqrmwvcZ local]# cd gerapy
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# ls
logs  projects
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# gerapy migrate
Operations to perform:
  Apply all migrations: admin, auth, authtoken, contenttypes, core, django_apscheduler, sessions
Running migrations:
  Applying contenttypes.0001_initial... OK
  Applying auth.0001_initial... OK
  ...
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# pwd
/usr/local/gerapy
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# ls
dbs  logs  projects

   创建用户

[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# gerapy initadmin
No Admin user exists, create temp admin user
Created admin account: admin(admin@gerapy.com), initial password: admin, just use it temporarily and change the pass                                                       word for safety

    修改用户信息参考:https://www.cnblogs.com/MrHSR/p/16505221.html

 

三. 启动服务

  启动服务命令

gerapy runserver 0.0.0.0:8000 > /dev/null 2>&1 &

  在浏览器中打开http://localhost:8000进入Gerapy

 

 

四.主机管理

  登录进入Gerapy,主机管理-->创建,  下面是连接了本机的scrapyd服务,还可以配置多个服务器的scrapyd服务,进行统一管理

  

 

 五.项目管理

   Gerapy的工作目录下有一个空的projects文件夹,也就是存放Scrapy目录的文件夹。

   如果我们要部署 Scrapy 项目,只需将项目文件放在项目文件夹中即可。 

  可以手动上传到projects目录下,也可以使用git上传参考:https://www.cnblogs.com/MrHSR/p/16505022.html   

    打包项目,点击打包成功如下所示:

 

   上面打包成功后,点击部署,就部署成功了

  通过postman查看,有了一个时间截版本号

 六. 调试

 

 

 

   总结:在打包egg文件上,使用Gerapy可视化界面打包方便,轻松部署到多台scrapyd服务器上。   另一个打包是在开发环境,使用 scrapyd-deploy打包上传到指定的scrapyd服务器上。二种方案都可以,用gerapy统一管理比较好。

 

 

参考文档:https://docs.gerapy.com/en/latest/installation.html


文章标签:

原文连接:https://www.cnblogs.com/MrHSR/p/16502682.html

相关推荐

爬虫部署 Gerapy 安装(centos 8)演示

在座的Python爬虫工程师,你敢爬律师事务所站点吗?

写Python爬虫又被屏蔽了,你现在需要一个稳定的代理IP

【Python爬虫实战】 不生产小说,只做网站的搬运工,太牛逼了~(附源码)

【js逆向爬虫】-有道翻译js逆向实战

Python爬虫 爬取下载美国科研网站数据

Python爬虫eval混淆,爬虫进阶实战系列,双案例电视猫+掌房

【Python爬虫技巧】快速格式化请求头Request Headers

【2022 年】崔庆才 Python3 爬虫教程 - ADSL 拨号代理的使用

全国空气质量爬取实战

【2022 年】崔庆才 Python3 爬虫教程 - 高效代理池的维护

爬虫基本原理介绍、实现以及问题解决

100天精通Python(爬虫篇)——第46天:爬虫解析器BeautifulSoup4

Go语言爬虫+正则简单使用

【2022 年】崔庆才 Python3 爬虫教程 - 代理的使用方法

Java 网络爬虫就是这么的简单

Python爬虫如何加速?异步、协程还是多进程?分享一个常用做法,萌新也能看懂

【2022 年】崔庆才 Python3 爬虫教程 - 代理的基本原理

爬虫(14) - Scrapy-Redis分布式爬虫(1) | 详解

爬虫(9) - Scrapy框架(1) | Scrapy 异步网络爬虫框架