阅读文本大概需要 2 分钟。
提示
以鄙人在GitHub上navicatdockermysql连接不上的辣鸡代码为例, 其他Scrapynavicatdockermysql连接不上的项目操作类似, 本文同样适用于不使用云服务器的情形(排除掉前期准备部分即可).
前期准备
(也可以到腾讯云开发者实验室体验)1. 购买云服务器
选择一家云服务厂商, 购买云服务器, 目前国内主流服务均有提供学生版
如果第一次购买, 可以戳这个链接
https://cloud.tencent.com/redirect.php?redirect=1010&cps_key=e042d9552c4c0be2cd377436ca42ee62
2. 下载Xshell, 使用ssh连接服务器
Xshell学生和家用是免费的, 下载地址https://www.netsarang.com/download/free_license.html
下载安装完成后,使用系统分配的公网IP, 系统用户名和对应密码连接服务器.
在Github上克隆代码
git clone https://github.com/FesonX/JobCrawler.git
安装相关依赖1. 安装Python3
项目使用Python3.6, 可以使用以下连接安装, 将文中的3.5改为3.6即可.
ubuntu14.04安装python3.5并且将其设置为python3默认启动
(https://blog.csdn.net/fireflychh/article/details/78195778)
2. 使用virtualenv(也可以使用Anaconda或Pycharm管理)
Virtualenv允许多版本Python同时在电脑上共存, 安装完Python3及pip后 终端键入
# 安装
pip3 install virtualenv
# 创建虚拟环境
virtualenv spider-env
# 激活虚拟环境
source spider-env/bin/activate
# 退出
deactivate
3. 安装库依赖
因为Scrapy依赖Python.h,在安装库依赖前在终端键入
sudo apt-get install libpython3.6-dev
然后安装依赖, 如果失败, 请逐条尝试
# 在JobCrawler/JobCrawler目录下
pip install -r requirements.txt
4. 安装MongoDB
参照以下连接安装 MongoDB Community Edition
(https://docs.mongodb.com/manual/administration/install-community/)
运行爬虫
终端cd到项目根目录, 键入
# -o job.csv为可选参数, 加入则输出到指定文件中
scrapy crawl jobCrawler -o job.csv
扩展: 使爬虫开机运行
使爬虫在系统开机时自动运行, 对于许多系统来说navicatdockermysql连接不上，最简单 (如果不是最好的)的方式是使用rc.local文件 具体实现方式就交由navicatdockermysql连接不上你自己用搜索引擎探索啦
欢迎点击查看原文关注navicatdockermysql连接不上我的腾讯云社区账号
入门小白, 欢迎大家指出错误, 技术交流
QQ:994342122, Email: fesonx@foxmail.com
今日作者: 光光同学_
不爱看电影的摄影师不是好的程序员
