零基础写python爬虫之爬虫框架Scrapy安装配置
（福利推荐：你还在原价购买阿里云服务器？现在阿里云0.8折限时抢购活动来啦！4核8G企业云服务器仅2998元/3年，立即抢购>>>：9i0i.cn/aliyun）
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，
用来解决简单的贴吧下载，绩点运算自然不在话下。
不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。
于是乎，爬虫框架Scrapy就这样出场了！
Scrapy = Scrach+Python，Scrach这个单词是抓取的意思，
Scrapy的官网地址：点我点我。
那么下面来简单的演示一下Scrapy的安装流程。
具体流程参照：/article/48607.htm
友情提醒：一定要按照Python的版本下载，要不然安装的时候会提醒找不到Python。建议大家安装32位是因为有些版本的必备软件64位不好找。
1.安装Python（建议32位）
建议安装Python2.7.x，3.x貌似还不支持。
安装完了记得配置环境，将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。
在cmd中输入python如果出现版本信息说明配置完毕。
2.安装lxml
lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML。点击这里选择对应的Python版本安装。
3.安装setuptools
用来安装egg文件，点击这里下载python2.7的对应版本的setuptools。
4.安装zope.interface
可以使用第三步下载的setuptools来安装egg文件，现在也有exe版本，点击这里下载。
5.安装Twisted
Twisted是用Python实现的基于事件驱动的网络引擎框架，点击这里下载。
6.安装pyOpenSSL
pyOpenSSL是Python的OpenSSL接口，点击这里下载。
7.安装win32py
提供win32api，点击这里下载
8.安装Scrapy
终于到了激动人心的时候了！安装了那么多小部件之后终于轮到主角登场。
直接在cmd中输入easy_install scrapy回车即可。
9.检查安装
打开一个cmd窗口，在任意位置执行scrapy命令，得到下列页面，表示环境配置成功。
相关文章
这篇文章主要介绍了使用python对excel表格处理的一些小功能,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-01-01
这篇文章主要给大家介绍了关于利用Python如何实现数据驱动的接口自动化测试的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们来一起看看吧2018-05-05
端口流量转发（Port Forwarding）是一种网络通信技术,用于将特定的网络流量从一个端口或网络地址转发到另一个端口或地址,它在网络中扮演着一个非常重要的角色,在Python语言中实现端口转发非常容易,文中有相关的代码示例,需要的朋友可以参考下2023-11-11
这篇文章主要介绍了python 爬取马蜂窝景点翻页文字评论的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-01-01
Python是一种面向对象的解释型计算机程序设计语言，现在很多人都在使用，尤其是其跨平台特性及自然语言属性，获得很多人的钟情，那么如何把Python程序打包为Windows系统中的exe可执行程序呢2018-10-10
这篇文章主要为大家详细介绍了PyQt5每天必学之拖放事件的相关资料，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-04-04
今天小编就为大家分享一篇pytorch标签转onehot形式实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
LyScript插件中提供了三种基本的堆栈操作方法，其中push_stack用于入栈，pop_stack用于出栈，peek_stac可用于检查指定堆栈位置处的内存参数。所以本文将利用这一特性实现对内存堆栈扫描，感兴趣的可以了解一下2022-08-08
这篇文章主要介绍了Pytorch中的数据集划分&正则化方法，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
这篇文章主要介绍了TensorFlow2的基本操作和实例代码，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-09-09
最新评论