requests.gPython?用requests.get获取网页内容为空?’?’问题
(福利推荐:你还在原价购买阿里云服务器?现在阿里云0.8折限时抢购活动来啦!4核8G企业云服务器仅2998元/3年,立即抢购>>>:9i0i.cn/aliyun)
下面先来看一个例子:
import ?requests result=requests.get("http://data.10jqka.com.cn/financial/yjyg/") result
输出结果:
继续运行,发现返回空值,在请求网页爬取的时候,输出的text信息中会出现抱歉,无法访问等字眼,这就是禁止爬取,需要通过反爬机制去解决这个问题。headers
是解决requests
请求反爬的方法之一,相当于我们进去这个网页的服务器本身,假装自己本身在爬取数据。对反爬虫网页,可以设置一些headers
信息,模拟成浏览器取访问网站 。
一、如何设置headers
拿两个常用的浏览器举例:
1、QQ浏览器
界面 F12
点击network 键入 CTRL+R
单击第一个 最下边就是我门需要的 把他设置成headers
解决问题
2、Miscrosft edge
二、微软自带浏览器
同样 F12 打开开发者工具
点击网络,CTRL+R
前文代码修改:
import requests ur="http://data.10jqka.com.cn/financial/yjyg/" headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3880.400 QQBrowser/10.8.4554.400 '} result = requests.get(ur, headers=headers) result.text
成功解决不能爬取问题
到此这篇关于requests.gPython 用requests.get获取网页内容为空 ’ ’的文章就介绍到这了,更多相关requests.gPython 用requests.get获取网页内容为空 ’ ’内容请搜索程序员之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持程序员之家!
相关文章
使用python?pywin32模块创建windows服务实例探究
这篇文章主要为大家介绍了使用python?pywin32模块创建windows服务实现实例探究,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01Python使用 Beanstalkd 做异步任务处理的方法
这篇文章主要介绍了Python使用 Beanstalkd 做异步任务处理的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧2018-04-04pycharm2022.1最新永久激活码破解补丁一键安装教程免费分享(2022持续更新)
更新到Pycharm 2022.2.x版,pycharm2022.2最新可用永久激活码分享(持续更新),pycharm激活补丁一键安装简单方便,无需手动修改文件,兼容苹果MAC,linux,Windows系统2022-07-07Python3调用百度AI识别图片中的文字功能示例【测试可用】
这篇文章主要介绍了Python3调用百度AI识别图片中的文字功能,结合实例形式分析了Python3安装及使用百度AI接口的相关操作技巧,并附带说明了百度官方AI平台的注册及接口调用操作方法,需要的朋友可以参考下2019-03-03Pycharm-community-2020.2.3 社区版安装教程图文详解
这篇文章主要介绍了Pycharm-community-2020.2.3 社区版安装教程图文详解,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-12-12在Python中使用SimpleParse模块进行解析的教程
这篇文章主要介绍了在Python中使用SimpleParse模块进行解析的教程,文章来自于IBM官方的开发者技术文档,需要的朋友可以参考下2015-04-04
最新评论