服务端nodejs抓取jsonp接口数据实现示例

 更新时间:2022年06月30日 09:12:47   作者:天問  
这篇文章主要为大家介绍了服务端nodejs抓取jsonp接口数据实现示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
(福利推荐:【腾讯云】服务器最新限时优惠活动,云服务器1核2G仅99元/年、2核4G仅768元/3年,立即抢购>>>:9i0i.cn/qcloud

(福利推荐:你还在原价购买阿里云服务器?现在阿里云0.8折限时抢购活动来啦!4核8G企业云服务器仅2998元/3年,立即抢购>>>:9i0i.cn/aliyun

前言

众所周知,jsonp 接口返回的是一段 js 脚本,在浏览器中使用 script 标签引入、加载成功后,会直接执行其中的 callback 方法,以参数的形象直接返回真正有用的接口数据,以此达到跨域请求的目的。但是如果在非浏览器环境(node执行环境)中怎么来抓取呢,本文就主要介绍一下,服务端nodejs抓取jsonp接口数据 的思路方法和踩过的坑。

出于好奇,最近在研究使用 node 程序分析股票的数据,看看能不能找到一些规律。
但前提是要获取一批数据,所以查看了几个相关的网站平台,通过开发者工具的 network 查看,其中接口数据基本都是使用 jsonp 格式的。

温馨提示: 不要过度频繁爬取数据,可能涉及网络安全问题。

方法思路

  • node 服务端使用 axios 获取 jsonp 返回的内容
  • 使用 typeof 查看返回内容的类型
  • 解析 jsonp 返回的内容、执行其中的 callback 方法

关键在于这第三步,在 node 环境中如何动态的执行这一段 String 类型的代码。

Node环境动态执行脚本

eval()

直接调用,使用本地作用域。

function test() {
  let x = 10, y = 20;
  let sum = eval('x + y')
  console.log(sum);  // 30
}

Function

eval 不同的是,Function 创建的函数只能在全局作用域中运行。
test() 执行会报错:ReferenceError: x is not defined

// 报错
function test() {
  let x = 10, y = 20;
  let fn = new Function('return x + y')
  let sum = fn()
  console.log(sum) // ReferenceError: x is not defined
}
// 正常执行
global.x = 10
global.y = 20
function test() {
  let fn = new Function('return x + y')
  let sum = fn()
  console.log(sum) // 30
}

vm.runInThisContext (推荐)

vm 是 node 的核心模块,vm 可以使用 v8 的 Virtual Machine contexts 动态地编译和执行代码,而代码的执行上下文与当前进程隔离。

被执行的代码无法获取本地作用域,只能在当前的 global 对象的上下文中编译并执行 code 。

const vm = require('vm')
global.x = 10
global.y = 20
function test() {
  let sum = vm.runInThisContext('x + y')
  console.log(sum) // 30
}

完整代码实现

// index.js
const vm = require('vm')
const axios = require('axios')
// 在 global 对象上挂载对应的 callback 方法
global.jQuery11230971606670044967_1649312313646 = function(res) {
  // jsonp 接口返回的数据
  console.log(res)
  // do something
}
async function getData() {
  let { data } = await axios({
    url: 'https://push2.eastmoney.com/api/qt/clist/get?cb=jQuery11230971606670044967_1649312313646&fid=f62&po=1&pz=10&pn=1&np=1&fltt=2&invt=2&fs=m%3A90+t%3A3&stat=1&fields=f12%2Cf14%2Cf2%2Cf3%2Cf62%2Cf184%2Cf66%2Cf69%2Cf72%2Cf75%2Cf78%2Cf81%2Cf84%2Cf87%2Cf204%2Cf205%2Cf124&ut=b2884a393a59ad64002292a3e90d46a5'
  })
  // 查看返回内容的类型
  console.log(typeof data)
  // 执行 callback
  vm.runInThisContext(data)
}
// 调用抓取数据的方法
getData()

特别提醒:浏览器环境与 Node 执行环境挂载全局对象是有区别的。

在浏览器环境中,全局作用域可以使用 var 来声明一个变量或方法,会自动挂载到 window 对象上;

但是在 Node 环境中,每个文件或者模块,都会被封闭在一个单独的作用域,因此不管在哪里声明的变量,相对于当前模块或文件,都是在局部作用域,不会自动挂载到全局 global 对象中,如果要使用必须手动去挂载。

以上就是服务端nodejs抓取jsonp接口数据实现示例的详细内容,更多关于nodejs抓取jsonp接口数据的资料请关注程序员之家其它相关文章!

您可能感兴趣的文章:

相关文章

  • Nodejs 和 Electron ubuntu下快速安装过程

    Nodejs 和 Electron ubuntu下快速安装过程

    本文较为详细的给大家介绍了Nodejs 和 Electron ubuntu下快速安装过程,非常不错,具有一定的参考借鉴价值,感兴趣的朋友跟随程序员之家小编一起学习吧
    2018-05-05
  • 如何让node运行es6模块文件及其原理详解

    如何让node运行es6模块文件及其原理详解

    这篇文章主要介绍了如何让node运行es6模块文件及其原理详解,详细的介绍了2种方式,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-12-12
  • nodejs log4js 使用详解

    nodejs log4js 使用详解

    这篇文章主要介绍了nodejs log4js 使用详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-05-05
  • Node.js创建子进程的几种实现方式

    Node.js创建子进程的几种实现方式

    这篇文章主要介绍了Node.js创建子进程的几种实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-10-10
  • 手把手教你通过nodejs快速搭建一个服务器

    手把手教你通过nodejs快速搭建一个服务器

    这篇文章主要给大家介绍了关于如何通过nodejs快速搭建一个服务器的相关资料,在node.js中创建一个服务器非常简单,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2023-10-10
  • Koa代理Http请求的示例代码

    Koa代理Http请求的示例代码

    这篇文章主要介绍了Koa代理Http请求的示例代码,详解介绍了Koa 代理http请求,解决跨域问题,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-10-10
  • nodejs基础应用

    nodejs基础应用

    本文主要介绍了nodejs的基础应用。具有很好的参考价值,下面跟着小编一起来看下吧
    2017-02-02
  • node.js实现复制文本到剪切板的功能

    node.js实现复制文本到剪切板的功能

    这篇文章主要给大家介绍了node.js实现复制文本到剪切板的功能,文中介绍的非常详细,并给出示例代码,相信对大家具有一定的参考借鉴价值,有需要的朋友们下面来一起看看吧。
    2017-01-01
  • Node.js在child_process域和错误冒泡及捕获实践

    Node.js在child_process域和错误冒泡及捕获实践

    这篇文章主要为大家介绍了Node.js在child_process域和错误冒泡及捕获实践示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-11-11
  • 通过实例了解Nodejs模块系统及require机制

    通过实例了解Nodejs模块系统及require机制

    这篇文章主要介绍了通过实例了解Nodejs模块系统及require机制,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-07-07

最新评论

?


http://www.vxiaotou.com