Java如何基于okhttp请求SSE接口流式返回详解

 更新时间:2024年03月30日 11:26:23   作者:萧老板  
对于流式返回,Spring Boot提供了两种不同的方式,下面这篇文章主要给大家介绍了关于Java如何基于okhttp请求SSE接口流式返回的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下
(福利推荐:【腾讯云】服务器最新限时优惠活动,云服务器1核2G仅99元/年、2核4G仅768元/3年,立即抢购>>>:9i0i.cn/qcloud

(福利推荐:你还在原价购买阿里云服务器?现在阿里云0.8折限时抢购活动来啦!4核8G企业云服务器仅2998元/3年,立即抢购>>>:9i0i.cn/aliyun

前言

最近在开发跟大模型相关的业务,需要用java去请求大模型的对话接口并支持流式的返回,变用到了sse接口。首先介绍一下什么是SSE,SSE ( Server-sent Events )是 WebSocket 的一种轻量代替方案,使用 HTTP 协议。

严格地说,HTTP 协议是没有办法做服务器推送的,但是当服务器向客户端声明接下来要发送流信息时,客户端就会保持连接打开,SSE 使用的就是这种原理。

一、SSE 能做什么?

理论上, SSE 和 WebSocket 做的是同一件事情。当你需要用新数据局部更新网络应用时,SSE 可以做到不需要用户执行任何操作,便可以完成。

这种技术通常用于实现实时更新、通知和事件驱动的应用程序,例如实时聊天、股票市场更新、新闻通知等。

二、SSE vs. WebSocket

SSE 是单向通道,只能服务器向客户端发送消息,如果客户端需要向服务器发送消息,则需要一个新的 HTTP 请求。这对比 WebSocket 的双工通道来说,会有更大的开销。这么一来的话就会存在一个「什么时候才需要关心这个差异?」的问题,如果平均每秒会向服务器发送一次消息的话,那应该选择 WebSocket。如果一分钟仅 5 - 6 次的话,其实这个差异并不大。

在浏览器兼容方面,两者差不多。在较早之前,每当需要建立双向 Socket 时就会使用 Flash,在 移动浏览器不支持 Flash 的情况下,WebSocket 的兼容是比较难做的。

SSE 我认为最大的优势是便利,实现一个完整的服务仅需要少量的代码;可以在现有的服务中使用,不需要启动一个新的服务;可以用任何一种服务端语言中使用;基于 HTTP / HTTPS 协议,可以直接运行于现有的代理服务器和认证技术。有了这些优势,在选择使用 SSE 时就已经为自己的项目节约了不少成本。

三、下面来写一下如何用java调用sse接口

我们可以借助okhttp来实现,首先引入okhttp-sse的依赖:

  <dependency>
       <groupId>com.squareup.okhttp3</groupId>
       <artifactId>okhttp-sse</artifactId>
       <version>4.12.0</version>
   </dependency>

调用代码如下:

        OkHttpClient client = new OkHttpClient.Builder()
                .connectTimeout(10, TimeUnit.SECONDS)
                .writeTimeout(50, TimeUnit.SECONDS)
                .readTimeout(10, TimeUnit.MINUTES)
                .build();

        EventSource.Factory factory = EventSources.createFactory(client);
        // 请求体
        HashMap<String, Object> map = new HashMap<>();
        map.put("prompt","哈喽,你好");
        map.put("history", Arrays.asList());
        map.put("temperature",0.9);
        map.put("top_p",0.7);
        map.put("max_new_tokens",4096);
        String json = JsonUtil.objectToString(map);
        RequestBody body = RequestBody.create(MediaType.parse("application/json; charset=utf-8"),json);
        // 请求对象
        Request request = new Request.Builder()
                .url("http://localhost:8001/chat")
                .post(body)
                .build();

        // 自定义监听器
        EventSourceListener eventSourceListener = new EventSourceListener() {
            @Override
            public void onOpen(EventSource eventSource, Response response) {
                super.onOpen(eventSource, response);
            }

            @Override
            public void onEvent(EventSource eventSource, @Nullable String id, @Nullable String type, String data) {
            //   接受消息 data
                super.onEvent(eventSource, id, type, data);
            }

            @Override
            public void onClosed(EventSource eventSource) {
                super.onClosed(eventSource);
            }

            @Override
            public void onFailure(EventSource eventSource, @Nullable Throwable t, @Nullable Response response) {
                super.onFailure(eventSource, t, response);
            }
        };

        // 创建事件
        EventSource eventSource = factory.newEventSource(request, eventSourceListener);

运行效果

""
"你" 
"你好"
"你好?"
"你好?!"
"你好?!很高兴"
"你好?!很高兴见到"
"你好?!很高兴见到你"
"你好?!很高兴见到你,"
"你好?!很高兴见到你,欢迎"
"你好?!很高兴见到你,欢迎问我"
"你好?!很高兴见到你,欢迎问我任何"
"你好?!很高兴见到你,欢迎问我任何问题"
"你好?!很高兴见到你,欢迎问我任何问题。"

总结

到此这篇关于Java如何基于okhttp请求SSE接口流式返回的文章就介绍到这了,更多相关Java请求SSE接口流式返回内容请搜索程序员之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持程序员之家!

相关文章

  • java中Memcached的使用实例(包括与Spring整合)

    java中Memcached的使用实例(包括与Spring整合)

    这篇文章主要介绍了java中Memcached的使用实例(包括与Spring整合),具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-07-07
  • 解决SpringBoot中MultipartResolver和ServletFileUpload的冲突问题

    解决SpringBoot中MultipartResolver和ServletFileUpload的冲突问题

    这篇文章主要介绍了解决SpringBoot中MultipartResolver和ServletFileUpload的冲突问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-10-10
  • SpringDataJpa如何使用union多表分页条件查询

    SpringDataJpa如何使用union多表分页条件查询

    这篇文章主要介绍了SpringDataJpa如何使用union多表分页条件查询,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-02-02
  • Spring循环依赖的处理方法

    Spring循环依赖的处理方法

    循环依赖是指两个或多个组件之间相互依赖,形成一个闭环,从而导致这些组件无法正确地被初始化或加载,这篇文章主要介绍了Spring循环依赖的处理,需要的朋友可以参考下
    2023-08-08
  • SpringBoot集成vue的开发解决方案

    SpringBoot集成vue的开发解决方案

    这篇文章主要介绍了SpringBoot集成vue的开发解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • java打包解包操作小结

    java打包解包操作小结

    使用别人的jar包程序,需要修改其中的相关参数然后重新打包,在此记录一下打包和解包过程,感兴趣的朋友跟随小编一起看看吧
    2023-10-10
  • 浅析Java 9 Optional API 新增方法

    浅析Java 9 Optional API 新增方法

    本文我们介绍了Java 9 Optional Api新增的三个方法。or方法在Optional为空时返回Optional对象。 ifPresentOrElse()在值存在时执行Consumer参数,反之执行另一个参数回调参数。感兴趣的朋友跟随小编一起看看吧
    2019-12-12
  • Spring?Cloud?Gateway动态路由Apollo实现详解

    Spring?Cloud?Gateway动态路由Apollo实现详解

    这篇文章主要为大家介绍了Spring?Cloud?Gateway动态路由通过Apollo实现示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-10-10
  • java实现微信企业付款到个人功能

    java实现微信企业付款到个人功能

    这篇文章主要为大家详细介绍了java实现微信企业付款到个人功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-09-09
  • SpringBoot解决数据库时间和返回时间格式不一致的问题

    SpringBoot解决数据库时间和返回时间格式不一致的问题

    这篇文章主要介绍了SpringBoot解决数据库时间和返回时间格式不一致的问题,文章通过代码示例和图文结合的方式讲解的非常详细,对大家的学习和工作有一定的帮助,需要的朋友可以参考下
    2024-03-03

最新评论

?


http://www.vxiaotou.com