Java实现Fast DFS、服务器、OSS上传功能

 更新时间:2024年04月09日 10:26:23   作者:陈遛狗  
这篇文章主要介绍了Java实现Fast DFS、服务器、OSS上传功能,在实际的业务中,可以根据客户的需求设置不同的文件上传需求,支持普通服务器上传+分布式上传(Fast DFS)+云服务上传OSS(OSS),需要的朋友可以参考下
(福利推荐:【腾讯云】服务器最新限时优惠活动,云服务器1核2G仅99元/年、2核4G仅768元/3年,立即抢购>>>:9i0i.cn/qcloud

(福利推荐:你还在原价购买阿里云服务器?现在阿里云0.8折限时抢购活动来啦!4核8G企业云服务器仅2998元/3年,立即抢购>>>:9i0i.cn/aliyun

支持Fast DFS、服务器、OSS等上传方式

介绍

在实际的业务中,可以根据客户的需求设置不同的文件上传需求,支持普通服务器上传+分布式上传(Fast DFS)+云服务上传OSS(OSS)

软件架构

为了方便演示使用,本项目使用的是前后端不分离的架构

前端:Jquery.uploadFile

后端:SpringBoot

前期准备:FastDFS、OSS(华为)、服务器

实现逻辑

通过 application 配置对上传文件进行一个自定义配置,从而部署在不同客户环境可以自定义选择方式。

优点:

  • 一键切换;
  • 支持当前主流方式;

缺点:

  • 迁移数据难度增加:因为表示FileID在对象存储和服务器上传都是生成的UUID,而FastDFS是返回存取ID,当需要迁移的时候,通过脚本可以快速将FastDFS的数据迁移上云,因为存储ID可以共用。但是对象存储和服务器上传的UUID无法被FastDFS使用,增加迁移成本

核心代码

package com.example.file.util;
import com.example.file.common.ResultBean;
import com.github.tobato.fastdfs.domain.StorePath;
import com.github.tobato.fastdfs.proto.storage.DownloadByteArray;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import com.obs.services.ObsClient;
import com.obs.services.exception.ObsException;
import com.obs.services.model.DeleteObjectRequest;
import com.obs.services.model.GetObjectRequest;
import com.obs.services.model.ObsObject;
import com.obs.services.model.PutObjectResult;
import io.micrometer.common.util.StringUtils;
import jakarta.servlet.http.HttpServletResponse;
import lombok.extern.slf4j.Slf4j;
import org.springframework.mock.web.MockMultipartFile;
import org.springframework.web.multipart.MultipartFile;
import java.io.*;
import java.util.Objects;
import java.util.UUID;
@Slf4j
public class FileUtil {
    /**
     *
     * @param file 文件
     * @param uploadFlag 标识
     * @param uploadPath 上传路径
     * @param endPoint 域名
     * @param ak    ak
     * @param sk sk
     * @param bucketName 桶名字
     * @return fileId 用于下载
     */
    public static ResultBean uploadFile(MultipartFile file, String uploadFlag, String uploadPath,
                                        FastFileStorageClient fastFileStorageClient,
                                        String endPoint, String ak, String sk,
                                        String bucketName) {
        if (StringUtils.isBlank(uploadFlag)){
            ResultBean.error("uploadFlag is null");
        }
        switch (uploadFlag){
            case "fastDFS":
                return uploadFileByFastDFS(file,fastFileStorageClient);
            case "huaweiOOS":
                return uploadFileByHuaweiObject(file, endPoint, ak, ak, bucketName);
            case "server":
            default:
                return uploadFileByOrigin(file,uploadPath);
        }}
    /**
     * 上传文件fastDFS
     * @param file 文件名
     * @return
     */
    private static ResultBean uploadFileByFastDFS(MultipartFile file,FastFileStorageClient fastFileStorageClient){
        Long size=file.getSize();
        String fileName=file.getOriginalFilename();
        String extName=fileName.substring(fileName.lastIndexOf(".")+1);
        InputStream inputStream=null;
        try {
            inputStream=file.getInputStream();
            //1-上传的文件流 2-文件的大小 3-文件的后缀 4-可以不管他
            StorePath storePath=fastFileStorageClient.uploadFile(inputStream,size,extName,null);
            log.info("[uploadFileByFastDFS][FullPath]"+storePath.getFullPath());
            return ResultBean.success(storePath.getPath());
        }catch (Exception e){
            log.info("[ERROR][uploadFileByFastDFS]"+e.getMessage());
            return ResultBean.error(e.getMessage());
        }finally {
            if (inputStream != null) {
                try {
                    inputStream.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
    /**
     * 对象存储上传
     * @param file 文件名
     * @return
     */
    private static ResultBean uploadFileByHuaweiObject(MultipartFile file, String huaweiEndPoint,String huaweiobsAk,String huaweiobsSk,
                                                   String bucketName){
        String fileName = file.getOriginalFilename();
        fileName = renameToUUID(fileName);
        InputStream inputStream=null;
        try {
            inputStream=file.getInputStream();
            // 创建ObsClient实例
            ObsClient obsClient = new ObsClient(huaweiobsAk, huaweiobsSk, huaweiEndPoint);
            PutObjectResult result = obsClient.putObject(bucketName, fileName, inputStream);
            obsClient.close();
            return ResultBean.success(fileName);
        }catch (ObsException e){
            log.info("[ERROR][uploadFileByHuaweiObject]"+e.getErrorMessage());
            return ResultBean.error(e.getErrorMessage());
        }catch (Exception e){
            log.info("[ERROR][uploadFileByHuaweiObject]"+e.getMessage());
            return ResultBean.error(e.getMessage());
        }finally {
            if (inputStream != null) {
                try {
                    inputStream.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
    /**
     * 上传文件原本方法
     * @param file 文件名
     * @return
     */
    private static ResultBean uploadFileByOrigin(MultipartFile file,String uploadPath){
        String fileName = file.getOriginalFilename();
        fileName = renameToUUID(fileName);
        File targetFile = new File(uploadPath);
        if (!targetFile.exists()) {
            targetFile.mkdirs();
        }
        FileOutputStream out = null;
        try {
            out = new FileOutputStream(uploadPath + fileName);
            out.write(file.getBytes());
        } catch (IOException e) {
            log.info("[ERROR][uploadFileByOrigin]"+e.getMessage());
            return ResultBean.error(e.getMessage());
        }finally {
            try {
                out.flush();
            } catch (IOException e) {
                e.printStackTrace();
            }
            try {
                out.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        return ResultBean.success(fileName);
    }
    /**
     * 下载
     * @return
     */
    public static byte[] downloadFile(String fileId,String uploadFlag,String uploadPath
            ,FastFileStorageClient fastFileStorageClient, String group,
                                      String endPoint,String ak,String sk,
                                      String bucketName) {
        byte[] result=null;
        switch (uploadFlag){
            case "fastDFS":
                result =downloadFileByFastDFS(fileId,fastFileStorageClient,group);
                break;
            case "huaweiOOS":
                result =downloadFileByHuaweiObject(fileId, endPoint, ak, sk, bucketName);
                break;
            case "server":
            default:
                String path2 = uploadPath + fileId;
                path2 = path2.replace("//", "/");
                result=downloadFileByOrigin(path2);
                break;
        }
        return result;
    }
    /**
     * 下载文件fastDFS
     * @param fileId 文件名
     * @return
     */
    private static byte[] downloadFileByFastDFS(String fileId,FastFileStorageClient fastFileStorageClient,
                                                String group){
        DownloadByteArray callback=new DownloadByteArray();
        byte[] group1s=null;
        try {
            group1s = fastFileStorageClient.downloadFile(group, fileId, callback);
        }catch (Exception e){
            log.info("[ERROR][downloadFileByFastDFS]"+e.getMessage());
        }
        return group1s;
    }
    /**
     * 下载文件对象存储
     * @param fileId 文件名
     * @return
     */
    private static byte[] downloadFileByHuaweiObject(String fileId, String huaweiEndPoint,String huaweiobsAk,String huaweiobsSk,
                                                     String bucketName){
        byte[] bytes =null;
        try {
            // 创建ObsClient实例
            ObsClient obsClient = new ObsClient(huaweiobsAk, huaweiobsSk, huaweiEndPoint);
            // 构造GetObjectRequest请求
            GetObjectRequest getObjectRequest = new GetObjectRequest(bucketName, fileId);
            // 执行下载操作
            ObsObject obsObject = obsClient.getObject(getObjectRequest);
            bytes = inputStreamToByteArray(obsObject.getObjectContent());
            // 关闭OBS客户端
            obsClient.close();
            return bytes;
        }catch (ObsException e){
            log.info("[ERROR][downloadFileByHuaweiObject]"+e.getErrorMessage());
        }catch (Exception e) {
            log.info("[ERROR][downloadFileByHuaweiObject]"+e.getMessage());
        }
        return bytes;
    }
    /**
     *
     * @param input
     * @return
     * @throws IOException
     */
    private static byte[] inputStreamToByteArray(InputStream input) throws IOException {
        ByteArrayOutputStream output = new ByteArrayOutputStream();
        byte[] buffer = new byte[4096];
        int n = 0;
        while (-1 != (n = input.read(buffer))) {
            output.write(buffer, 0, n);
        }
        return output.toByteArray();
    }
    /**
     * 下载文件
     * @param fileId 文件名
     * @return
     */
    private static byte[] downloadFileByOrigin(String fileId){
        File file  =new File(fileId);
        InputStream inputStream=null;
        byte[] buff = new byte[1024];
        byte[] result=null;
        BufferedInputStream bis = null;
        ByteArrayOutputStream os = null;
        try {
            os=new ByteArrayOutputStream();
            bis = new BufferedInputStream(new FileInputStream(file));
            int i = bis.read(buff);
            while (i != -1) {
                os.write(buff, 0, buff.length);
                i = bis.read(buff);
            }
            result=os.toByteArray();
            os.flush();
        } catch (Exception e) {
            log.info("[ERROR][downloadFile]"+e.getMessage());
        }finally {
            if (inputStream != null) {
                try {
                    inputStream.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
        return result;
    }
    /**
     * 删除文件
     * @param fileId 文件ID
     * @return 删除失败返回-1,否则返回0
     */
    public static boolean deleteFile(String fileId,String fastDFSFlag,FastFileStorageClient fastFileStorageClient,
                                     String group,String uploadPath) {
        boolean result=false;
        if (StringUtils.isNotBlank(fastDFSFlag)&&
                fastDFSFlag.trim().equalsIgnoreCase("true")){
            result =deleteFileByFastDFS(fileId,fastFileStorageClient,group);
        }else {
            String path2 = uploadPath + fileId;
            path2 = path2.replace("//", "/");
            result=deleteByOrigin(path2);
        }
        return result;
    }
    private static boolean deleteByOrigin(String fileName) {
        File file = new File(fileName);
        // 如果文件路径所对应的文件存在,并且是一个文件,则直接删除
        if (file.exists() && file.isFile()) {
            if (file.delete()) {
                return true;
            } else {
                return false;
            }
        } else {
            return false;
        }
    }
    private static boolean deleteFileByFastDFS(String fileId,FastFileStorageClient fastFileStorageClient,
                                               String group) {
        try {
            String groupFieId=group+"/"+fileId;
            StorePath storePath = StorePath.praseFromUrl(groupFieId);
            fastFileStorageClient.deleteFile(storePath.getGroup(), storePath.getPath());
        } catch (Exception e) {
            log.info("[ERROR][deleteFileByFastDFS]"+e.getMessage());
            return false;
        }
        return true;
    }
    /**
     * 生成fileId
     * @param fileName
     * @return
     */
    private static String renameToUUID(String fileName) {
        return UUID.randomUUID() + "." + fileName.substring(fileName.lastIndexOf(".") + 1);
    }
    /**
     * 删除文件对象存储
     * @param fileId 文件名
     * @return
     */
    private static boolean deleteFileByHuaweiObject(String fileId, String huaweiEndPoint,String huaweiobsAk,String huaweiobsSk,
                                                    String bucketName){
        try {
            // 创建ObsClient实例
            ObsClient obsClient = new ObsClient(huaweiobsAk, huaweiobsSk, huaweiEndPoint);
            // 构造GetObjectRequest请求
            DeleteObjectRequest getObjectRequest = new DeleteObjectRequest(bucketName, fileId);
            // 执行删除操作
            obsClient.deleteObject(getObjectRequest);
            // 关闭OBS客户端
            obsClient.close();
        }catch (ObsException e){
            log.info("[ERROR][deleteFileByHuaweiObject]"+e.getErrorMessage());
        }catch (Exception e) {
            log.info("[ERROR][downloadFileByHuaweiObject]"+e.getMessage());
        }
        return true;
    }
    /**
     * 文件数据输出(image)
     * @param fileId
     * @param bytes
     * @param res
     */
    public static void fileDataOut(String fileId, byte[] bytes, HttpServletResponse res){
        String[] prefixArray = fileId.split("\\.");
        String prefix=prefixArray[1];
        File file  =new File(fileId);
        res.reset();
        res.setCharacterEncoding("utf-8");
//        res.setHeader("content-type", "");
        res.addHeader("Content-Length", "" + bytes.length);
        if(prefix.equals("svg"))
            prefix ="svg+xml";
        res.setContentType("image/"+prefix);
        res.setHeader("Accept-Ranges","bytes");
        OutputStream os = null;
        try {
//            os = res.getOutputStream();
//            os.write(bytes);
//            os.flush();
            res.getOutputStream().write(bytes);
        } catch (IOException e) {
            System.out.println("not find img..");
        } finally {
            if (os != null) {
                try {
                    os.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
}

参考资料

假设个人实战使用可以采用docker快速安装,但是未安装过FastDFS建议普通安装部署,了解一下tracker和storage的使用,以及部署搭建集群。

FastDFS普通安装部署:https://www.cnblogs.com/chenliugou/p/15322389.html

FasdDFS docker安装部署:https://blog.csdn.net/weixin_44621343/article/details/117825755?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_baidulandingword~default-0-117825755-blog-127896984.235v43pc_blog_bottom_relevance_base6&spm=1001.2101.3001.4242.1&utm_relevant_index=3

OpenFeign和FastDFS的类冲突:https://www.cnblogs.com/chenliugou/p/18113183

Gitee地址:https://gitee.com/chen-liugou/file/new/master?readme=true

到此这篇关于Java实现Fast DFS、服务器、OSS上传功能的文章就介绍到这了,更多相关java Fast DFS上传内容请搜索程序员之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持程序员之家!

相关文章

  • 基于springboot实现整合shiro实现登录认证以及授权过程解析

    基于springboot实现整合shiro实现登录认证以及授权过程解析

    这篇文章主要介绍了基于springboot实现整合shiro实现登录认证以及授权过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • Java中的zookeeper常用命令详解

    Java中的zookeeper常用命令详解

    这篇文章主要介绍了Java中的zookeeper常用命令,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-06-06
  • XML操作类库XStream使用详解

    XML操作类库XStream使用详解

    这篇文章主要给大家介绍了关于XML操作类库XStream使用的相关资料,需要的朋友可以参考下
    2023-11-11
  • spring cloud 使用Zuul 实现API网关服务问题

    spring cloud 使用Zuul 实现API网关服务问题

    这篇文章主要介绍了spring cloud 使用Zuul 实现API网关服务问题,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2018-05-05
  • Java 利用binarySearch实现抽奖计算逻辑

    Java 利用binarySearch实现抽奖计算逻辑

    这篇文章主要介绍了Java 利用binarySearch实现抽奖计算逻辑,帮助大家更好的理解和使用Java,感兴趣的朋友可以了解下
    2020-12-12
  • 详解使用Jenkins自动编译部署web应用

    详解使用Jenkins自动编译部署web应用

    本篇主要介绍基于Jenkins实现持续集成的方式,通过案例介绍线上自动编译及部署的配置过程,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-06-06
  • Java详细讲解异常Exception的处理

    Java详细讲解异常Exception的处理

    异常就是不正常,比如当我们身体出现了异常我们会根据身体情况选择喝开水、吃药、看病、等?异常处理方法。?java异常处理机制是我们java语言使用异常处理机制为程序提供了错误处理的能力,程序出现的错误,程序可以安全的退出,以保证程序正常的运行等
    2022-06-06
  • Java JDK 二分法 分析demo(推荐)

    Java JDK 二分法 分析demo(推荐)

    下面小编就为大家带来一篇Java JDK 二分法 分析demo(推荐)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-07-07
  • Mybatis实现传入多个参数的四种方法详细讲解

    Mybatis实现传入多个参数的四种方法详细讲解

    这篇文章主要介绍了Mybatis实现传入多个参数的四种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习吧
    2023-01-01
  • Java对世界不同时区timezone之间时间转换的处理方法

    Java对世界不同时区timezone之间时间转换的处理方法

    这篇文章主要介绍了Java对世界不同时区timezone之间时间转换的处理方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07

最新评论

?


http://www.vxiaotou.com