分布式文件服务器FastDFS入门

tech2022-08-14  132

文章目录

一、 FastDFS入门1.1什么是FastDFS1.2文件上传及下载的流程1.2.1 文件上传流程1.2.2 文件下载流程 1.3最简单的 FastDFS 架构1.4 FastDFS安装1.5 FastDFS入门小Demo 二、实现fastdfs的纵向扩展三、 案例:商家后台-商品录入【商品图片上传】2.1需求分析2.2 后端代码2.2.1 FastDFS工具类2.2.2 配置文件(1)fdfs_client.conf(tracker服务器地址和端口)(2)application.properties(图片服务器地址nginx)(3)springmvc.xml(加载属性文件+文件解析器) 2.2.3 控制层Controller 2.3 前端代码2.3.1 服务层2.3.2 上传图片2.3.3 图片列表2.3.4 移除图片

一、 FastDFS入门

1.1什么是FastDFS

分布式文件系统之Fastdfs是什么?https://blog.csdn.net/qq_41946557/article/details/102753972

        FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS很容易搭建一套高性能的文件服务器集群 提供文件上传、下载等服务。

        FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文件上传、下载,通过 Tracker server 调度最终由 Storage server 完成文件上传和下载。

        Tracker server 作用是负载均衡和调度,通过 Tracker server 在文件上传时可以根据一些策略找到 Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或 调度服务器。         Tracker server的性能非常高,一个比较大的集群(比如上百个group)中有三台就足够了。

        Storage server 作用是文件存储,客户端上传的文件最终存储在 Storage 服务器上,Storageserver 没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage称为 存储服务器。

storage做集群时,以组(group)为单位,同一个组之间相互通信,文件进行同步,相互冗余,压力大时,组内添加storage server(纵向扩展),容量不够时时可以添加新的组(横向扩展)。

服务端两个角色:

Tracker:管理集群,tracker 也可以实现集群。每个 tracker 节点地位平等。收集 Storage 集群的状态。Storage:实际保存文件 Storage 分为多个组,每个组之间保存的文件是不同的。每个组内部可以有多个成员,组成员内部保存的内容是一样的,组成员的地位是一致的,没有主从的概念。

1.2文件上传及下载的流程

1.2.1 文件上传流程

客户端上传文件后,存储服务器将文件 ID 返回给客户端,此文件 ID 用于以后访问该文件的索引信息。 文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。

组名:文件上传后所在的 storage 组名称,在文件上传成功后有 storage 服务器返回,需要客户端自行保存。虚拟磁盘路径:storage 配置的虚拟路径,与磁盘选项 store_path*对应。如果配置了 store_path0 则是 M00,如果配置了 store_path1 则是 M01,以此类推。数据两级目录:storage 服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据 文件。文件名:与文件上传时不同。是由存储服务器根据特定信息生成。 文件名包含:源存储 服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

1.2.2 文件下载流程

1.3最简单的 FastDFS 架构

1.4 FastDFS安装

FastDFS安装教程:https://blog.csdn.net/BigDevil_/article/details/108395231

1.5 FastDFS入门小Demo

需求:将本地图片上传至图片服务器,再控制台打印url

(1)创建Maven工程fastDFSdemo

pom.xml中引入

<!-- fastDfs (自己 装进仓库的,中央仓库下载不下来) --> <dependency> <groupId>org.csource</groupId> <artifactId>fastdfs-client-java</artifactId> <version>1.29-SNAPSHOT</version> </dependency>

本地仓库安装FastDFS的方法:https://www.cnblogs.com/mlq2017/p/10076084.html

(2)添加配置文件fdfs_client.conf ,将其中的服务器地址设置为192.168.188.146

#tracker服务器IP地址和端口号 tracker_server=192.168.188.146:22122

(3)创建java类TestStorageClient,代码如下:

package com.demo; import org.csource.common.MyException; import org.csource.fastdfs.*; import java.io.IOException; public class TestStorageClient { public static void main(String[] args) throws IOException, MyException { // 1、加载配置文件,配置文件中的内容就是 tracker 服务的地址。 ClientGlobal.init("./src/main/resources/fdfs_client.conf"); // 2、创建一个 TrackerClient 对象。直接 new 一个。 TrackerClient trackerClient = new TrackerClient(); // 3、使用 TrackerClient 对象创建连接,获得一个 TrackerServer 对象。 TrackerServer trackerServer = trackerClient.getTrackerServer(); // 4、创建一个 StorageServer 的引用,值为 null StorageServer storageServer = null; // 5、创建一个 StorageClient 对象,需要两个参数 TrackerServer 对象、StorageServer 的引用 StorageClient storageClient = new StorageClient(trackerServer, storageServer); // 6、使用 StorageClient 对象上传图片。 //扩展名不带“.” String[] strings = storageClient.upload_file("C:\\Users\\Administrator\\Desktop\\1.jpg", "jpg", null); // 7、返回数组。包含组名和图片的路径。 for (String string : strings) { System.out.println(string); } } }

注意: 如果出现连接图片服务器超时失败的情况,请检查图片linux服务器是否启动、是否开启了端口22122、23000的防火墙端口,如果未开启需要开启。

firewall-cmd --add-port=22122/tcp --permanent firewall-cmd --add-port=23000/tcp --permanent firewall-cmd --reload

控制台输出如下结果:

group1 M00/00/00/wKjIkl9QoxeABHMuAACc36ydQRg910.jpg

在浏览器输入: http://192.168.188.146/group1/M00/00/00/wKi8klv9PcCAN3w9AACSXEWdWYM543.jpg 即可看到所上传的图片。

二、实现fastdfs的纵向扩展

实现fastdfs的纵向扩展(冗余备份),同时也能 实现 负载均衡

配置参考:Fastdfs group同步 及 一台服务器部署两个storage https://blog.csdn.net/suoyanming/article/details/89002482

三、 案例:商家后台-商品录入【商品图片上传】

2.1需求分析

在商品录入界面实现多图片上传

当用户点击新建按钮,弹出上传窗口

2.2 后端代码

2.2.1 FastDFS工具类

common工程里添加,并在common的pom文件中,添加fastdfs和文件上传的依赖

<dependency> <groupId>org.csource</groupId> <artifactId>fastdfs-client-java</artifactId> <version>1.29-SNAPSHOT</version> </dependency> <dependency> <groupId>commons-fileupload</groupId> <artifactId>commons-fileupload</artifactId> </dependency>

构造方法的参数 是 配置文件的路径。配置文件里是tracker服务器的地址和端口

package com.offcn.util; import org.csource.common.NameValuePair; import org.csource.fastdfs.*; public class FastDFSClient { private TrackerClient trackerClient = null; private TrackerServer trackerServer = null; private StorageServer storageServer = null; private StorageClient1 storageClient = null; public FastDFSClient(String conf) throws Exception { if (conf.contains("classpath:")) { conf = conf.replace("classpath:", this.getClass().getResource("/").getPath()); } ClientGlobal.init(conf); trackerClient = new TrackerClient(); trackerServer = trackerClient.getTrackerServer(); storageServer = null; storageClient = new StorageClient1(trackerServer, storageServer); } /** * 上传文件方法 * <p>Title: uploadFile</p> * <p>Description: </p> * @param fileName 文件全路径 * @param extName 文件扩展名,不包含(.) * @param metas 文件扩展信息 * @return * @throws Exception */ public String uploadFile(String fileName, String extName, NameValuePair[] metas) throws Exception { String result = storageClient.upload_file1(fileName, extName, metas); return result; } public String uploadFile(String fileName) throws Exception { return uploadFile(fileName, null, null); } public String uploadFile(String fileName, String extName) throws Exception { return uploadFile(fileName, extName, null); } /** * 上传文件方法 * <p>Title: uploadFile</p> * <p>Description: </p> * @param fileContent 文件的内容,字节数组 * @param extName 文件扩展名 * @param metas 文件扩展信息 * @return * @throws Exception */ public String uploadFile(byte[] fileContent, String extName, NameValuePair[] metas) throws Exception { String result = storageClient.upload_file1(fileContent, extName, metas); return result; } public String uploadFile(byte[] fileContent) throws Exception { return uploadFile(fileContent, null, null); } public String uploadFile(byte[] fileContent, String extName) throws Exception { return uploadFile(fileContent, extName, null); } }

2.2.2 配置文件

(1)fdfs_client.conf(tracker服务器地址和端口)

(1)dongyimai-shop-web工程config文件夹

#tracker服务器IP地址和端口号 tracker_server=192.168.200.146:22122

(2)application.properties(图片服务器地址nginx)

(2)在dongyimai-shop-web工程application.properties添加配置

# 服务器的url,拼接图片url。nginx服务器 FILE_SERVER_URL=http://192.168.200.146/

(3)springmvc.xml(加载属性文件+文件解析器)

注意:一定要加载属性文件,要 不然在Controler里面没办法使用@Value引用属性值

<!-- 加载属性文件 --> <context:property-placeholder location="classpath:application.properties"/> <!-- 配置文件上传多媒体解析器 --> <bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver"> <property name="defaultEncoding" value="UTF-8"></property> <!-- 设定文件上传的最大值5MB,5*1024*1024 --> <property name="maxUploadSize" value="5242880"></property> </bean>

2.2.3 控制层Controller

在dongyimai-shop-web新建UploadController.java

package com.offcn.shop.controller; import com.offcn.entity.Result; import com.offcn.util.FastDFSClient; import org.springframework.beans.factory.annotation.Value; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RestController; import org.springframework.web.multipart.MultipartFile; @RestController public class UploadController { @Value("${FILE_SERVER_URL}") private String FILE_SERVER_URL;//文件服务器地址 @RequestMapping("/upload") public Result upload(MultipartFile file){ // 文件原始名 String originalFilename = file.getOriginalFilename(); // 根据原始名获取 后缀名 String exName = originalFilename.substring(originalFilename.lastIndexOf(".")); try { FastDFSClient fastDFSClient = new FastDFSClient("classpath:config/fdfs_client.conf"); // 开始上传(返回值是: group/图片位置 如:group1/M00/00/00/wKjIkl9QoxeABHMuAACc36ydQRg910.jpg) String path = fastDFSClient.uploadFile(file.getBytes(), exName); // 拼装图片的整个url,并 响应给前端。然后前端用src就能直接访问,使图片回显 // 拼装完成后:http://192.168.200.146/group1/M00/00/00/wKjIkl9QoxeABHMuAACc36ydQRg910.jpg String url = FILE_SERVER_URL + path; return new Result(true,url); }catch (Exception e){ e.printStackTrace(); return new Result(false,"上传失败"); } } }

2.3 前端代码

2.3.1 服务层

(1)在dongyimai-shop-web工程创建uploadService.js //文件上传服务层

app.service("uploadService",function($http){ this.uploadFile=function(){ var formData=new FormData(); 注意:这里的file11.files[0],这个file11是自动绑定的html中的id为file的dom对象 formData.append("file",file11.files[0]); return $http({ method:'POST', url:"../upload.do", data: formData, headers: {'Content-Type':undefined}, transformRequest: angular.identity }); } });

注意: anjularjs对于post和get请求默认的Content-Type header 是application/json。 通过设置‘Content-Type’: undefined,这样浏览器会帮我们把Content-Type 设置为 multipart/form-data.

通过设置 transformRequest: angular.identity ,anjularjs transformRequest function 将序列化我们的formdata object.

(2)将uploadService服务注入到goodsController 中

//商品控制层(商家后台) app.controller(‘goodsController’ ,function($scope,$controller ,goodsService,itemCatService,uploadService)

(3)在goods_edit.html引入js

<script type="text/javascript" src="../js/service/uploadService.js"> </script>

2.3.2 上传图片

(1)goodsController.js编写代码

/** * 上传图片 */ $scope.uploadFile=function(){ uploadService.uploadFile().success(function(response) { if(response.success){//如果上传成功,取出url $scope.image_entity.url=response.message;//设置文件地址 }else{ alert(response.message); } }).error(function() { alert("上传发生错误"); }); };

(2)修改图片上传窗口,调用上传方法,回显上传图片

<div class="modal-body"> <table class="table table-bordered table-striped"> <tr> <td>颜色</td> <td> ng-model 绑定颜色 <input class="form-control" placeholder="颜色" ng-model="image_entity.color"> </td> </tr> <tr> <td>商品图片</td> <td> <table> <tr> <td> id=file11 ,在angularjs中 可以自动绑定这个id的dom对象,直接使用file11[0] 获取第一个file <input type="file" id="file11" /> 绑定上传方法 <button class="btn btn-primary" type="button" ng-click="uploadFile()"> 上传 </button> </td> <td> 图片回显,这里用src不用ng-src,因为entity={},这样初始化的时候,ng-src的图片仍会显示。但是用src会报404,因为页面加载的时候image_entity为null <img src="{{image_entity.url}}" width="200px" height="200px"> </td> </tr> </table> </td> </tr> </table> </div>

(3)新建按钮 初始化image_entity(添加:click="image_entity={}")

<button type="button" class="btn btn-default" title="新建" data-target="#uploadModal" data-toggle="modal" ng-click="image_entity={}" ><i class="fa fa-file-o"></i> 新建</button>

2.3.3 图片列表

每个sku的图片 不止有一个url,还有这个图片的规格,所以在goodsDesc的itemImages的字段里,是一个对象{color:'',url:''}。如: [{“color”:“啊”,“url”:“http://192.168.188.146/group1/M00/00/00/wKi8kly9zziAZNAFAAI1bFuIUJE372.jpg”},{},{}…]

(1)在goodsController.js增加方法

因为要向itemImages数组里push对象,所以一定要初始化这个属性,否则会报undefined

$scope.entity={goods:{},goodsDesc:{itemImages:[]}};//定义页面实体结构 //添加图片列表(将当前image_entity对象 添加到entity中去) $scope.add_image_entity=function(){ $scope.entity.goodsDesc.itemImages.push($scope.image_entity); }

(2)修改上传窗口的保存按钮

上传窗口的时候,将这个image_entity对象 添加到entity中去。然后添加商品的时候,添加这个entity对象

<button class="btn btn-success" ng-click="add_image_entity()" data-dismiss="modal" aria-hidden="true">保存</button>

(3)遍历图片列表

<tr ng-repeat="pojo in entity.goodsDesc.itemImages"> <td>{{pojo.color}}</td> 这里用ng-src,如果用src,页面加载的时候pojo为null,会报404 <td><img alt="" ng-src="{{pojo.url}}" width="100px" height="100px"></td> <td><button type="button" class="btn btn-default" title="删除" ><i class="fa fa-trash-o"></i> 删除</button></td> </tr>

注意:图片属性采用了ng-src,可以保证有属性值的时候在加载图片,避免出现404错误

2.3.4 移除图片

(1)在goodsController.js增加代码 //列表中移除图片 $scope.remove_image_entity=function(index){ $scope.entity.goodsDesc.itemImages.splice(index,1); } (2)修改列表中的删除按钮,绑定删除事件 添加ng-click="remove_image_entity($index)"<button type="button" class="btn btn-default" title="删除" ng-click="remove_image_entity($index)"><i class="fa fa-trash-o"></i> 删除</button>
最新回复(0)