分布式存储系统MinIO

tech2022-10-04  70

1.背景简介 按照开发需求,亟需合适的文件系统对图片、点云(3dtile文件)等进行有效管理。满足以下要求: 1)能实现分布式部署且方便进行拓展。 2)可以做负载均衡处理。 3)能够实现快速查询及存储。 4)图片量级非常大且大小为4MB左右。 5)能够存储目录结构文件,比如:3dtile。 经过调研,目前MinIO能够满足我们的需求,下面为MinIO的相关概念。 2.适用范围

3.术语定义 无 4.参考文档 无 5.Minio 5.1架构 5.2存储结构

5.3功能相关概念 MinIO 是一个基于Apache License v2.0开源协议的对象存储服务(OSS),是世界上最快的对象存储服务器。。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。 5.3.1Erasure Coding MinIO使用Reed-Solomon代码将对象划分为n / 2个数据和n / 2个奇偶校验块。 5.3.2Bitrot Protection MinIO提供对HighwayHash算法的优化,可以解决由多种原因导致静默的数据损坏或比特腐烂带来的数据损失。比如:驱动器老化,电流尖峰,磁盘固件错误,幻像写入,读/写方向错误,驱动程序错误,意外覆盖等数据遭到破坏。 5.3.3Encryption 加密的对象使用AEAD服务器端加密进行了防篡改。此外,MinIO与所有常用的密钥管理解决方案。 5.3.4WORM 启用WORM后,MinIO会禁用所有可能会使对象数据和元数据发生变异的API。 5.3.5Identity Management MinIO支持身份管理中最先进的标准,并与OpenID Connect兼容提供商以及主要的外部IDP供应商集成。做到访问是集中的,密码是临时的和轮换的,而不是存储在配置文件和数据库中。 此外,访问策略是细粒度的且高度可配置的,支持多租户和多实例部署变得简单。 5.3.6Continuous Replication MinIO的连续复制旨在用于大规模的跨数据中心部署。通过利用Lambda计算通知和对象元数据,它可以高效,快速地计算增量。Lambda通知确保与传统的批处理模式相反,更改可以立即传播。 5.3.7Global Federation MinIO Federation Server支持无限数量的分布式模式集。 5.3.8Multi-Cloud Gateway MinIO存储基础架构与Amazon S3兼容。可以真正地统一其数据基础架构-从文件到块,所有这些都显示为可通过Amazon S3 API访问的对象,而无需迁移。 5.4服务限制 5.4.1Erasure Coding(删除码)限制

5.4.2浏览器访问限制

5.4.3S3规范

最新回复(0)