炫意html5
最早CSS3和HTML5移动技术网站之一

minio的一些问题,请求大佬帮助

项目准备做一个文件服务器,参考了很多的方案,最终选择了minIo,部署了4台机器,每个机器2个节点,总共8个节点。现在有几个问题没想明白。

首先说明,我们这边主要都是一些小文件,比如图片,一些json文件等等。顶多就400KB的样子。

现有这么几个问题,

1、上传,我想知道,上传是直接连接minio还是应该中间走一层其他的服务再上传上去,我们现在的方案是有一个上传服务,前端请求这个上传服务,进行一些校验等操作后这个上传服务再上传到minio中。

2、minio能支持多大的并发,也就是我现在的这个集群,能支持多大的并发上传量。

3、能支持多大的读的并发呢?读的话,我们是开放了某个桶下面的读权限,用户获得 /桶/资源路径 后去请求,请求先到了nginx(8个),再通过nginx转发到minio读取文件。我们的测试用 Jmeter 进行1000人的并发下载,发现下载超时,感觉不应该啊,是测试的方法有问题,还是我们的流程有问题?

4、minio的下载是直接用户直连minio下载吗?还是不是这样用的,我们预计可能同时又5000人会进行下载操作,这会不会有问题的?

5、还有数据的迁移,我们线下的数据要迁移到线上,但是线上环境是要走堡垒机,然后再连接的,根本不通外网,线下4个节点,线上8个节点,怎么将数据转移过去?

回答

1、上传都用api上传操作。

2、并发这种东西官方没说,但理论上和节点数量有关系,节点越多性能越强,磁盘IO也看下。只要靠自己调优,top看下是IO到了瓶颈还是网络或者CPU到了瓶颈。

3、读并发提高有很多方法,你可以用nginx_proxy_cache或vanish做缓存,热点数据在缓存里,不会直接请求minio,更新文件直接再清理缓存。毕竟官方没有在性能上标榜说多厉害,主要还是靠自己调优。

4、下载默认就是走minio,当然建议前面做代理和缓存,性能就和minio的上限关系不大了。

5、数据迁移,你这minio不是本身就有上传接口?直接从接口走就行了。

炫意HTML5 » minio的一些问题,请求大佬帮助

Java基础教程Android基础教程