问题现象:
有时会遇到客户使用s3cmd或者s3fs上传文件时,上传到一定大小就直接中断。
问题原因:
这是因为京东云oss上传文件的最大分片数是1万个分片,s3cmd和s3fs配置中默认分片大小较小,导致上传文件大小受到限制。默认s3cmd配置文件~/.s3cfg中,分片大小是15MB(multipart_chunk_size_mb = 15),s3fs默认分片大小是10MB。所以默认情况下,s3cmd可以正常上传150000MB,s3fs可以正常上传100000MB。
解决方法:
如果需要上传更大的文件,需要调整对应的配置。上传分片最大可以指定为5GB。具体操作如下:
一、修改s3cmd上传分片大小
1. 编辑~/.s3cfg配置文件,找到multipart_chunk_size_mb
= 15这一行,修改15为更高的值,最大可以为5120MB
2. 或者在上传时候,指定--multipart-chunk-size-mb参数,指定分片大小。
二、修改s3fs上传分片大小
在执行挂载命令时,添加-o multipart_size=50,50的单位是MB。
在此感谢各位童鞋阅读,如果能够对大家有所帮助,欢迎点赞转发。 同时欢迎扫码关注京东云技术中台团队的公众号:云服务飞行团;更多精彩内容会持续放送!
|