开发者社区 > 博文 > s3cmd和s3fs上传文件大小限制
分享
  • 打开微信扫码分享

  • 点击前往QQ分享

  • 点击前往微博分享

  • 点击复制链接

s3cmd和s3fs上传文件大小限制

  • 京东云技术交付部
  • 2021-01-26
  • IP归属:未知
  • 79840浏览

问题现象:

有时会遇到客户使用s3cmd或者s3fs上传文件时,上传到一定大小就直接中断。

问题原因:

这是因为京东云oss上传文件的最大分片数是1万个分片,s3cmds3fs配置中默认分片大小较小,导致上传文件大小受到限制。默认s3cmd配置文件~/.s3cfg中,分片大小是15MB(multipart_chunk_size_mb = 15)s3fs默认分片大小是10MB。所以默认情况下,s3cmd可以正常上传150000MBs3fs可以正常上传100000MB

解决方法:

如果需要上传更大的文件,需要调整对应的配置。上传分片最大可以指定为5GB。具体操作如下:
一、修改s3cmd上传分片大小
1.
编辑~/.s3cfg配置文件,找到multipart_chunk_size_mb = 15这一行,修改15为更高的值,最大可以为5120MB
2.
或者在上传时候,指定--multipart-chunk-size-mb参数,指定分片大小。

二、修改s3fs上传分片大小
在执行挂载命令时,添加-o multipart_size=5050的单位是MB


在此感谢各位童鞋阅读,如果能够对大家有所帮助,欢迎点赞转发。

同时欢迎扫码关注京东云技术中台团队的公众号:云服务飞行团;更多精彩内容会持续放送!

 

共0条评论