简介
BOSFTP是一个基于Python实现的BOS的FTP server工具，将FTP协议的操作转化为对BOS中存储的对象、目录的操作。支持文件上传、下载、删除以及创建文件夹等操作。
主要的功能
BOSFTP支持的主要功能如下：
- 文件流式上传，大文件分块并行上传
- 文件流式下载
- 支持大部分FTP命令，满足FTP需求
- 服务配置化，满足性能要求
系统环境
- 操作系统：LINUX
- Python版本：Python 3
- 依赖：pyftpdlib>=1.5.0 bce-python-sdk>=0.8.23
安装
-
使用pip安装pyftpdlib
pip install pyftpdlib -
安装python sdk
cd bce-python-sdk-0.8.23 python setup.py install
- 下载BOSFTP, 并解压。
-
验证是否安装好依赖
cd .. python setup.py install
启动FTP server
执行命令启动一个FTP server， 默认监听端口为2121。
bash start.sh
> running ftp server at port 2121...
关闭
-执行命令ctrl + c关闭FTP Server服务。 -可以指定在后台运行sh start.sh&将服务启动，运行sh stop.sh 关闭服务。
配置文件
[BOS_ACCOUNT]
# 设置ak, sk, bucket
access_key_id = <your access_key_id>
secret_access_key = <your secret_access_key>
bucket = <BucketName>
# FTP Server 的工作目录。
bos_user_home_dir = /home/users/xxx
[FTP_ACCOUNT]
# FTP 账户配置。配置格式为<用户名:密码:读写权限>，多个账户用分号分割。
login_users = usr1:psw1:RW;usr2:psw2:R
[NETWORK]
# 设置endpoint,默认为http://bj.bcebos.com
#endpoint = http://xx.bcebos.com
# FTP监听端口号,默认为2121
listen_port = 8081
# HTTP连接超时时间，默认为3600
connection_timeout_in_mills = 10000
# 并行上传最大并行数，即线程池线程数， 默认为cpu_count * 4
parallel_upload_num = 9
# FTP server最大连接数，默认为1024
max_connection_num = 1000
# 三步上传将文件切割成每个multi_part_size后进行并行上传， 默认为10485760（10M）
multi_part_size = 10485760
masquerade_address = 127.0.0.1
[LOG]
# 设置日志级别
log_level = INFO
# 设置日志目录, 日志名为bosftp.log
log_dir = /home/users/lihangyu01/baidu/bos/bosftp/log
配置文件说明
- bos_user_home_dir: 本地文件夹路径，上传或是下载都在这个目录进行
- login_users: 为用户账户信息，启动服务时会验证用户名和密码是否存在于login_users1当中，例如: open 127.0.0.1 2121连接到server，提示输入用户名和密码，这里输入的信息必须存在login_users当中才会通过权限认证
- parallel_upload_num: 大文件上传会将文件分块（默认10M），然后并发的将这些文件块上传，这个参数用来控制并发度
- masquerade_address: 使用masquerade_address选项来唯一绑定一个passive模式下用于reply的IP
测试
sh start.sh& "启动后台服务 cd test sh run_test.sh sh stop.sh
注意：配置AK/SK时，Bucket要实际存在，才会再后台启动服务。
常见问题
- 创建目录删除后导致父级目录被删除怎么办？
例如，执行如下操作：
mkdir dir1/dir2
cd dir1
rm dir2
cd ..
由于创建目录的实现方式是创建名为dir1/dir2的空Object，所以上述操作会导致dir1也被删除。建议创建目录时使用如下方式：
mkdir dir1
cd dir1
mkdir dir2
- 执行 size file_name时， 显示'550 SIZE not allowed in ASCII mode'
执行type binary命令修改传输方式。
- 当connection_timeout_in_mills配置参数比较小的时候会导致rename一个大的文件对象超时失败
建议connection_timeout_in_mills配置参数值为10000，即10s。
- put一个大小为0的object显示成功，但是执行list操作缺显示不出。
pyftpdlib库本身不会去读取0大小的文件，所以无法上传0大小的文件。
- 启动ftp服务后，用其他机器连接，显示Connection refused怎么办？
显示如下
227 Entering passive mode (127,0,0,1,97,183).
ftp: connect: Connection refused
执行passive命令即可。
版本记录
-
BOSFTP工具包 [2018-03-08] 版本号1.0.1
- 支持APPE接口实现断点续传功能
-
BOSFTP工具包 [2018-11-09] 版本号1.0.0
- 支持文件上传，下载，删除， 支持文件夹创建
- 支持put、get、delete、mkdir、ls、cd、quite、size、rename命令
- 自定义ftp配置
- 大文件分块上传
