您的位置：首页 > 运维架构 > Nginx

使用Nginx代理S3时，需要禁用URL解码。

2016-01-15 01:18 1146 查看

问题来源

使用Nginx代理S3时，无法创建新文件（读取和删除正常）。

用fuse挂载s3

使用 s3fs (V1.79) 挂载

s3fs ceph-s3 /mnt/ceph -o sigv2 -o use_path_request_style -o passwd_file=/etc/passwd-s3fs -o url=http://s3.biliops.com

无法新建文件

错误日志 
/var/log/radosgw/radosgw-node-6.log
http-403：

7fe690eba7c0  0 ceph version 9.2.0 (bb2ecea240f3a1d525bcb35670cb07bd1f0ca299), process radosgw, pid 2332333
7fe690eba7c0  0 framework: civetweb
7fe690eba7c0  0 framework conf key: port, val: 2333
7fe690eba7c0  0 starting handler: civetweb
7fe60adfb700  1 civetweb: 0x7fe5f80008c0: 192.168.168.168 - - [14/Jan/2016:23:22:33 +0800] "HEAD /ceph-s3/name HTTP/1.0" 404 0 - -
7fe609df9700  1 civetweb: 0x7fe5ec0008c0: 192.168.168.168 - - [14/Jan/2016:23:22:33 +0800] "HEAD /ceph-s3/name/ HTTP/1.0" 404 0 - -
7fe60a5fa700  1 civetweb: 0x7fe5f00008c0: 192.168.168.168 - - [14/Jan/2016:23:22:33 +0800] "HEAD /ceph-s3/name_$folder$ HTTP/1.0" 403 0 - -

问题跟踪

为提高存储可用性，在
civetweb
提供的服务前加了一层Nginx。

后端upsteam到多台
civetweb
节点。

ceph对应的radosgw配置 
/etc/ceph/ceph.conf
：

[client.rgw.node-6]
host = node-6
keyring = /var/lib/ceph/radosgw/ceph-rgw.node-6/keyring
rgw socket path = /tmp/radosgw-node-6.sock
log file = /var/log/radosgw/radosgw-node-6.log
rgw data = /var/lib/ceph/radosgw/ceph-rgw.node-6
rgw print continue = false
rgw frontends = civetweb port=2333


然而，直接挂载 
civetweb
却能正常使用

s3fs ceph-s3 /mnt/ceph -o sigv2 -o use_path_request_style -o passwd_file=/etc/passwd-s3fs -o url=http://node-6.biliops.com:2333

定位问题

使用 
tcpflow
抓包，对比 Nginx 代理前后请求内容的区别，发现：

使用Civetweb时，新建文件时有个URI是 
HEAD /ceph-s3/name_%24folder%24
；

使用Nginx代理后，对应的URI变成了 
HEAD /ceph-s3/name_$folder$
。

验证和解决

居然是Nginx在proxy_pass阶段对URI进行了解码，导致S3协议出错！

验证方法

Nginx配置 
/etc/nginx/sites-enabled/01-proxypass.biliops.com
，关键部分：

server {
listen       80 backlog=65535;
server_name  proxypass.biliops.com;
location / {
proxy_ignore_client_abort on;
proxy_set_header Host echo.biliops.com;
proxy_redirect off;
proxy_http_version 1.1;
proxy_set_header Connection "keep-alive";
proxy_pass $schema://127.0.0.1:80/;
}
}
server {
listen       80;
server_name  echo.biliops.com;
location / {
add_header request $request;
}
}


参考 
s3fs
的请求 
curl -I proxypass.biliops.com/name_%24folder%24
；

配置 
proxy_pass http://127.0.0.1:80/;[/code] 时，访问结果是：

request: HEAD /name_$folder$ HTTP/1.1

配置 
proxy_pass http://127.0.0.1:80$1;[/code] 时，访问结果是：

request: HEAD /name_%24folder%24 HTTP/1.1



解决办法
/
 和 
$1
 的区别明白后，按需使用即可。

本例需要的是原始
uri
，则使用
$1
来转发。

若需要Nginx帮转码，可使用
/
全全代理。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签：  nginx proxy_pass s3 ceph s3fs echo
相关文章推荐
新的分享
章节导航