开源ceph管理平台inkscope部署手册
2016-03-21 16:59
816 查看
一.前情提要
关于inkscope就不做过多介绍了,就是ceph的一个开源管理控制平台,跟ceph官方的calamary以及intel的VSM差不多一类,只是各自侧重点不一样。相对而言,因为inkscope使用的是ceph自带的restapi,因此是比较轻量级的,ceph集群相关的信息直接从API调,系统层面的信息抓取是通过本地一个代理程序抓取,然后写入inkscope所在节点的mongodb里。
1.1 官方地址
github-inkscopeinkscope角色介绍
inkscope主要的角色有三种: 1. web管理控制台:这个角色需要安装flask和mongodb以提供接口,方便前端界面angular-js调用 2. cephprobe:这个一般是安装在mon节点,整个集群安装一个即可,主要是获取ceph的一些信息将其写入mongodb中;使用5000端口提供服务 3. sysprobe:这个主要是获取集群所有节点的硬件监控信息,如CPU、内存、硬盘灯,集群内所有节点都需要安装。 4. radosgw: 是ceph对外提供对象存储服务的服务,本例中用于对象存储相关的管理,会使用80端口提供http服务;1.2 inkscope-packaging
最新的版本中,已经提供了ubuntu下的deb安装包,项目地址,deb包及作用介绍如下:inkscope-common : 包含inkscope的默认配置文件以及其他进程(cephprobe,sysprobe)启动所需的依赖文件,所有相关节点都需要安装
inkscope-admviz : 包含inkscope的web控制台文件,含接口和界面,仅需要安装一个,该节点上同时需要按章flask和mongodb
inkscope-cephrestapi: 用于安装启动 ceph rest api 的脚本,仅需要安装在提供api接口的节点上
inkscope-cephprobe: 用于安装启动 cephprobe 的脚本(整个集群只需要一个)
inkscope-sysprobe : 安装用于所有mon和osd的sysprobe 所需要脚本
二.测试环境
本次测试ceph集群共有三个节点:ceph1(10.1.35.85),ceph2(10.1.35.86),ceph3(10.1.35.87);三个节点都是mon节点,也都是osd节点,每个节点3个osd。
根据前面的角色以及安装包的介绍,三个节点的分配及所需安装包如下(inkscope-common包所有节点都需要因此省略):
角色 | 分配节点 | 需要安装的inkscope的包 |
---|---|---|
web管理控制台 | ceph3 | inkscope-admviz |
sysprobe | ceph1,ceph2,ceph3 | inkscope-sysprobe |
cephprobe | ceph2 | inkscope-cephprobe,inkscope-cephrestapi |
radosgw | ceph1 | 无需inkscope的包 |
三.安装
3.1 安装web管理控制台
3.1.1 按章软件包和依赖该节点使用php以及wsgi实现界面,本地接收其他节点传过来的数据存入本地mongodb,同时会调用rados命令,
又使用flask框架构建接口,因此需要使用下面的命令安装依赖
apt-get install python-pip apache2 libapache2-mod-wsgi mongodb python-ceph pip install flask requests simplejson -i http://pypi.mirrors.ustc.edu.cn/simple #使用国内pip源安装 dpkg -i inkscope-admviz_1.2.0-0.deb inkscope-common_1.2.0-0.deb inkscope-sysprobe_1.2.0-0.deb
3.1.2 配置apache2服务
安装完nkscope-admviz后默认虚拟主机配置文件位于/etc/httpd/conf.d/inkScope.conf,将其拷贝到/etc/apache2/sites-available 中。 修改32行为下面这句, 注释掉 33行
ProxyPass /ceph-rest-api/ http://10.1.35.86:5000/api/v0.1/ #ProxyPass /shell http://$IP:4200/
这里将 rest-api_srv 修改为ceph2的IP,规划中,ceph2的角色是cephprobe。
同时将25和35行的ErrorLog和CustomLog的值里面的httpd修改为apache2,因为apache2的工作路径已经换了
修改 /etc/apache2/ports.conf 文件,增加下面
Listen 8080 NameVirtualHost *:8080
完整inkScope.conf文件如下:
root@ceph3:/etc/apache2/sites-available# cat inkScope.conf
<VirtualHost *:8080>
ServerName localhost
ServerAdmin webmaster@localhost
DocumentRoot /var/www/inkscope
<Directory "/var/www/inkscope">
Options All
AllowOverride All
</Directory>
ScriptAlias /cgi-bin/ /usr/lib/cgi-bin/
<Directory "/usr/lib/cgi-bin">
AllowOverride None
Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch
Order allow,deny
Allow from all
</Directory>
WSGIScriptAlias /inkscopeCtrl /var/www/inkscope/inkscopeCtrl/inkscopeCtrl.wsgi
<Directory "/var/www/inkscope/inkScopeCtrl">
Order allow,deny
Allow from all
</Directory>
ErrorLog /var/log/apache2/error_inkscope.log
# Possible values include: debug, info, notice, warn, error, crit,
# alert, emerg.
LogLevel warn
ProxyRequests Off # we don't want a "forward proxy", but only a "Reverse proxy"
ProxyPass /ceph-rest-api/ http://10.1.35.86:5000/api/v0.1/ #ProxyPass /shell http://$IP:4200/
CustomLog /var/log/apache2/access.log combined
</VirtualHost>
运行下面的命令,启用apache2的proxy模块和inkScope.conf虚拟主机
sudo a2enmod proxy_http sudo a2ensite inkScope.conf sudo service apache2 restart
现在打开浏览器访问 10.1.35.87:8080/ 应该就可以看到首页,只是暂时没有ceph集群的相关数据而已。
3.1.3 开启mongodb远程连接
修改 /etc/mongodb.conf ,将bind_ip 修改为 0.0.0.0,取消 port = 27017 依据前面的注释,如下:
bind_ip = 0.0.0.0 port = 27017
3.2 安装cephprobe
在cephprobe节点主要是提供ceph-rest-api并抓取ceph的信息存入mongodb中。 所需软件包及依赖安装如下:apt-get install python-dev pip install pymongo psutil -i http://pypi.mirrors.ustc.edu.cn/simple dpkg -i inkscope-common_1.2.0-0.deb inkscope-sysprobe_1.2.0-0.deb inkscope-cephrestapi_1.2.0-0.deb inkscope-cephprobe_1.2.0-0.deb
启动ceph-rest-api服务: /etc/init.d/ceph-rest-api start
3.3 radosgw服务配置
在ceph1提供radosgw服务,具体radosgw的安装在这里不做详述,请参见ceph官方文档或者内部手册。 这里需要新建一个管理用户,并赋予相关权限,以便在界面上直接操作radosgw。radosgw-admin user create --uid=inkscope --display-name="Inkscope admin" \ --access-key=accesskey --secret=secretkey \ --caps="users=*;metadata=*;buckets=*"
这里sccess和secret的具体的值可以根据喜好自行修改。
3.4安装sysprobe
在其他没有承担特殊任务的节点上安装sysprobeapt-get install python-dev pip install pymongo psutil -i http://pypi.mirrors.ustc.edu.cn/simple dpkg -i inkscope-common_1.2.0-0.deb inkscope-sysprobe_1.2.0-0.deb
3.5修改inkscope配置文件并启动服务
inkscope的配置文件就一个,位于 /opt/inkscope/etc/inkscope.conf ,这里面需要修改的主要有: 1. ceph_rest_api:在本例中即为ceph2的ip 2. mongodb_host:即为ceph3所在节点,管理节点 3. radosgw_url:即为ceph1所在节点 4. radosgw_key和radosgw_secret:在ceph1上新建管理用户时指定的两个key
最终版如下:
{ "ceph_conf": "/etc/ceph/ceph.conf", "ceph_rest_api": "10.1.35.86:5000", "mongodb_host" : "10.1.35.87", "ceph_rest_api_subfolder": "", "mongodb_set" : "mongodb0:27017,mongodb1:27017,mongodb2:27017", "mongodb_replicaSet" : "replmongo0", "mongodb_read_preference" : "ReadPreference.SECONDARY_PREFERRED", "mongodb_port" : 27017, "mongodb_user":"ceph", "mongodb_passwd":"monpassword", "is_mongo_authenticate" : 0, "is_mongo_replicat" : 0, "cluster": "ceph", "status_refresh": 3, "osd_dump_refresh": 3, "pg_dump_refresh": 60, "crushmap_refresh": 60, "df_refresh": 60, "cluster_window": 1200, "osd_window": 1200, "pool_window": 1200, "mem_refresh": 60, "swap_refresh": 600, "disk_refresh": 60, "partition_refresh": 60, "cpu_refresh": 30, "net_refresh": 30, "mem_window": 1200, "swap_window": 3600, "disk_window": 1200, "partition_window": 1200, "cpu_window": 1200, "net_window": 1200, "radosgw_url": "http://10.1.35.85:80", "radosgw_admin": "admin", "radosgw_key": "ainkscope", "radosgw_secret": "sinkscope" }
将该文件拷贝到所有节点的/opt/inkscope/etc/ 目录中,然后重启对应服务:
/etc/init.d/sysprobe start /etc/init.d/cephprobe start /etc/init.d/ceph-rest-api start
对应节点上启动对用服务。
四.安装web console
如果你是ubuntu14.04,直接安装:sudo apt-get install shellinabox
如果不是,点击这里下载deb包安装。
或者点击这里下载其他对应发行版的包。
修改配置文件, /etc/default/shellinabox :
SHELLINABOX_ARGS="--no-beep -t"
不适用SSL协议,然后重启服务
service shellinabox restart
修改apache2虚拟主机配置文件,添加代理 /etc/apache2/site-available/inkScope.conf
在 ProxyPass /ceph-rest-api/ ... 这一行后添加下面的:
ProxyPass /shell http://<hostname>:4200/
这里的 hostname 就是安装shellinabox的主机地址
重启apache2
service apache2 restart
注意:貌似需要谷歌浏览器,否则输入没反应。
相关文章推荐
- shell中比较字符串大小,>和<前需要加上\进行转义,否则会输出到文件了
- Linux下mysql数据库损坏恢复
- linux下jmeter持续集成Jenkins部署时问题解决
- 大型网站技术架构
- 论文:论项目的计划和监控
- 大型网站系统架构的演化
- linux 常用命令
- 安卓属性动画(Property Animation)(下)
- oop模式实现activeMQ传送消息(activeMQ 的API)
- docker网络-如何让外部网络访问容器资源
- docker网络-如何让外部网络访问容器资源
- 自学鸟哥linux服务-邮箱服务postfix+dovecot
- 重新指派usb转串口模块在linux系统中的设备调用名称
- OpenCV入门:缩小图像大小
- powershell脚本闪电输入神器
- HBase之基础命令
- [Angular 2] Template property syntax
- 在Windows系统上安装OpenSSL及在VS2010中使用OpenSSL
- zabbix通过JMX 监控tomcat
- 在读取视频时动态保存图片