在linux系统上安装Greenplum数据库

Greenplum是一套基于postgresql数据库的典型MPP集群数据库，整个GP环境中包含几个部分：
1.       Master：建立与客户端的连接和管理，生产SQL查询计划，执行计划向segment的分发收集执行结果。Master本身不负责数据存储，只存储数据字典。
2.       Segment：业务数据的存取，用户SQL的执行。
3.       Master高可用，使用节点standby的方式。
4.       Segment高可用，使用磁盘镜像的方式。

 
一、           准备
1.       软件：以下软件为确认可用的版本
1)       对于数据库版本和操作系统版本已经验证的有两个组合
a)       操作系统：Red Hat Enterprise Linux Server 6.2 64bit.
数据库：greenplum-db-4.3.8.2-build-1-RHEL5-x86_64.zip
b)       操作系统：CentOS-6.8-x86_64-bin-DVD1.
数据库：greenplum-db-5.2.0-rhel6-x86_64.zip.zip
2)       辅助工具：Xshell，winscp等。
2.       操作系统环境：
由于是集群数据库，所以要准备多台服务器，并且每台服务器均按如下方法进行配置：
                                     i.             root修改内核
修改 /etc/sysctl.cof：
# Controls IP packet forwarding
net.ipv4.ip_forward = 0
# Controls source route verification
net.ipv4.conf.default.rp_filter = 1
 
# Do not accept source routing
net.ipv4.conf.default.accept_source_route =0
 
# Controls the System Request debuggingfunctionality of the kernel
kernel.sysrq = 1
 
# Controls whether core dumps will appendthe PID to the core filename.
# Useful for debugging multi-threadedapplications.
kernel.core_uses_pid = 1
 
# Controls the use of TCP syncookies
net.ipv4.tcp_syncookies = 1
 
# Disable netfilter on bridges
#net.bridge.bridge-nf-call-ip6tables = 0
#net.bridge.bridge-nf-call-iptables = 0
#net.bridge.bridge-nf-call-arptables = 0
 
# Controls the default maxmimum size of amesage queue
kernel.msgmnb = 65536
 
# Controls the maximum size of a message,in bytes
kernel.msgmax = 65536
kernel.msgmni = 2048
 
kernel.sem = 250 512000 100 2048
 
# Controls the maximum shared segment size,in bytes
#kernel.shmmax = 68719476736
kernel.shmmax = 500000000  --共享内存段最大值
kernel.shmmni = 4096      --共享内存段最大值
 
# Controls the maximum number of sharedmemory segments, in pages
#kernel.shmall = 4294967296
kernel.shmall = 4000000000   --共享内存段最大值
 
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_max_syn_backlog=4096
net.ipv4.ip_local_port_range = 1025 65535
net.core.netdev_max_backlog=10000
vm.overcommit_memory=2
net.ipv4.conf.all.arp_filter = 1
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
 
                                   ii.             root修改Linux最大连接数
vi /etc/security/limits.conf
#greenplum configs
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
 
逐个修改/etc/security/limits.d/90-nproc.conf

* soft nproc 131072
 
                                 iii.             I/O优化
vi /boot/grub/menu.lst
#greenplum configs
elevator=deadline
 
vi /etc/rc.d/rc.local， 最后加blockdev --setra 65536 /dev/sda –修改扇区读写能力。
 
                                  iv.             在host中配置节点信息
vi /etc/hosts
192.168.153.128 node01
192.168.153.129 node02
192.168.153.130 node03
192.168.153.131 node04
 
                                    v.             关闭防火墙
a)       在rhel中：
chkconfig --list iptables
chkconfig --level 0123456 iptables off
b)       在centOS中：
Service iptables stop
ntsysv
 
                                  vi.             关闭SELINUX
vi /etc/selinux/config
SELINUX=disabled
 
                                vii.             重启服务器
 
3.       系统结构
本例中建立了4台服务器，其中一台做master，一台做master的standby，剩下两台只做数据存储，基本图形如下：

node01	master		node02	master-standby
primary		primary
mirror		mirror
node03	primary		node04	primary
mirror		mirror

 
 
 
 
二、           Greenplum数据库安装
所有安装过程，若非特殊说明，均在master节点完成，本例中的master预定为node01。
 
1.       创建gpadmin用户
这步在所有节点上完成：
useradd gpadmin
passwd gpadmin
 
2.       配置gpadmin用户的环境变量（所有节点）
Vim .bashrc和.bash_profile，添加下面两行
source/usr/local/greenplum-db/greenplum_path.sh

export MASTER_DATA_DIRECTORY=/data/gpdata/master/gpseg-1
不做任何改动，默认安装位置，这两句会生效，注意后面建立存储目录时，和这个地方的master要对应。Greenplum-db是安装过程中创建的软连接，默认即可。
注意系统变量/etc/profile也添加这两句话，并注意执行source使之生效。
 
3.       执行安装（以下操作均在node01上完成）
将数据库安装文件上传到/opt目录下，解压并执行安装，这里不用对路径等信息做修改，一路默认即可，数据库名称可以适当进行调整。安装完成后，系统会自动在/usr/local目录下创建一个名为greenplum-db对安装目录的连接，这样和前面profile中的配置就一致了，如果修改了安装位置，有可能创建连接会失败。
 
4.       准备节点信息
创建一个目录专门存放节点配置，mkdir -p /opt/gpinst/，在这个目录里创建一个文件all_host，实际上文件名可以任意。内容是：
Node01
Node02
Node03
Node04
 
5.       建立节点之间的信任
就是通过节点配置，在节点之间执行交换key，保证节点之间的访问不需要登录验证过程。若前面已经配置好profile并执行了source，直接进入/usr/local/greenplum-db/bin，执行

gpssh-exkeys -f /opt/gpinst/all_host，根据系统提示操作，这里需要输入的是root的密码。
执行完成后可以在不同节点上通过ssh访问其他节点，若不需要再输入密码直接登录，则说明操作正确。
 
6.       执行安装
仍然在bin目录下执行：
gpseginstall -f /opt/gpinst/all_host -ugpadmin -p gpadmin
一路顺利完成部署操作
 
7.       创建存储目录
由一开始的内容可知，我们这次准备了4台服务器，分别为node01，node02，node03，node04。Node01上要安装集群的master，同时他还要另外承担一部分segment的任务，其次还要配置某个节点的mirror，node02与node01类似，只不过node02上会部署node01的master-standby，node03和node04只做segment并部署集群中某个节点的mirror。
Node01:
       /data/gpdata/master
       /data/gpdata/primary
       /data1/gpdata/mirror
Node02
       /data/gpdata/master
       /data/gpdata/primary
       /data1/gpdata/mirror
Node03
       /data/gpdata/primary
       /data1/gpdata/mirror
Node04
       /data/gpdata/primary
       /data1/gpdata/mirror
 
8.       开始创建目录：
Master
mkdir -p /data/gpdata/master
chown gpadmin:gpadmin /data/gpdata/master
 
segment（primary，在每个节点的/data目录下创建，使用gp自带的gpssh工具执行）
gpssh -f /opt/gpinst/all_host -e 'mkdir -p /data/gpdata/primary'
gpssh -f /opt/gpinst/all_host -e 'chown gpadmin:gpadmin/data/gpdata/primary'
 
mirror（同样在每个节点的/data1目录下创建）
gpssh -f /opt/ gpinst / all_host -e 'mkdir -p /data1/gpdata/mirror'
gpssh -f /opt/ gpinst / all_host -e 'chown gpadmin:gpadmin/data1/gpdata/mirror'
9.       设置时钟同步
注意这个操作是在本案例中的操作系统中进行，其他版本的Linux可能会不一样，甚至无法成功。
vi /etc/ntp.conf
加入一行：server 192.168.153.128，每个节点上都进行同样的操作，同时这个server填成统一的，这样所有的机器统一和这个IP的服务器进行时间同步。
重启ntpd服务 /etc/init.d/ntpd restart
查看ntp同步情况 ntpq -p
使ntpd服务重启服务器后也启动 chkconfig --level 0123456 ntpd on
 
10.   编辑数据库初始文件
使用gpadmin创建目录和文件，
Mkdir /home/gpadmin/gpconfigs
Cp /usr/local/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config/home/gpadmin/gpconfigs/
Chmod 775 /home/gpadmin/gpconfigs/gpinitsystem_config
 
修改这个gpinitsystem_config文件：
declare -a DATA_DIRECTORY=(/data/gpdata/primary)–若在每个节点上的指定目录里只创建一个primary，则这里只写一个位置即可，若超过一个，就会在每个节点上创建多余1个的primary目录。
ARRAY_NAME="HX Greenplum DW"      –默认即可
SEG_PREFIX=gpseg –默认即可
PORT_BASE=40000 –默认即可
MASTER_HOSTNAME=node01
MASTER_DIRECTORY=/data/gpdata/master
MASTER_PORT=5432
TRUSTED_SHELL=ssh
CHECK_POINT_SEGMENTS=8
ENCODING=UNICODE
MIRROR_PORT_BASE=50000
REPLICATION_PORT_BASE=41000
MIRROR_REPLICATION_PORT_BASE=51000
declare -a MIRROR_DATA_DIRECTORY=(/data1/gpdata/mirror) --和primary一样
DATABASE_NAME=greenplum-db_test       
MACHINE_LIST_FILE=/home/gpadmin/gpconfigs/hostfile_gpinitsystem     --注意这个文件需要从cli_help目录中复制过来。
 
11.   执行数据库初始化
Gpadmin在bin目录下：
gpinitsystem -c /home/gpadmin/gpconfigs/gpinitsystem_config -h /opt/gpinst/all_host
跟进提示，输入一次y，顺利就可以完成数据库部署。
 
12.    为master安装standby
为node01的master在node02上配置standby，在node02相同的位置创建一个master文件夹。
在node02上执行以下操作：
mkdir/data/gpdata/master
chowngpadmin:gpadmin /data/gpdata/master
在node01上执行以下操作：（注意此时数据库应是启动的）
gpinitstandby -snode02
按照顺序执行直接完成创建standby操作。
 
13.   设置访问权限
Greenplum数据库作为mpp结构的系统，用户只能通过Master节点对数据进行访问，所以需要修改master中的hba文件，使其能够接受网络中其他终端的访问。
Vi /data/gpdata/master/gpseq-1/pg_hba.conf，在最后加上
#user define
host   all     all     192.168.153.0/24  trust     --根据实际情况修改
host   all     all    127.0.0.1/28    trust
 
 
 
三、           Greenplum数据库的基本使用
1.       启动和停止
gpstart
gpstop
 
2.       查看数据库状态
psql –l
pgstate
 
3.       命令行连接访问数据库
psql -d hx_gp -h node01 -p 5432 -U gpadmin