postgresql 数据同步
1. 总体需求
1.1. 当前情况
随着软件系统复杂度的提高，分布式部署成为软件部署流行的方式。对于系统的结构，
程序和数据是支撑系统的两大要素。程序的分布式部署已经有很多很好的方案，在这里
我说一下数据的分布式部署。数据的分布式部署其实就是数据库的分布式部署。
1.2. 系统环境
在这里，我以下面的环境详细讲 部署的过程。
主数据库服务器 (master)
OS : SuSe linux 9.0 for X86
ip : 10.73.132.201
mask : 255.255.254.0
从数据库服务器 (slave)
OS : SuSe linux 9.0 for X86
ip : 10.73.133.222
mask : 255.255.254.0
需要保证两台机器互连互通.
请到指定目的地下载指定的软件包:
db : postgresql 8.1.2.tar.gz(http://www.postgresql.org/download/)
slony1 : slony1-1.1.5.tar(http://www.postgresql.org/download/)
以上的网址是一个入口地址，请选择合适的正确的源程序包。
使用 root 用户在两台主备机器上分别建立工作目录:
/home/hzh/share
并拷贝 postgresql 8.1.2.tar.gz 和 slony1-1.1.5.tar 到工组目录下。
以下如果没有明确的指定用户，一般都是 root 用户。
1.3. 系统安装
1.3.1 主数据库服务器
1.3.1.1 安装数据库
解压,命令 : tar -xvzf postgresql 8.1.2.tar.gz
进入对应的 postgresql-8.1.2 目录,命令 ：cd postgresql-8.1.2
检查,命令 : ./configure
检查可能失败，一般是缺少相应的包，请自己安装。
gmake,命令: gmake
注意，是 gmake
安装，命令 : gmake install
以下对于没有 postgres 用户的操作系统适用
建立 postgres 组，命令: groupadd -g 26 postgres
建立 postgres 用户,命令 : useradd -c "postgressql admin user" -d /usr/loca/pgsql -g 26 -G root -u 26 -s /bn/bash
配置环境变量,修改 /etc/profile 文件
vi /etc/profile,修改 INFODIR=/usr/local/info:/usr/share/info:/usr/info:。。。
为类似如下设置 INFODIR=/usr/local/info:/usr/share/info:/usr/info:。。。/usr/local/pgsql/man
使用 postgres/root 用户修改,/usr/local/pgsql/.bashrc 文件，为 postgres 用户增加环境参数如下：
PGLIB=/usr/local/pgsql/lib
PGDATA=/test/spescso/data
PATH=$PATH:/usr/local/pgsql/bin
MANPATH=$MANPATH:/usr/local/pgsql/man
export PGLIB PGDATA PATH MANPATH
使用 root 用户,建立数据库集群目录,命令如下(如由不明，请参考 linux online help 和 postgresql online help):
mkdir /test
mkdir /test/spescso/
mkdir /test/spescso/data
chown postgres /test/spescso/data/
chmod 700 /test/spescso/data/
使用 postgres 创建 数据库集群
/usr/local/pgsql/bin/initdb -E UTF-8 /test/spescso/data/
使用 root 用户，配置 数据库集群参数
su -c "/usr/local/pgsql/bin/createuser -a -d ssuser" -l postgres
su -c "/usr/local/pgsql/bin/createlang plpgsql template1" -l postgresql
使用 postgres 创建 log 目录
mkdir /test/spescso/data/log
修改 /test/spescso/data/postgresql.conf 文件
主要配置日志文件
log_destination = 'stderr'
redirect_stderr = true
log_directory = '/test/spescso/data/log/'
log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log'
修改 /test/spescso/data/pg_hba.conf,主要搞定双机相互认证问题，否则不能相互访问
# TYPE DATABASE USER CIDR-ADDRESS METHOD
# "local" is for Unix domain socket connections only
local all all trust
# IPv4 local connections:
host all all 127.0.0.1/32 trust
host all all 10.73.132.0/24 trust
host all all 10.73.133.0/24 trust
# IPv6 local connections:
host all all ::1/128 trust
如果不能理解上面的意思，请仔细阅读 postgresql 数据库安全认证文档。
使用 postgres 用户后台启动 postmaser 数据库主进程
/usr/local/pgsql/bin/postmaster -i -D /test/spescso/data/ -p 5432 &
1.3.1.2 安装 slony1 数据同步工具(主从都需要安装)
解压,命令 : tar -xvjf slony1-1.1.5.tar
注意，使用 -j 参数，该网站压缩包有点不一致。
进入对应的 slony1-1.1.5 目录,命令 ：cd slony1-1.1.5
检查,命令 : ./configure
检查可能失败，一般是缺少相应的包，请自己安装。可能还要带 --with 参数指定
postgresql 8.1.2 的安装目录，默认是 /usr/local/pgsql/postgresql-8.1.2
gmake,命令: gmake
注意，是 gmake
安装，命令 : gmake install
1.3.3 建立数据库和数据表
以下以在 主数据库服务器上建立主数据库和数据表 test 为例见解，其他数据库和数据表请参考建立.
su -c "/usr/local/pgsql/bin/createdb -U ssuser -E UTF-8 test -p 5432" -l postgres
su -c "/usr/local/pgsql/bin/psql -f /home/hzh/share/sql.txt -p 5432 -dtest -Ussuser" -l postgres
(注意,sql.txt 是创建数据表的命令,请自行编写。sql.txt 文件最好是 UTF-8 格式,特别是存在中文字符时)
在主数据库机器上依次建立 testslave1,testslave2.
在从数据库机器上 5431 端口建立 testslave3
1.4 配置同步
1.4.1. 主机配置
编写 configmaster sheul 脚本文件,设置其可执行属性,命令 : chmod a+x+w+r configmaster,文件内容如下：
#!/bin/bash
basebin=/usr/local/pgsql/bin
#集群名称
CLUSTER=slony_test1
# 参与同步的数据库名称,master db 是test,其他三个是slave
DBSERVER=test
DBSLAVE1=testslave1
DBSLAVE2=testslave2
DBSLAVE3=testslave3
# 参与同步的机器地址
HOSTSERVER=10.73.132.201
HOSTSLAVE1=10.73.132.201
HOSTSLAVE2=10.73.132.201
HOSTSLAVE3=10.73.133.222
# 参与同步的数据库用户名
DBSERVER_USER=ssuser
DBSLAVE1_USER=ssuser
DBSLAVE2_USER=ssuser
DBSLAVE3_USER=ssuser
# 同步发布配置,以下是命令 slonik 的参数
$basebin/slonik<<_EOF_
cluster name=$CLUSTER;
# 定义复制节点
node 1 admin conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432';
node 2 admin conninfo='dbname=$DBSLAVE1 host=$HOSTSLAVE1 user=$DBSLAVE1_USER port=5432';
node 3 admin conninfo='dbname=$DBSLAVE2 host=$HOSTSLAVE2 user=$DBSLAVE2_USER port=5432';
node 4 admin conninfo='dbname=$DBSLAVE3 host=$HOSTSLAVE3 user=$DBSLAVE3_USER port=5431';
# 初始化集群,id从1开始
init cluster ( id=1,comment='Node 1' );
# 设置参与同步的数据表
#先创建一个复制集,id也是从1开始
#向自己的复制集种添加表,每个需要复制的表一条set命令
#id从1开始,逐次递加,步进为1；
#fully qualified name是表的全称：模式名.表名
#这里的复制集id需要和前面创建的复制集id一致
create set ( id=1,origin=1,comment='All test tables' );
set add table ( set id=1,id=1,fully qualified name='public.tb_depart',comment='Table tb_depart' );
set add table ( set id=1,id=2,fully qualified name='public.tb_user',comment='Table tb_user' );
set add table ( set id=1,id=3,fully qualified name='public.tb_manager',comment='Table tb_manager' );
#假如某个表没有主键,但是有唯一键字,那么可以用key关键字
#指定其为复制键字,如下面的key参数
#set add table ( set id = 1,origin = 1,id = 4,fully qualified name = 'public.history',key = "column",comment = 'Table history' );
#对于没有唯一列的表,需要这样处理,这一句放在 create set 的前面
#table add key (node id = 1,fully qualified name = 'public.history');
# 这样设置结果集
#set add table (set id=1,id=4,comment='history table',key = serial);
# 设置存储节点
store node ( id=2,comment='Node 2' );
store node ( id=3,comment='Node 3' );
store node ( id=4,comment='Node 4' );
# 设置存储路径
store path ( server=1,client=2,conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432');
store path ( server=2,client=1,conninfo='dbname=$DBSLAVE1 host=$HOSTSLAVE1 user=$DBSLAVE1_USER port=5432');
store path ( server=1,client=3,conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432');
store path ( server=3,conninfo='dbname=$DBSLAVE2 host=$HOSTSLAVE2 user=$DBSLAVE2_USER port=5432');
store path ( server=1,client=4,conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432');
store path ( server=4,conninfo='dbname=$DBSLAVE3 host=$HOSTSLAVE3 user=$DBSLAVE3_USER port=5431');
#设置侦听事件和订阅方向,复制中角色,主节点是原始提供者,从节点是接受者
store listen ( origin=1,provider=1,receiver=2 );
store listen ( origin=2,provider=2,receiver=1 );
store listen ( origin=1,receiver=3 );
store listen ( origin=3,provider=3,receiveR=4 );
store listen ( origin=4,provider=4,receiver=1 );
_EOF_
1.4.2. 提交数据集合
编写 commitdata shell 脚本文件，赋予可执行权限，内容如下：
#!/bin/bash
basebin=/usr/local/pgsql/bin
CLUSTER=slony_test1
DBSERVER=test
DBSLAVE1=testslave1
DBSLAVE2=testslave2
DBSLAVE3=testslave3
HOSTSERVER=10.73.132.201
HOSTSLAVE1=10.73.132.201
HOSTSLAVE2=10.73.132.201
HOSTSLAVE3=10.73.133.222
DBSERVER_USER=ssuser
DBSLAVE1_USER=ssuser
DBSLAVE2_USER=ssuser
DBSLAVE3_USER=ssuser
$basebin/slonik<<_EOF_
cluster name=$CLUSTER;
#提供连接参数
node 1 admin conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432';
node 2 admin conninfo='dbname=$DBSLAVE1 host=$HOSTSLAVE1 user=$DBSLAVE1_USER port=5432';
node 3 admin conninfo='dbname=$DBSLAVE2 host=$HOSTSLAVE2 user=$DBSLAVE2_USER port=5432';
node 4 admin conninfo='dbname=$DBSLAVE3 host=$HOSTSLAVE3 user=$DBSLAVE3_USER port=5431';
# 提交订阅复制集
subscribe set ( id=1,receiver=2,forward=no);
subscribe set ( id=1,receiver=3,receiver=4,forward=no);
_EOF_
1.4.3. 配置同步过程
在主机上执行配置命令 : ./configmaster
在主机上开启slon 后台进程,启动主数据库复制,命令 :
/usr/local/pgsql/bin/slon slony_test1 "dbname=test host=10.73.132.201 user=ssuser port=5432" &
在主机上开启slon 后台进程,启动第一个从数据库复制,命令 :
/usr/local/pgsql/bin/slon slony_test1 "dbname=testslave1 host=10.73.132.201 user=ssuser port=5432" &
在主机上开启slon 后台进程,启动第二个从数据库复制,命令 :
/usr/local/pgsql/bin/slon slony_test1 "dbname=testslave2 host=10.73.132.201 user=ssuser port=5432" &
在从机上开启slon 后台进程,启动第三个从数据库复制,命令 :
/usr/local/pgsql/bin/slon slony_test1 "dbname=testslave3 host=10.73.133.222 user=ssuser port=5431" &
在主机上执行提交命令 : ./commitdata
