PostgreSQL集群 http://icyriver.net/?p=176

前端之家收集整理的这篇文章主要介绍了PostgreSQL集群 http://icyriver.net/?p=176前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

PL/ProxyPostgreSQL 集群的结构关系可以用下图清楚地表示,对PL/Proxy和Postgresql集群还不太了解的朋友可以看Skype Plans for PostgreSQL to Scale to 1 Billion Users 这篇文章

以下操作是在三台不同机器上执行的情况,其中plproxy节点的机器名是P1,数据库节点的机器名分别是D1和D2。机器硬件配置如下,同时需要Linux-4.2、postgresql-8.3.0和plproxy-2.0.4,pgbouncer的安装过程略去。

plproxy节点:
hostname: P1
inet addr:10.0.0.1
OS: Linux 2.6.9-42.ELsmp
cpu:Intel(R) Xeon(R) cpu L5320 @ 1.86GHz
MemTotal: 514440 kB

node1节点:
hostname:D1
inet addr:10.0.0.2
OS: Linux 2.6.9-42.ELsmp
cpu:Intel(R) Xeon(R) cpu L5320 @ 1.86GHz
MemTotal: 254772 kB

node2节点:
hostname:D2
inet addr:10.0.0.3
OS: Linux 2.6.9-42.ELsmp
cpu:Intel(R) Xeon(R) cpu L5320 @ 1.86GHz
MemTotal: 254772 kB

1. 在P1,D1,D2上安装postgresql-8.3.0,并创建URTCluster数据库

## Compile and install
gunzip postgresql-8.3.0.tar.gz
tar xf postgresql-8.3.0.tar
cd postgresql-8.3.0
./configure –prefix=/home/y/pgsql –with-perl
gmake
gmake check
sudo gmake install

## Add Unix User
sudo adduser postgres
sudo mkdir /home/y/pgsql/data
sudo chown postgres /home/y/pgsql/data

## Init DB and Start service
sudo -u postgres /home/y/pgsql/bin/initdb -D /home/y/pgsql/data
sudo -u postgres /home/y/pgsql/bin/postgres -D /home/y/pgsql/data >logfile 2>&1 &

## Create DB and Use Local Connection
sudo -u postgres /home/y/pgsql/bin/createdb URTCluster

##检查数据库是否已经创建
sudo -u postgres /home/y/pgsql/bin/psql -d URTCluster

#D1,D2必须允许P1访问
#编辑postgresql.conf,打开tcp连接端口
sudo vim /home/y/pgsql/data/postgresql.conf
listen_addresses = ‘*’
port = 5432

#添加postgres用户的认证
sudo vim /home/y/pgsql/data/pg_hba.conf
host URTCluster postgres 10.0.0.0/16 trust

# 重起服务器
sudo -u postgres /home/y/pgsql/bin/pg_ctl -D /home/y/pgsql/data stop
sudo -u postgres /home/y/pgsql/bin/postgres -D /home/y/pgsql/data >logfile 2>&1 &
sudo -u postgres /home/y/pgsql/bin/pg_ctl -D /home/y/pgsql/data reload

2. 在P1上安装plproxy-2.0.4

#检查$PATH变量里是否有/home/y/pgsql/bin目录,如果没有,修改你的.bash_profile文件添加/home/y/pgsql/bin到path里。
echo $PATH

gunzip plproxy-2.0.4.tar.gz
tar xf plproxy-2.0.4.tar
cd plproxy-2.0.4
gmake
sudo gmake install

#创建plproxy
sudo -u postgres /home/y/pgsql/bin/psql -f
/home/y/pgsql/share/contrib/plproxy.sql URTCluster

3. 在P1,D2上安装plpgsql

sudo -u postgres /home/y/pgsql/bin/createlang plpgsql URTCluster

4. 在P1上创建schema

sudo -u postgres /home/y/pgsql/bin/psql -d URTCluster
URTCluster=# create schema plproxy;

5. 在P1上初始化设置

#plproxy的配置是通过三个函数(过程)实现的,这三个函数的标准模版如下:

#这个函数是让plproxy可以找到对应的集群
CREATE OR REPLACE FUNCTION plproxy.get_cluster_partitions(cluster_name text)
RETURNS SETOF text AS $$
BEGIN
IF cluster_name =’URTCluster’ THEN
RETURN NEXT ‘dbname=URTCluster host=10.0.0.2′;
RETURN NEXT ‘dbname=URTCluster host=10.0.0.3′;
RETURN;
END IF;
RAISE EXCEPTION ‘Unknown cluster’;
END;
$$ LANGUAGE plpgsql;

#这个函数是plproxy用于判断是否给前端返回已经cache过的结果用的
CREATE OR REPLACE FUNCTION plproxy.get_cluster_version(cluster_name text)
RETURNS int4 AS $$
BEGIN
IF cluster_name = ‘URTCluster’ THEN
RETURN 1;
END IF;
RAISE EXCEPTION ‘Unknown cluster’;
END;
$$ LANGUAGE plpgsql;

#这个函数获取不同的集群的配置
create or replace function plproxy.get_cluster_config(cluster_name text,out key text,out val text)
returns setof record as $$
begin
key := ’statement_timeout’;
val := 60;
return next;
return;
end;
$$ language plpgsql;

#把这三个函数放在一个URTClusterInit.sql文件里,并执行
sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterInit.sql -d URTCluster -h 10.0.0.1

6. 在D1,D2节点上设置

#给每个数据库节点都创建一张表users
CREATE TABLE users (
username text,
email text
);

#给每个数据库节点都创建一个插入函数
CREATE OR REPLACE FUNCTION insert_user(i_username text,i_emailaddress text)
RETURNS integer AS $$
INSERT INTO users (username,email) VALUES ($1,$2);
SELECT 1;
$$ LANGUAGE sql;

#把函数保存在 URTClusterNodesInit_1.sql文件里,并执行
sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterNodesInit_1.sql -h 10.0.0.2 -d URTCluster
sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterNodesInit_1.sql -h 10.0.0.3 -d URTCluster

7. 在P1节点上设置

#在 plproxy 节点上创建一个同名的插入函数,用于进行集群检索
CREATE OR REPLACE FUNCTION insert_user(i_username text,i_emailaddress text)
RETURNS integer AS $$
CLUSTER ‘URTCluster’;
RUN ON hashtext(i_username);
$$ LANGUAGE plproxy;

#在 plproxy 节点上创建一个查询函数,用于进行集群检索
CREATE OR REPLACE FUNCTION get_user_email(i_username text)
RETURNS text AS $$
CLUSTER ‘URTCluster’;
RUN ON hashtext(i_username) ;
SELECT email FROM users WHERE username = i_username;
$$ LANGUAGE plproxy;

#把函数保存在 URTClusterProxyExec.sql文件里,并执行
sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterProxyExec_1.sql -h 10.0.0.1 -d URTCluster

8. 在P1上测试结果

sudo -u postgres /home/y/pgsql/bin/psql -d URTCluster

SELECT insert_user(’Sven’,’sven@somewhere.com’);
#被保存到D2, 可以用select hashtext(’Sven’) & 1验证,被hash到 partition 1

SELECT insert_user(’Marko’,‘marko@somewhere.com’);
#被保存到D2, 可以用select hashtext(’Marko’) & 1验证,被hash到 partition 1

SELECT insert_user(’Steve’,’steve@somewhere.cm’);
#被保存到D1, 可以用select hashtext(’Steve’) & 1验证,,被hash到 partition 0

SELECT get_user_email(’Sven’);
SELECT get_user_email(’Marko’);
SELECT get_user_email(’Steve’);

icyriver,internet,postgresql,programming,technique



PostgreSQL和Slony-I的安装和配置

随着MysqlSun 收购,不少web开发者和架构师开始关注Postgresql。的确,PostgreSQLSlony-IPL/ProxyPgbouncer 已经可以为我们提供一套比较完整的企业级数据库存储解决方案,其web架构如下图所示:

其中,PostgreSQLPL/Proxy 的安装和配置已经在上一篇Blog介绍过,下面是Slony-I 的安装配置简明指南,实现主副数据库的同步。后面我会再介绍Pgbouncer 的安装和配置

1. 主副数据库机器

Master:
hostname: M_DB
inet addr:10.0.0.11
OS: Linux 2.6.9-42.ELsmp
cpu:Intel(R) Xeon(R) cpu L5320 @ 1.86GHz
MemTotal: 254772 kB
Pgsql: postgresql-8.3.0

Slave:
hostname:S_DB
inet addr:10.0.0.12
OS: Linux 2.6.9-42.ELsmp
cpu:Intel(R) Xeon(R) cpu L5320 @ 1.86GHz
MemTotal: 514440 kB
Pgsql: postgresql-8.3.0

#在M_DB和S_DB上安装postgresql-8.3.0,安装和配置过程参见我的上一篇Blog ,确保超级用户是postgres,数据库名是URT。

#检查M_DB和S_DB上的超级用户postgres是否可以访问对方的机器

#分别在M_DB和S_DB上执行
sudo -u postgres /home/y/pgsql/bin/createlang plpgsql URT

#分别在M_DB和S_DB上的URT数据库里创建相同的表accounts。

2. 安装Slony-I

#分别在M_DB和S_DB上安装Slony-I
tar xfj slony1-1.2.13.tar.bz2
cd slony1-1.2.13
./configure –with-pgconfigdir=/home/y/pgsql/bin
gmake all
sudo gmake install

3. Slony Config

创建urt_replica_init.sh文件:
##############################
#!/bin/sh

SLONIK=/home/y/pgsql/bin/slonik
#slonik可执行文件位置

CLUSTER=URT
#你的集群的名称

SET_ID=1
#你的复制集的名称

MASTER=1
#主服务器ID

HOST1=M_DB
#源库IP或主机名

DBNAME1=URT
#需要复制的源数据库

SLONY_USER=postgres
#源库数据库超级用户名

SLAVE=2
#从服务器ID

HOST2=S_DB
#目的库IP或主机名

DBNAME2=URT
#需要复制的目的数据库

PGBENCH_USER=postgres
#目的库用户名

$SLONIK <<_EOF_

#这句是定义集群名
cluster name = $CLUSTER;

#这两句是定义复制节点
node $MASTER admin conninfo = ‘dbname=$DBNAME1 host=$HOST1 user=$SLONY_USER ‘;
node $SLAVE admin conninfo = ‘dbname=$DBNAME2 host=$HOST2 user=$PGBENCH_USER ‘;

#初始化集群和主节点,id从1开始,如果只有一个集群,那么肯定是1
#comment里可以写一些自己的注释,随意
init cluster ( id = $MASTER,comment = ‘Primary Node’ );

#下面是从节点
store node ( id = $SLAVE,comment = ‘Slave Node’ );

#配置主从两个节点的连接信息,就是告诉Slave服务器如何来访问Master服务器
#下面是主节点的连接参数
store path ( server = $MASTER,client = $SLAVE,
conninfo = ‘dbname=$DBNAME1 host=$HOST1 user=$SLONY_USER ‘);

#下面是从节点的连接参数
store path ( server = $SLAVE,client = $MASTER,
conninfo = ‘dbname=$DBNAME2 host=$HOST2 user=$PGBENCH_USER ‘);

#设置复制中角色,主节点是原始提供者,从节点是接受者
store listen ( origin = $MASTER,provider = 1,receiver = 2 );
store listen ( origin = $SLAVE,provider = 2,receiver = 1 );

#创建一个复制集,id也是从1开始
create set ( id = $SET_ID,origin = $MASTER,comment = ‘All pgbench tables’ );

#向自己的复制集种添加表,每个需要复制的表添加一条set命令,id从1开始,逐次递加,步进为1;
#fully qualified name是表的全称:模式名.表名
#这里的复制集id需要和前面创建的复制集id一致
set add table ( set id = $SET_ID,
id = 1,fully qualified name = ‘public.accounts’,
comment = ‘Table accounts’ );

_EOF_
########################

#在M_DB或者S_DB上执行
./urt_replica_init.sh

4. Slony Start

创建Master.slon文件:
########################
cluster_name=”URT”
conn_info=”dbname=URT host=M_DB user=postgres”
########################

创建Slave.slon文件:
########################
cluster_name=”URT”
conn_info=”dbname=URT host=S_DB user=postgres”
########################

#在M_DB上执行
/home/y/pgsql/bin/slon -f master.slon >> master.log &

#在S_DB上执行
/home/y/pgsql/bin/slon -f slave.slon >> slave.log &

5. Slony Subscribe

创建urt_replica_subscribe.sh文件:
########################
#!/bin/sh

SLONIK=/home/y/pgsql/bin/slonik
#slonik可执行文件位置

CLUSTER=URT
#你的集群的名称

SET_ID=1
#你的复制集的名称

MASTER=1
#主服务器ID

HOST1=M_DB
#源库IP或主机名

DBNAME1=URT
#需要复制的源数据库

SLONY_USER=postgres
#源库数据库超级用户名

SLAVE=2
#从服务器ID

HOST2=S_DB
#目的库IP或主机名

DBNAME2=URT
#需要复制的目的数据库

PGBENCH_USER=postgres
#目的库用户名

$SLONIK <<_EOF_

#这句是定义集群名
cluster name = $CLUSTER;

#这两句是定义复制节点
node $MASTER admin conninfo = ‘dbname=$DBNAME1 host=$HOST1 user=$SLONY_USER’;
node $SLAVE admin conninfo = ‘dbname=$DBNAME2 host=$HOST2 user=$PGBENCH_USER ‘;

#提交复制集
subscribe set ( id = $SET_ID,provider = $MASTER,receiver = $SLAVE,forward = no);
_EOF_
########################

#在M_DB或者S_DB上执行
./urt_replica_subscribe.sh

6. 测试
修改M_DB上URT数据里的accounts表,S_DB上的accounts表也会随之改变

下图是Slony-I内部架构,可以看到Slony-I用到了很多线程来实现事件和数据的传递和分发。

icyriver,technique

原文链接:https://www.f2er.com/postgresql/197235.html

猜你在找的Postgre SQL相关文章