PostgreSQL的存储系统二：REDOLOG文件存储结构二

Postgre SQL 前端之家
前端之家收集整理的这篇文章主要介绍了PostgreSQL的存储系统二：REDOLOG文件存储结构二，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

@H_404_1@REDOLOG@H_404_1@文件里的用户数据和数据文件里的用户数据存储结构相同

@H_404_1@

几个月前同事给台湾一家公司培训《pg9 ad admin》时，有个学员提及WAL里记录的内容为Query时的sql语句（比如insert等），同事告知WAL里记录的tuple信息，而非sql，该学员坚持里面是sql或sql+tuple，并说oracle的redo日志里记录的是sql（不知到这个从哪里知道的，也许是日志挖掘出来sql的缘由吧）。便看了一下源码（还是开源的好）。

前面我写过一篇文章《Postgresql的存储系统二：REDOLOG文件存储结构》，见地址http://beigang.iteye.com/blog/1565121或http://blog.csdn.net/beiigang/article/details/7680905，其中提到Pg XLOG文件的存储格式大致如下：

<@H_404_1@PageHeaderData>

<XLogRecord>

<rmgr-specific data>

<BkpBlock>

<XLogRecData>里面包括<CheckPoint>等

<BkpBlock>

<XLogRecData>

<BkpBlock>

<XLogRecData>

……

用户相关的数据写在XLogRecData结构（定义见下面）的buffer成员里，但具体写成什么样子没有提及，正好这儿再深入讨论一下。

typedefstruct@H_404_1@ XLogRecData

@H_404_1@{

@H_404_1@ char@H_404_1@ *data@H_404_1@; /* 资源管理器包含数据的开始 */

@H_404_1@ uint32@H_404_1@ len@H_404_1@; /* 资源管理器包含数据的长度 */

@H_404_1@ Buffer@H_404_1@ buffer@H_404_1@; /* 有相应数据的buffer，如果有的话 */

@H_404_1@ bool@H_404_1@ buffer_std@H_404_1@; /* buffer是否有标准pd_lower/pd_upper头 */

@H_404_1@ struct@H_404_1@ XLogRecData *next@H_404_1@; /* 链里的下一个结构 */

@H_404_1@} XLogRecData@H_404_1@;

为了说清楚这个问题，跑了个例子如下：

INSERT INTO TABLE1(ID,GNAME) VALUES(18,’GangBei’);

看这个例子涉及的调用流程前，先回顾一下pg服务进程的调用流程，一切就绪后进入无限循环，等候客户端指令，


Postgres服务进程调用流程图

这个例子的调用流程和《Postgresql服务过程中的那些事二：Pg服务进程处理简单查询》系列博文中的流程大致相同，也是调用exec_simple_query方法，和前面《Postgresql服务过程中的那些事二：Pg服务进程处理简单查询》中select例子不同的是，本节中insert的例子在portalrun方法里调用了执行器的ExecInsert方法，最终调用了heap_insert方法，在这个方法里完成了记录写入数据文件，并调用了XLogInsert方法，完成了XLOG的WAL日志写入。更具体的方法调用流程参见下面的调用流程图，其他和《Postgresql服务过程中的那些事二：Pg服务进程处理简单查询》基本相同的部分略去。



@H_404_1@Insert sql @H_404_1@语句调用流程

在heap_insert方法里，组装好tuple，调用RelationGetBufferForTuple方法找到shmem里缓存数据文件块的buffer，调用RelationPutHeapTuple方法，把组装好的元组放到合适的buffer中合适的位置；然后组装XLogRecData类型变量rdata，把buffer赋给XLogRecData的成员buffer，接着调用XLogInsert方法，并传入rdata，在XLogInsert方法里，用memcpy方法@H_404_1@把@H_404_1@rdata@H_404_1@写入@H_404_1@shmem@H_404_1@对应的@H_404_1@cache@H_404_1@里，最后@H_404_1@pg@H_404_1@都是通过操作系统接口@H_404_1@I/O@H_404_1@接口把@H_404_1@WAL@H_404_1@日志和数据写入对应的文件。

@H_404_1@既然@H_404_1@XLOG@H_404_1@里写的@H_404_1@ Insert@H_404_1@的@H_404_1@wal@H_404_1@日志@H_404_1@里的用户数据和数据文件中的一样，那我们简单看一下@H_404_1@pg@H_404_1@中数据文件里的@H_404_1@tuple@H_404_1@，@H_404_1@tuple@H_404_1@存放在堆中，一个@H_404_1@tuple@H_404_1@就是一行表记录，在数据文件的页里存放的结构如下图：



@H_404_1@数据文件页面布局图




@H_404_1@元组结构图

@H_404_1@

@H_404_1@元组头结构和其字段表示意义见下面：

typedefstruct@H_404_1@ HeapTupleHeaderData

@H_404_1@{

@H_404_1@ union

@H_404_1@ {

@H_404_1@ HeapTupleFieldst_heap@H_404_1@;

@H_404_1@ DatumTupleFieldst_datum@H_404_1@;

@H_404_1@ } t_choice@H_404_1@;

@H_404_1@ ItemPointerDatat_ctid@H_404_1@; /* current TID of this or newer tuple */

@H_404_1@ /* Fields below here must match MinimalTupleData! */

@H_404_1@ uint16@H_404_1@ t_infomask2@H_404_1@; /* number of attributes + varIoUs flags */

@H_404_1@ uint16@H_404_1@ t_infomask@H_404_1@; /* varIoUs flag bits,see below */

@H_404_1@ uint8@H_404_1@ t_hoff@H_404_1@; /* sizeof header incl. bitmap,padding */

@H_404_1@ /* ^ - 23 bytes - ^ */

@H_404_1@ bits8@H_404_1@ t_bits@H_404_1@[1]; /* bitmap of NULLs -- VARIABLE LENGTH */

@H_404_1@ /* MORE DATA FOLLOWS AT END OF STRUCT */

@H_404_1@} HeapTupleHeaderData@H_404_1@;

@H_404_1@

typedefstruct@H_404_1@ HeapTupleFields

@H_404_1@{

@H_404_1@ TransactionIdt_xmin@H_404_1@; /* inserting xact ID */

@H_404_1@ TransactionIdt_xmax@H_404_1@; /* deleting or locking xact ID */

@H_404_1@ union

@H_404_1@ {

@H_404_1@ CommandId@H_404_1@ t_cid@H_404_1@; /* inserting or deleting command ID,or both */

@H_404_1@ TransactionIdt_xvac@H_404_1@; /* old-style VACUUM FULL xact ID */

@H_404_1@ } t_field3@H_404_1@;

@H_404_1@} HeapTupleFields@H_404_1@;

@H_404_1@

typedefstruct@H_404_1@ DatumTupleFields

@H_404_1@{

@H_404_1@ int32@H_404_1@ datum_len_@H_404_1@; /* varlena header (do not touch directly!) */

@H_404_1@ int32@H_404_1@ datum_typmod@H_404_1@; /* -1,or identifier of a record type */

@H_404_1@ Oid@H_404_1@ datum_typeid@H_404_1@; /* composite type OID,or RECORDOID */

@H_404_1@ /*

* Note: field ordering is chosen with thought that Oid might someday

* widen to 64 bits.

*/

@H_404_1@} DatumTupleFields@H_404_1@;

@H_404_1@

typedefstruct@H_404_1@ ItemPointerData

@H_404_1@{

@H_404_1@ BlockIdDataip_blkid@H_404_1@;

@H_404_1@ OffsetNumberip_posid@H_404_1@;

@H_404_1@}

@H_404_1@

Postgresql的元组头结构是MVCC算法的基础。这个以后再说吧。

@H_404_1@下面把heap_insert方法和@H_404_1@XLogInsert@H_404_1@方法贴到了下面，为了突显主题，删掉了其余代码，并把@H_404_1@XLOG@H_404_1@内容相关变量和方法置为红色，方便串读。

@H_404_1@Oid

@H_404_1@heap_insert(Relation relation,HeapTuple tup@H_404_1@,CommandId cid,

@H_404_1@ int@H_404_1@ options,BulkInsertState bistate)

@H_404_1@{

@H_404_1@ TransactionId xid = GetCurrentTransactionId();

@H_404_1@ HeapTuple heaptup;

@H_404_1@ Buffer buffer;

@H_404_1@ bool all_visible_cleared = false;

/*1 组装元组头信息 */

@H_404_1@ tup@H_404_1@->t_data->t_infomask &= ~(HEAP_XACT_MASK);

@H_404_1@ tup@H_404_1@->t_data->t_infomask2 &= ~(HEAP2_XACT_MASK);

@H_404_1@ tup@H_404_1@->t_data->t_infomask |= HEAP_XMAX_INVALID;

@H_404_1@ HeapTupleHeaderSetXmin(tup@H_404_1@->t_data,xid);

@H_404_1@ HeapTupleHeaderSetCmin(tup@H_404_1@->t_data,cid);

@H_404_1@ HeapTupleHeaderSetXmax(tup@H_404_1@->t_data,0);

@H_404_1@ tup@H_404_1@->t_tableOid = RelationGetRelid(relation);

@H_404_1@ heaptup@H_404_1@ = tup@H_404_1@;

@H_404_1@ /*2 Find buffer to insert this tuple into */

@H_404_1@ buffer@H_404_1@ = RelationGetBufferForTuple(relation,heaptup@H_404_1@->t_len,

@H_404_1@ InvalidBuffer,options,bistate);

@H_404_1@ /*3

* We're about to do the actual insert -- check for conflict at the

* relation or buffer level first,to avoid possibly having to roll back

* work we've just done.

*/

@H_404_1@ CheckForSerializableConflictIn(relation,NULL,buffer@H_404_1@);

@H_404_1@ /*4 NO EREPORT(ERROR) from here till changes are logged */

@H_404_1@ START_CRIT_SECTION();

@H_404_1@ RelationPutHeapTuple(relation,buffer@H_404_1@,heaptup)

@H_404_1@ MarkBufferDirty(buffer@H_404_1@);

@H_404_1@ /* XLOG stuff */

@H_404_1@ if@H_404_1@ (!(options & HEAP_INSERT_SKIP_WAL) && RelationNeedsWAL(relation))

@H_404_1@ {

@H_404_1@ xl_heap_insert xlrec;

@H_404_1@ xl_heap_header xlhdr;

@H_404_1@ XLogRecPtr recptr;

XLogRecData rdata[3];

@H_404_1@ Page page@H_404_1@ = BufferGetPage(buffer@H_404_1@);

@H_404_1@ uint8 info = XLOG_HEAP_INSERT;

@H_404_1@ xlrec.all_visible_cleared = all_visible_cleared;

@H_404_1@ xlrec.target.node = relation->rd_node;

@H_404_1@ xlrec.target.tid = heaptup->t_self;

@H_404_1@ rdata[0].data = (char@H_404_1@ *) &xlrec;

@H_404_1@ rdata[0].len = SizeOfHeapInsert;

@H_404_1@ rdata[0].buffer = InvalidBuffer;

@H_404_1@ rdata[0].next = &(rdata[1]);

@H_404_1@ xlhdr.t_infomask2 = heaptup->t_data->t_infomask2;

@H_404_1@ xlhdr.t_infomask = heaptup->t_data->t_infomask;

@H_404_1@ xlhdr.t_hoff = heaptup->t_data->t_hoff;

@H_404_1@ /*

* note we mark rdata[1] as belonging to buffer; if XLogInsert decides

* to write the whole page to the xlog,we don't need to store

* xl_heap_header in the xlog.

*/

@H_404_1@ rdata[1].data = (char@H_404_1@ *) &xlhdr;

@H_404_1@ rdata[1].len = SizeOfHeapHeader;

rdata[1].buffer = buffer;

@H_404_1@ rdata[1].buffer_std = true;

@H_404_1@ rdata[1].next = &(rdata[2]);

@H_404_1@ /* PG73FORMAT: write bitmap [+ padding] [+ oid] + data */

@H_404_1@ rdata[2].data = (char@H_404_1@ *) heaptup->t_data + offsetof(HeapTupleHeaderData,t_bits);

@H_404_1@ rdata[2].len = heaptup->t_len - offsetof(HeapTupleHeaderData,t_bits);

rdata[2].buffer = buffer;

@H_404_1@ rdata[2].buffer_std = true;

@H_404_1@ rdata[2].next = NULL;

@H_404_1@ recptr = XLogInsert@H_404_1@(RM_HEAP_ID,info,rdata@H_404_1@);

@H_404_1@ PageSetLSN(page,recptr);

@H_404_1@ PageSetTLI(page,ThisTimeLineID);

@H_404_1@ }

@H_404_1@ END_CRIT_SECTION();

@H_404_1@ UnlockReleaseBuffer(buffer);

@H_404_1@ pgstat_count_heap_insert(relation);

@H_404_1@ return@H_404_1@ HeapTupleGetOid(tup);

@H_404_1@}

@H_404_1@XLogRecPtr

XLogInsert@H_404_1@(RmgrId rmid,uint8 info,XLogRecData *rdata@H_404_1@)

@H_404_1@{

@H_404_1@ XLogCtlInsert *Insert = &XLogCtl->Insert;

@H_404_1@ XLogRecord *record;

@H_404_1@ XLogContRecord *contrecord;

@H_404_1@ XLogRecPtr RecPtr;

@H_404_1@ XLogRecPtr WriteRqst;

@H_404_1@ uint32 freespace;

@H_404_1@ int@H_404_1@ curridx;

@H_404_1@ XLogRecData *rdt;

@H_404_1@ Buffer dtbuf[XLR_MAX_BKP_BLOCKS];

@H_404_1@ bool dtbuf_bkp[XLR_MAX_BKP_BLOCKS];

@H_404_1@ BkpBlock dtbuf_xlg[XLR_MAX_BKP_BLOCKS];

@H_404_1@ XLogRecPtr dtbuf_lsn[XLR_MAX_BKP_BLOCKS];

@H_404_1@ XLogRecData dtbuf_rdt1[XLR_MAX_BKP_BLOCKS];

@H_404_1@ XLogRecData dtbuf_rdt2[XLR_MAX_BKP_BLOCKS];

@H_404_1@ XLogRecData dtbuf_rdt3[XLR_MAX_BKP_BLOCKS];

@H_404_1@ pg_crc32 rdata_crc;

@H_404_1@ uint32 len,

@H_404_1@ write_len;

@H_404_1@ unsigned@H_404_1@ i;

@H_404_1@ TRACE_POSTGREsql_XLOG_INSERT(rmid,info);

@H_404_1@ /*

* Here we scan the rdata chain,determine which buffers must be backed

* up,and compute the CRC values for the data.

*/

@H_404_1@ START_CRIT_SECTION();

@H_404_1@ /* Now wait to get insert lock */

@H_404_1@ LWLockAcquire(WALInsertLock,LW_EXCLUSIVE);

@H_404_1@ /* Compute record's XLOG location */

@H_404_1@ curridx = Insert->curridx;

@H_404_1@ INSERT_RECPTR(RecPtr,Insert,curridx);

@H_404_1@ /*

* Append the data,including backup blocks if any

*/

@H_404_1@ /* 把rdata中的数据写入XLOG */

@H_404_1@ while@H_404_1@ (write_len)

@H_404_1@ {

@H_404_1@ while@H_404_1@ (rdata->data == NULL)

@H_404_1@ rdata = rdata->next;

@H_404_1@ if@H_404_1@ (freespace > 0)

@H_404_1@ {

@H_404_1@ if@H_404_1@ (rdata->len > freespace)

@H_404_1@ {

memcpy(Insert->currpos,rdata->data,freespace);

@H_404_1@ rdata->data += freespace;

@H_404_1@ rdata->len -= freespace;

@H_404_1@ write_len -= freespace;

@H_404_1@ }

@H_404_1@ else

@H_404_1@ {

@H_404_1@ memcpy(Insert->currpos,rdata->len);

@H_404_1@ freespace -= rdata->len;

@H_404_1@ write_len -= rdata->len;

@H_404_1@ Insert->currpos += rdata->len;

@H_404_1@ rdata = rdata->next;

@H_404_1@ continue@H_404_1@;

@H_404_1@ }

@H_404_1@ }

@H_404_1@ /* Use next buffer */

@H_404_1@ updrqst = AdvanceXLInsertBuffer(false);

@H_404_1@ curridx = Insert->curridx;

@H_404_1@ /* Insert cont-record header */

@H_404_1@ Insert->currpage->xlp_info |= XLP_FIRST_IS_CONTRECORD;

@H_404_1@ contrecord = (XLogContRecord *) Insert->currpos;

@H_404_1@ contrecord->xl_rem_len = write_len;

@H_404_1@ Insert->currpos += SizeOfXLogContRecord;

@H_404_1@ freespace = INSERT_FREESPACE(Insert);

@H_404_1@ }

@H_404_1@ LWLockRelease(WALInsertLock);

@H_404_1@ XactLastRecEnd = RecPtr;

@H_404_1@ END_CRIT_SECTION();

@H_404_1@ return@H_404_1@ RecPtr;

@H_404_1@}

下面这个图是WAL日志中存放的有关的INSERT、UPDATE、DELETE操作的内容，该图引自《Internals Of Postgresql Wal》



就到这儿吧。

@H_404_1@@H_404_1@@H_404_1@

-----------------

转载请著明出处： blog.csdn.net/beiigang beigang.iteye.com

猜你在找的Postgre SQL相关文章

PosegreSQL基础回顾(第 4 章 SQL语法)
来源：http://www.postgres.cn/docs/11/ 4.1.1.&#160;标识符和关键词 SQL标识符和关键...
PosegreSQL基础回顾(第 8 章 数据类型)
来源：http://www.postgres.cn/docs/11/ 8.1.&#160;数字类型 数字类型由2、4或8字节的...
PosegreSQL基础回顾(第 5 章 数据定义)
来源：http://www.postgres.cn/docs/11/ 5.1.&#160;表基础 SQL并不保证表中行的顺序。...
PosegreSQL基础回顾(第 6 章 数据操纵、第 7 章 查询)
来源：http://www.postgres.cn/docs/11/ 6.4.&#160;从修改的行中返回数据 有时在修改行...
PosegreSQL基础回顾(第 13 章 并发控制)
来源：http://www.postgres.cn/docs/11/ 13.2.1.&#160;读已提交隔离级别 读已提交是Po...
PostgreSQL安装和使用
青岛OJ系统用的关系型数据库是PostgreSQL,为此对PostgreSQL大致了解下。 今天的主要话题围...
PostgreSQL整体架构
 
为什么选择PostgreSQL而不是MySQL
David Bolton是一名独立开发者，他使用PostgreSQL和MySQL都已有超过十年的时间。近日，他撰...
为什么选择PostgreSQL而不是MySQL
David Bolton是一名独立开发者，他使用PostgreSQL和MySQL都已有超过十年的时间。近日，他撰...
专访唐成：从小工到专家，PostgreSQL的修炼之道
唐成，拥有十几年数据库、操作系统、存储领域的工作经验。目前任沃趣科技首席数据库架构师...
MySQLMsSQLOracleSqlitePostgre SQLMariadbMongoDBNoSQLHBaseJDBC
undo日志persistent-cmysql-error-postal-codesql-match-almysql-5.6mysql-8.0database-tri安装路径系统错误data_dir丢失文件主从同步sql_mode数据库目录匿名用户character_seID归零数据库位置查询表重复字段查询字段截断日志SUSPECT7391Remote ServeLinked Serve玄学问题登录不上开启远程访问