起因:@H_502_4@
前段时间,因为涉及到一张表的大数据操作,要同时进行增删改,我跟师傅想了很多优化办法,结果都不尽人意。刚开始用的就是原始算法,先更新现有记录,再插入满足要求的其他记录,最后再删除多余记录,但是少量数据还可以,10W条数据就不行了,前台的超时时间是60s,远远无法满足要求。之后又想办法将任务进行拆分,根据每条记录流水号尾字符不同进行拆分,用多个线程同时执行,一直拆分成10个任务(尾字符分别为0、1、2、3 ... 9),用十个线程同时去执行,但是时间还是很慢,最多处理13W条数据左右,50W条数据就让人无法忍受了。最后无奈只好把之前的优化全部铲掉,改为merge into操作,再做了一些优化,将50W条数据的单线程耗时缩短到三十多秒,特此,将merge into的用法总结如下:(@H_502_4@@H_502_4@http://blog.csdn.net/yuzhic/article/details/1896878)@H_502_4@
@H_502_4@有一个表T,有两个字段a、b,我们想在表T中做Insert/Update,如果条件满足,则更新T中b的值,否则在T中插入一条记录。在Microsoft的sql语法中,很简单的一句判断就可以了,sql Server中的语法如下:@H_502_4@ @H_502_4@
if@H_502_4@ exists@H_502_4@(select@H_502_4@ 1@H_502_4@ from@H_502_4@ T where@H_502_4@ T.a=@H_502_4@'@H_502_4@1001@H_502_4@'@H_502_4@ )
@H_502_4@update@H_502_4@ T set@H_502_4@ T.b=@H_502_4@2@H_502_4@ Where@H_502_4@ T.a'@H_502_4@
else@H_502_4@
insert@H_502_4@ into@H_502_4@ T(a,b) values@H_502_4@('@H_502_4@,2@H_502_4@);
Oracle中,要实现相同的功能,要用到Merge into来实现(Oracle 9i引入的功能),其语法如下:
@H_502_4@
MERGE INTO@H_502_4@ table_name alias1
USING (@H_502_4@table@H_502_4@|@H_502_4@view@H_502_4@|@H_502_4@sub_query) alias2
@H_502_4@ON@H_502_4@ (join@H_502_4@ condition)
@H_502_4@WHEN@H_502_4@ MATCHED THEN@H_502_4@
UPDATE@H_502_4@ table_name
@H_502_4@SET@H_502_4@ col1 =@H_502_4@ col_val1,col2 @H_502_4@=@H_502_4@ col_val2
@H_502_4@WHEN@H_502_4@ NOT@H_502_4@ MATCHED INSERT@H_502_4@ (column_list) VALUES@H_502_4@ (column_values);
严格意义上讲,”在一个同时存在Insert和Update语法的Merge语句中,总共Insert/Update的记录数,就是Using语句中alias2的记录数”。@H_502_4@所以,要实现上面的功能,可以这样写:@H_502_4@