转义字符导致sqlite迁移至mysql少了15w数据

前端之家收集整理的这篇文章主要介绍了转义字符导致sqlite迁移至mysql少了15w数据前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

sqlite迁移至MysqL

一、 准备工作

相关sqlite语句

进入sqlite数据库,如数据库名为mobi.db

[root@localhost ~]# sqlite3 mobi.db

sqlite version 3.6.23.1

Enter ".help" for instructions

Enter sql statements terminated with a ";"

1)查看数据库

sqlite> .database

seq name file

--- --------------- ----------------------------------------------------------

0 main /root/mobi.dbbak

2)查看库里的表

sqlite> .tables

account_alias devprop selffund userdevbind

accountmap misc selfstock yyblist

appupdate qs_qs sync_queue yyblist2

3)查看表结构

sqlite> .schema devprop

CREATE TABLE devprop(

devid varchar(48) primary key,

devprop text,

checksum varchar(16),

update_time varchar(16)

);

二、sqlite dump出需要迁移的数据库

把当前数据库导出文件名为mobi.sql

sqlite>.output mobi.sql

sqlite>.dump

三、遇到的第一个问题,MysqLsqlite的表结构新,多了字段

导入MysqL数据库语句,并做相关修改

注意:如果你是把最新的MysqL表创建语句导入后,请检查该数据库里的表与sqlite里相同的表的字段是否一致,如果不一致先删除掉多余的字段后导数据,删除字段语句:alter table devprop drop column flag;

导完数据后,再加上该字段即可

四、遇到的第二个问题,MysqL导入里不允许表名以“”引住

[root@localhost ~]# vi mobi.sql

1)把里面的CREATE TABLE相关语句查找出来去掉

2删除INTOVALUES之间的引号

sed -i 's/INTO "/INTO /g' mobi.sql && sed -i 's/" VALUES/ VALUES/g' mobi.sql

五、遇到的第三个问题,由于之前的程序开发不严谨居然用户里有转义字符(\

INSERT INTO selfstock VALUES('身了Uk\','','1266411514',NULL);

在未处理这\特殊字符之前,MysqLcount出来的selfstock数与sqlite对比少了15w行,由于用户量过大这种错误提示较为难找,我的对比方法是先count看下两数据量是不是一致

不一致时

a) MysqL的日志开启出来(log_bin=MysqL-bin开启日志)

b) 过滤相关selfstock 表数据

msyql过滤

MysqLbinlog /var/lib/MysqL/MysqL-bin.000001 grep selfstock > selfstock.MysqL 后面生成的日志追加至selfstock.MysqL

sqlite过滤

grep selfstock mobi.sql > selfstock.sqlite

对比相关数据

diff selfstock.sqlite selfstock.MysqL >diff.sql

1. 对比时使用到的shell正则:g/^$/d vi去除空行,:1,$s/[0-9][0-9a-z]//g vi里去掉diff不必要的数据

MysqLshell情况下导入时\这个转义字符时,须先将其转义:

sed -i 's#\\#\\\\#g' mobi.sql

由于转义字符的原因对比少了15w数据,数据量过大检查并未发现明显错误,于是采用上面的对比方法找出,由于这个问题的出现,刚开始一直以为是乱码问题,搞得莫名其妙。

查看相关数据差异数据,重置MysqL日志reset master,查看MysqL日志名show binary logs

六、第四个问题MysqL插入用户时大小写忽略

由于导出MysqL在运行的表结构出来的时候不会保存控制表内容大小写

在建表时时候加以标识

CREATE TABLE devprop(

devid varchar(48) binary primary key,

devprop text,

update_time varchar(16)

);

由于大小写的原因少了70多条数据

七、第五个问题,末尾空格用户

上面的问题都解决了之后,发现用户还是少了四条,实在不解于是再次采用对比方法,发现有用户是重名,对于MysqL来说,即前面的字符都一样但有个用户后面多了一个或多个空格如下:

INSERT INTO misc VALUES('18970171896 ','1267243148',NULL);

INSERT INTO misc VALUES('18970171896','1269091519',NULL);

由于此用户为不合法用户也就没有导入了。

补充知识及参考资料:

lower_case_table_names=1 MysqL默认表名区分大小写,列名不区分,默认值为1

http://firefore.com/2008/01/lower-case-table-names.html

http://www.linuxpig.com/2010/08/mysqlchaxunbuqufendaxiaoxiewentifenxihejiejue/

注意事项:需要把使用sqlite数据库的相关程序停止掉

[root@hxmobi-dell mobiauth]#ps aux|grep mobia

root 6303 0.0 0.0 4572 1008 ? S Nov20 0:00 sh /root/mobile/mobiauth/mobia.sh

root 16361 0.5 1.4 127884 58060 ? Sl Nov22 5:31 obj/mobia -abc

root 19997 0.0 0.0 4004 688 pts/1 S+ 10:42 0:00 grep mobia

[root@hxmobi-dell mobiauth]#kill -9 6303 16361

[root@hxmobi-dell db]# cd /root/mobile/mobiauth/config/db

[root@hxmobi-dell db]# cp mobi.ab mobi.ab-2010-11-23

拷贝完后把原sqlite认证程序启动。让用户可以登录,如果认证程序不停掉操作sqlite数据库,会导致数据损坏问题

原文链接:https://www.f2er.com/sqlite/202816.html

猜你在找的Sqlite相关文章