使用SQLAlchemy将记录更快地插入表中

前端之家收集整理的这篇文章主要介绍了使用SQLAlchemy将记录更快地插入表中前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

我正在解析日志并使用sqlAlchemy和Python将其插入MysqLsqlite.现在我打开了与DB的连接,当我遍历每一行时,我在解析后插入它(这只是一个大表,现在对sql不是很有经验).然后我在循环完成时关闭连接.汇总代码是:

log_table = schema.Table('log_table',Metadata,schema.Column('id',types.Integer,primary_key=True),schema.Column('time',types.DateTime),schema.Column('ip',types.String(length=15))
....
engine = create_engine(...)
Metadata.bind = engine
connection = engine.connect()
....
for line in file_to_parse:
    m = line_regex.match(line)
    if m:
        fields = m.groupdict()
        pythonified = pythoninfy_log(fields) #Turn them into ints,datatimes,etc
        if use_sql:
            ins = log_table.insert(values=pythonified)
            connection.execute(ins)
            parsed += 1

我的两个问题是:

>有没有办法加快这个基本框架内的插入?也许有一个插入队列和一些插入线程,某种批量插入等?
>当我使用MysqL时,大约120万条记录的插入时间为15分钟.使用sqlite,插入时间是一个多小时. db引擎之间的时间差异是否正确,或者它是否意味着我做了一些非常错误的事情?

最佳答案
你应该尝试的最重要的事情是围绕多个插入放置一个事务,因为它是将数据库提交到磁盘,这需要很长时间.您需要确定批处理级别,但原始的第一次尝试是围绕整个批次包装事务.
原文链接:https://www.f2er.com/mysql/433334.html

猜你在找的MySQL相关文章