如何在sqlalchemy中使用psycopg2.extras？

小编典典

如何在sqlalchemy中使用psycopg2.extras？

python

我想将大量条目（〜600k）上传到PostgreSQL
DB的一个简单表中，每个条目有一个外键，一个时间戳和3个浮点数。但是，每个条目要花费60毫秒才能执行此处所述的核心批量插入操作，因此整个执行过程将花费10个小时。我发现，这是executemany()方法的性能问题，但是已经用psycopg2
2.7中的execute_values()方法解决了。

我运行的代码如下：

#build a huge list of dicts, one dict for each entry
engine.execute(SimpleTable.__table__.insert(),
               values) # around 600k dicts in a list

我看到这是一个常见问题，但是我还没有设法在sqlalchemy本身中找到解决方案。有什么方法可以告诉sqlalchemyexecute_values()在某些情况下调用吗？还有其他方法可以实现巨大的插入而无需自己构造SQL语句吗？

谢谢您的帮助！

阅读 251

2020-12-20

共1个答案

小编典典

从某种意义上说，这不是您要寻找的答案，这不能解决试图指示SQLAlchemy使用psycopg
Extras的问题，并且需要某种手动SQL，但是：您可以使用来从引擎访问基础的psycopg连接raw_connection()，从而允许使用COPY
FROM：

import io
import csv
from psycopg2 import sql

def bulk_copy(engine, table, values):
    csv_file = io.StringIO()
    headers = list(values[0].keys())
    writer = csv.DictWriter(csv_file, headers)
    writer.writerows(values)

    csv_file.seek(0)

    # NOTE: `format()` here is *not* `str.format()`, but
    # `SQL.format()`. Never use plain string formatting.
    copy_stmt = sql.SQL("COPY {} (" +
                        ",".join(["{}"] * len(headers)) +
                        ") FROM STDIN CSV").\
        format(sql.Identifier(str(table.name)),
               *(sql.Identifier(col) for col in headers))

    # Fetch a raw psycopg connection from the SQLAlchemy engine
    conn = engine.raw_connection()
    try:
        with conn.cursor() as cur:
            cur.copy_expert(copy_stmt, csv_file)

        conn.commit()

    except:
        conn.rollback()
        raise

    finally:
        conn.close()

接着

bulk_copy(engine, SimpleTable.__table__, values)

与执行INSERT语句相比，这应该足够快。在这台机器上移动600,000条记录大约需要8秒，〜13µs
/条记录。您还可以将原始连接和游标与extras包一起使用。

2020-12-20