mysql查询选择键并插入

admin

mysql查询选择键并插入

sql

我有两个表：Articles用于存储有关文章的信息，并且PageLinks用于存储页面之间的超链接。架构如下。

CREATE TABLE `Articles` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `slug` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL,
  `label` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `slug_UNIQUE` (`slug`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

CREATE TABLE `PageLinks` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `from_id` int(11) NOT NULL,
  `to_id` int(11) NOT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `index4` (`to_id`,`from_id`),
  KEY `fk_PageLinks_1` (`from_id`),
  KEY `fk_PageLinks_2` (`to_id`),
  CONSTRAINT `fk_PageLinks_1` FOREIGN KEY (`from_id`) REFERENCES `Articles` (`id`) ON DELETE NO ACTION ON UPDATE NO ACTION,
  CONSTRAINT `fk_PageLinks_2` FOREIGN KEY (`to_id`) REFERENCES `Articles` (`id`) ON DELETE NO ACTION ON UPDATE NO ACTION
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

我有几百万个子词对，它们表示相应页面之间的超链接。我正在尝试从这些子弹对加载PageLinks表。

目前，我有一个python程序，该程序select id对每个段塞发出查询，以将段塞对转换为Article
id对。然后将ID对写入文件并使用加载load data infile。此外，如果“文章”表中不存在子弹，程序将插入一个没有标签的虚拟行，然后使用该行的ID。

我正在尝试优化程序以更快地加载条目（我要加载大约18GB的子弹对）。我相信，如果可以批量执行slug->
id解析和页面链接插入，则可以达到一定的速度（从而避免了每次SELECT的开销）。在mysql中做到这一点的最佳方法是什么？

阅读 469

2021-07-01

共1个答案

admin

SELECT实际上，为每个弹头单独设置都是无效的。

您应该将子弹对加载到表中：

CREATE TABLE pairs
        (
        slug1 VARCHAR(255) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL,
        slug2 VARCHAR(255) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL
        );

，将其与您的货币对一起加载，然后发出以下语句：

INSERT IGNORE
INTO    Articles (slug)
SELECT  slug1
FROM    pairs;

INSERT IGNORE
INTO    Articles (slug)
SELECT  slug2
FROM    pairs;

INSERT
INTO    pairs (from_id, to_id)
SELECT  a1.id, a2.id
FROM    pairs
JOIN    articles a1
ON      a1.slug = slug1
JOIN    articles a2
ON      a2.slug = slug2;

2021-07-01