您将如何解决以下存储和检索问题?
每天(每年365天)将添加大约2.000.000行,每行包含以下信息:
与date_id结合使用的entity_id是唯一的。因此,每个实体和日期最多可以将一行添加到表中。数据库必须能够保存10年的每日数据(7.300.000.000行(3.650 * 2.000.000))。
上面描述的是写模式。读取模式很简单:所有查询都将在特定的object_id上进行。即检索描述entity_id = 12345的所有行。
不需要事务支持,但是存储解决方案必须是开源的。理想情况下,我想使用MySQL,但我愿意征求建议。
现在-您将如何解决所描述的问题?
更新: 我被要求详细说明读写模式。每天将对表进行一次写入,然后一次性添加新的2M条目。读取将连续进行,每秒读取一次。
使用分区。使用读取模式,您需要按entity_id哈希分区。
entity_id