我正在尝试尽快将大量数据加载到Redis中。
我的数据如下所示:
771240491921 SOME;STRING;ABOUT;THIS;LENGTH 345928354912 SOME;STRING;ABOUT;THIS;LENGTH
左侧有一个〜12位数字,右侧有一个可变长度的字符串。键将是左侧的数字,数据将是右侧的字符串。
在我刚装箱的Redis实例中,并带有未压缩的纯文本文件(带有此数据),一分钟我可以得到大约一百万条记录。我需要做大约4,500万,这大约需要45分钟。45分钟太长。
我是否可以进行一些标准的性能调整来进行此类优化?通过在单独的实例之间分片,是否可以获得更好的性能?
最快的方法如下:根据这些数据生成Redis协议。生成Redis协议的文档位于Redis.io网站上,这是一个简单的协议。一旦有了它,只需将其命名为appendonly.log并以仅追加模式启动redis。
您甚至可以执行FLUSHALL命令,最后使用netcat将数据推送到服务器中,将输出重定向到/ dev / null。
这将是超快的,没有等待等待的RTT,只是大量数据的加载。
减少骇人听闻的方式,只需使用流水线每次插入1000次即可。它几乎与生成协议一样快,但是更加干净:)