我是一名学生,正在进行一些涉及数据挖掘的研究。我有几个自愿的“节点”服务器,这些服务器收集并生成SQL文件供我导入到我的服务器上并进行分析。
问题是,这些文件很大,我需要一种快速导入它们的方法。网络最近扩展了,现在硬盘上没有足够的吞吐量供MySQL控制台将其导入时导入。时间很重要- 进行研究存在最后期限,我想积极主动地收集尽可能多的时间,并且没有等待插入的队列。
我想知道是否有更好的方法可以导入非常大的文件-每个文件的大小约为100 MB。我已经尝试过“ \。myfile.sql”,但是这非常慢。PHPMyAdmin不会占用那么大的文件。
任何的想法?谢谢!
你有尝试过mysql -uYOU -p < myfile.sql吗?
mysql -uYOU -p < myfile.sql
UPD:
即使mysql -uYOU -p < myfile.sql &您有短暂的远程控制台会话
mysql -uYOU -p < myfile.sql &
UPD2:
但是,mysqlimport正如 PinnyM 建议的那样,它是最有效的使用方式。假设name_same_as_table.txt文本文件具有DOS样式的EOL和制表符分隔的字段。字段的数量和类型必须与目标表中的相同。
mysqlimport
name_same_as_table.txt
mysqlimport -uYOU -p --lock-tables --lines-terminated-by="\r\n" --fields-terminated-by="\t" YOUR_DB name_same_as_table.txt