我一直在研究一个问题，在该问题中，我从一个较大的.txt输出文件中获取了数据，现在必须解析并以.csv的形式重新组织某些值。

我已经编写了一个脚本，该脚本根据数据是哪种类型（航班ID，纬度，经度等）将所有数据按列输入.csv，但顺序不正确。从最早的时间戳到最新的时间戳，所有值均应基于相同的Flight
ID进行分组。幸运的是，我的.csv具有按正确时间顺序排列的所有值，但没有根据排期ID适当地分组在一起。

为了澄清我的描述，现在看起来像这样，

（“时间x”仅用于说明）：

20110117559515, , , , , , , , ,2446,6720,370,42  (Time 0)                               
20110117559572, , , , , , , , ,2390,6274,410,54  (Time 0)                               
20110117559574, , , , , , , , ,2391,6284,390,54  (Time 0)                               
20110117559587, , , , , , , , ,2385,6273,390,54  (Time 0)                               
20110117559588, , , , , , , , ,2816,6847,250,32  (Time 0) 
...

它应该像这样订购：

20110117559515, , , , , , , , ,2446,6720,370,42  (Time 0)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42  (Time 1)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42  (Time 2)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42  (Time 3)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42  (Time N)
20110117559572, , , , , , , , ,2390,6274,410,54  (Time 0)
20110117559572, , , , , , , , ,23xx,62xx,4xx,54  (Time 1)
... and so on

我输出的.csv中有130万行使事情变得更加容易。我有99％的信心在编写下一个用于修复顺序的脚本中的逻辑是正确的，但我担心它的效率极低。我最终添加了一个进度条，只是为了查看它是否正在取得任何进展，不幸的是，这是我所看到的：

这是我处理紧缩的代码（如果愿意，请跳至问题区域）：

## a class I wrote to handle the huge .csv's ##
from BIGASSCSVParser import BIGASSCSVParser               
import collections


x = open('newtrajectory.csv')  #file to be reordered                                                  
linetlist = []                                                                  
tidict = {}

'' To save braincells I stored all the required values
   of each line into a dictionary of tuples.
   Index: Tuple ''

for line in x:                                                                  
    y = line.replace(',',' ')                                                   
    y = y.split()                                                               
    tup = (y[0],y[1],y[2],y[3],y[4])                                            
    linetlist.append(tup)                                                       
for k,v in enumerate(linetlist):                                                
    tidict[k] = v                                                               
x.close()


trj = BIGASSCSVParser('newtrajectory.csv')                                      
uniquelFIDs = []                                                                
z = trj.column(0)   # List of out of order Flight ID's                                                     
for i in z:         # like in the example above                                                           
    if i in uniquelFIDs:                                                        
        continue                                                                
    else:                                                                       
        uniquelFIDs.append(i)  # Create list of unique FID's to refer to later

queue = []                                                                              
p = collections.OrderedDict()                                                   
for k,v in enumerate(trj.column(0)):                                            
    p[k] = v

到目前为止，一切都很好，但是在下一个部分中，我的计算机被阻塞了，或者我的代码很烂：

for k in uniquelFIDs:                                                           
    list = [i for i, x in p.items() if x == k]                                  
    queue.extend(list)

这个想法是，对于每个唯一值，依次迭代130万个值，并按顺序返回每个出现项的索引，并将这些值附加到列表中。之后，我只是要读取大量索引并将该行数据的内容写入另一个.csv文件。da！效率极低。

怎么了 有没有更有效的方法来解决此问题？我的代码有缺陷吗，还是我对笔记本电脑很残忍？

更新：

我发现，根据我要处理的数据量，这将需要9到10个小时。我在4.5中正确地吐出了一半。我现在可以摆脱一夜之间的紧缩，但下次可能会使用数据库或其他语言。如果我能提前知道会发生什么，我会知道的，哈哈。

调整好我的SSD的睡眠设置后，只需花费3个小时即可完成操作。