我注意到Pandas现在已支持稀疏矩阵和数组。目前,我创建DataFrame()这样的:
DataFrame()
return DataFrame(matrix.toarray(), columns=features, index=observations)
有没有办法SparseDataFrame()用scipy.sparse.csc_matrix()或创建一个csr_matrix()?转换为密集格式会严重破坏RAM。谢谢!
SparseDataFrame()
scipy.sparse.csc_matrix()
csr_matrix()
不支持直接转换ATM。欢迎捐款!
试试这个,在内存上应该没问题,因为SpareSeries很像csc_matrix(用于1列),而且空间效率很高
In [37]: col = np.array([0,0,1,2,2,2]) In [38]: data = np.array([1,2,3,4,5,6],dtype='float64') In [39]: m = csc_matrix( (data,(row,col)), shape=(3,3) ) In [40]: m Out[40]: <3x3 sparse matrix of type '<type 'numpy.float64'>' with 6 stored elements in Compressed Sparse Column format> In [46]: pd.SparseDataFrame([ pd.SparseSeries(m[i].toarray().ravel()) for i in np.arange(m.shape[0]) ]) Out[46]: 0 1 2 0 1 0 4 1 0 0 5 2 2 3 6 In [47]: df = pd.SparseDataFrame([ pd.SparseSeries(m[i].toarray().ravel()) for i in np.arange(m.shape[0]) ]) In [48]: type(df) Out[48]: pandas.sparse.frame.SparseDataFrame