处理CSV数据的Python


从CSV读取数据(逗号分隔值)是数据科学的基本需求。通常,我们从各种来源获取数据,这些数据可以导出为CSV格式,以便其他系统可以使用这些数据。Panadas库提供了一些功能,我们可以使用该功能完整地读取CSV文件,也可以只读取选定的一组列和行。

作为CSV文件输入

csv文件是一个文本文件,其中列中的值由逗号分隔。让我们考虑一下名为 input.csv 的文件中的以下数据。

您可以通过复制并粘贴这些数据,使用Windows记事本创建该文件。使用记事本中的另存为全部文件()选项将该文件保存为 input.csv

id,name,salary,start_date,dept
1,Rick,623.3,2012-01-01,IT
2,Dan,515.2,2013-09-23,Operations
3,Tusar,611,2014-11-15,IT
4,Ryan,729,2014-05-11,HR
5,Gary,843.25,2015-03-27,Finance
6,Rasmi,578,2013-05-21,IT
7,Pranab,632.8,2013-07-30,Operations
8,Guru,722.5,2014-06-17,Finance

读取CSV文件

使用pandas库的 read_csv 函数将CSV文件的内容作为pandas DataFrame读入python环境。该功能可以通过使用适当的文件路径从操作系统中读取文件。

import pandas as pd
data = pd.read_csv('path/input.csv')
print (data)

当我们执行上面的代码时,它会产生以下结果。请注意函数如何创建以零开头的附加列作为索引。

id    name  salary  start_date        dept
0   1    Rick  623.30  2012-01-01          IT
1   2     Dan  515.20  2013-09-23  Operations
2   3   Tusar  611.00  2014-11-15          IT
3   4    Ryan  729.00  2014-05-11          HR
4   5    Gary  843.25  2015-03-27     Finance
5   6   Rasmi  578.00  2013-05-21          IT
6   7  Pranab  632.80  2013-07-30  Operations
7   8    Guru  722.50  2014-06-17     Finance

阅读特定行

熊猫库的 read_csv 函数也可用于读取给定列的某些特定行。我们使用下面显示的代码对read_csv函数的结果进行分割,对于名为salary的列,前5行。

import pandas as pd
data = pd.read_csv('path/input.csv')

# Slice the result for first 5 rows
print (data[0:5]['salary'])

当我们执行上面的代码时,它会产生以下结果。

0    623.30
1    515.20
2    611.00
3    729.00
4    843.25
Name: salary, dtype: float64

阅读特定列

熊猫库的 read_csv 函数也可以用来读取一些特定的列。为此,我们使用称为 .loc() 的多轴索引方法。我们选择显示所有行的薪水和名称列。

import pandas as pd
data = pd.read_csv('path/input.csv')

# Use the multi-axes indexing funtion
print (data.loc[:,['salary','name']])

当我们执行上面的代码时,它会产生以下结果。

salary    name
0  623.30    Rick
1  515.20     Dan
2  611.00   Tusar
3  729.00    Ryan
4  843.25    Gary
5  578.00   Rasmi
6  632.80  Pranab
7  722.50    Guru

读取特定的列和行

熊猫库的 read_csv 函数也可以用来读取一些特定的列和特定的行。为此,我们使用称为 .loc() 的多轴索引方法。我们选择显示某些行的工资和名称列。

import pandas as pd
data = pd.read_csv('path/input.csv')

# Use the multi-axes indexing funtion
print (data.loc[[1,3,5],['salary','name']])

当我们执行上面的代码时,它会产生以下结果。

salary   name
1   515.2    Dan
3   729.0   Ryan
5   578.0  Rasmi

读取一系列行的特定列

熊猫库的 read_csv 函数也可以用来读取一些特定的列和一系列的行。为此,我们使用称为 .loc() 的多轴索引方法。我们选择显示某些行的工资和名称列。

import pandas as pd
data = pd.read_csv('path/input.csv')

# Use the multi-axes indexing funtion
print (data.loc[2:6,['salary','name']])

当我们执行上面的代码时,它会产生以下结果。

salary    name
2  611.00   Tusar
3  729.00    Ryan
4  843.25    Gary
5  578.00   Rasmi
6  632.80  Pranab