在今晚的学习中,我将学着获取数据,并对这些数据进行可视化。
要在文本文件中存储数据,最简单的方式是将数据作为一系列以逗号分隔的值 (CSV)写入文件。这样的文件称为CSV文件。
csv 模块包含在Python标准库中,可用于分析CSV文件中的数据行,让我们能够快速提取感兴趣的值。下面先来查看这个文件的第一行,其中包含一系列有关数据的描述:
# -*- coding:utf-8 -*- import csv filename = 'sitka_weather_07-2014.csv' with open(filename) as f: reader = csv.reader(f) header_row = next(reader) print(header_row)导入模块csv 后,我们将要使用的文件的名称存储在filename 中。接下来,我们打开这个文件,并将结果文件对象存储在f 中(见第6行)。然后,我们调用csv.reader() , 并将前面存储的文件对象作为实参传递给它,从而创建一个与该文件相关联的阅读器对象(见第7行)。我们将这个阅读器对象存储在reader 中。 模块csv 包含函数next() ,调用它并将阅读器对象传递给它时,它将返回文件中的下一行。在上头的代码中,我们只调用了next() 一次,因此得到的是文件的第一行,其中包含文件头。我们将返回的数据存储在header_row 中。正如上图看到的,header_row 包含与天气相关的文件头,指出了每行都包含哪些数据。
为让文件头数据更容易理解,可以将列表中的每个文件头及其位置打印出来:
# -*- coding:utf-8 -*- import csv filename = 'sitka_weather_07-2014.csv' with open(filename) as f: reader = csv.reader(f) header_row = next(reader) for index, column_header in enumerate(header_row): print(index, column_header)我们对列表调用了enumerate() (见第10行)来获取每个元素的索引及其值。输出如上,其中指出了每个文件头的索引。
知道需要哪些列中的数据后,我们可以试着来读取一些数据。首先读取每天的最高气温:
# -*- coding:utf-8 -*- import csv # 从文件中获取最高气温 filename = 'sitka_weather_07-2014.csv' with open(filename) as f: reader = csv.reader(f) header_row = next(reader) highs =[] for row in reader: highs.append(row[1]) print(highs)我们创建了一个名为highs 的空列表(见第11行),再遍历文件中余下的各行(见第13行处)。阅读器对象从其停留的地方继续往下读取CSV文件,每次都自动返回当前所处位置的下一行。由于我们已经读取了文件头行,这个循环将从第二行开始——从这行开始包含的是实际数据。每次执行该循环时,我们都将索引的数据附加到highs 末尾(见第14行)。
下面使用int() 将这些字符串转换为数字,让matplotlib能够读取它们:
# -*- coding:utf-8 -*- import csv # 从文件中获取最高气温 filename = 'sitka_weather_07-2014.csv' with open(filename) as f: reader = csv.reader(f) header_row = next(reader) highs =[] for row in reader: high = int(row[1]) highs.append(high) print(highs)在第14行处,我们将表示气温的字符串转换成了数字,再将其附加到列表末尾。这样,最终的列表将包含以数字表示的每日最高气温。
为可视化这些气温数据,我们首先使用matplotlib创建一个显示每日最高气温的简单图形,如下所示:
# -*- coding:utf-8 -*- import csv from matplotlib import pyplot as plt # 从文件中获取最高气温 filename = 'sitka_weather_07-2014.csv' with open(filename) as f: reader = csv.reader(f) header_row = next(reader) highs =[] for row in reader: high = int(row[1]) highs.append(high) print(highs) # 根据数据绘制图形 fig = plt.figure(dpi=127, figsize=(10, 6)) plt.plot(highs, c='red') # 设置图形的格式 plt.title('Daily high. temperature, July 2014', fontsize=23) plt.xlabel('', fontsize=17) plt.ylabel('Temperature(F)', fontsize=17) plt.tick_params(axis='both', which='major', labelsize=17) plt.show()我们将最高气温列表传给plot() (见第23行),并传递c='red' 以便将数据点绘制为红色。接下来,我们设置了一些其他的格式,如字体大小和标签(见第26行),鉴于我们还没有添加日期,因此没有给x轴添加标签,但plt.xlabel() 确实修改了字体大小,让标签更容易看清。下图显示了绘制的图表:一个简单的折线图:
下面我们在图表中添加日期,使其更有用。读取该数据时,获得的是一个字符串,因为我们需要想办法将字符串’2014-7-1’ 转换为一个表示相应日期的对象。为创建一个表示2014年7月1日的对象,可使用模块datetime 中的方法strptime() 。我们先在终端会话中看看strptime() 的工作原理:
我们首先导入了模块datetime 中的datetime 类,然后调用方法strptime() ,并将包含所需日期的字符串作为第一个实参。第二个实参告诉Python如何设置日期的格式。在这个示例中,'%Y-' 让Python将字符串中第一个连字符前面的部分视为四位的年份;'%m-' 让Python将第二个连字符前面的部分视为表示月份的数字;而'%d' 让Python将字符串的最后一部分视为月份中的一天(1~31)。
我们创建了两个空列表,用于存储从文件中提取的日期和最高气温(见第14行)。然后,我们将包含日期信息的数据(row[0] )转换为datetime 对象(见第17行),并将其附加到列表dates 末尾。在第27行处,我们将日期和最高气温值传递给plot() 。在第32行处,我们调用了fig.autofmt_xdate() 来绘制斜的日期标签,以免它们彼此重叠。下图显示了改进后的图表: