这两天掌柜遇到要读取大型（基本都超过1G）的CSV文件到单个DataFrame里面的操作，搜了一下，这里结合自身实际情况做个总结，希望对有同样需求的朋友有帮助！下面直接看案例吧👇 除了一个小于1G的CSV文件，其余都大于1.3G。。。好了，现在掌柜要读取其中一个大型CSV文件到单个DataFrame中，那应该怎么操作呢？
第一种：使用chunksize模块。优点：步骤简单，且对内存相当足（>=16G)的电脑适用。缺点：如果你的电脑/云/服务器内存不足以支撑这些大型文件（比如你的内存只有2G，但是文件 >= 4G的情况下），同样会出现Memory error（内存泄漏）。具体方法： import pandas as pd import numpy as np df_chunk = pd.read_csv('YourFileName.csv', chunksize=1000000, iterator = True) #使用chunksize分块读取大型csv文件，这里每次读取chunksize为100万 chunk_list = [] for chunk in df_chunk: chunk_list.append(chunk) df_concat = pd.concat(chunk_list) #再把这些块组合成一个DataFrame df_concat.shape整合后的DataFrame大小如下： （其实这还是掌柜选取最小一个文件读出来的数据。。。可见其他文件都是大于1000万行的😂）
第二种：对读取的每列数据进行类型转换，减少内存占用。（推荐使用）
优点：极大的压缩了文件内存，即便是内存不大的电脑/服务器也可以使用。
缺点：初次使用的步骤相对复杂，需先提取部分数据来找出合适的转换类型。(这里如何找到每列特征对应的数据转换类型， 建议参考这个博客👉：Tutorial: Using Pandas with Large Data Sets in Python写的很详细，掌柜就不再写了。 这里附上常见的数据类型在pandas里面：
具体方法：
import pandas as pd import numpy as np MAX_ROWS = XXX df = pd.read_csv('YourFileName.csv', nrows = MAX_ROWS) df.info() ...... #比如这里可以先设置读取行数为10万条数据，然后进行分析，找到需要转换的数据类型后再全部数据查看；防止内存泄漏 df = pd.read_csv('YourFileName.csv', dtype = { #这里就是你要转换的数据列名字和对应类型，下面随意举例 'column_1': np.uint16, 'column_2': np.float32, 'column_3': np.float32, 'column_4': np.float32, 'column_5': np.uint8, }) df.info() 第三种：只读取可能有用的部分特征列到DataFrame中。优点：省内存，步骤简单。缺点：需要先对整个数据集提取小部分行数进行一个整体的分析，最后才能知道哪些特征是有用的。具体方法： import pandas as pd df = pd.read_csv('YourFileName.csv', nrows = 100000) df.info() ...... #此处省略各种分析方法，最后得到如下有用特征和无用特征 use_cols = ['column_1', 'column_2', 'column_3', 'column_4', 'column_5'] unused_cols = ['column_6', 'column_7'] df = pd.read_csv('YourFileName.csv', usecols=use_cols) df.info() 第四种：使用并行计算库Dask。（推荐使用）优点：能在集群中进行分布式计算，方便快捷高效。缺点：对新手来说，虽然需要花点时间去熟悉Dask的使用方法，建议参考官方文档，但不是很难。具体方法： import dask.dataframe as dd df = dd.read_csv('YourFileName.csv') df.head()下面是掌柜使用Dask读取了1.3G的CSV文件后的一个运行时间：
可以看出来Dask的计算效率是很不错的，只用了17.1ms就读取了1.3G+的CSV文件；而且掌柜这还是在内存只有2G的云服务器上面操作的，并没有发生（由Memory Error造成的）Kernel died的情况。
好了，主要的四种方法掌柜已经在这里分享了，大家按自己的需求来选取使用😁。如果你有更好的方法，欢迎在下面评论，谢谢。
参考资料： 3 simple ways to handle large data with Pandas Tutorial: Using Pandas with Large Data Sets in Python Dask官方文档
