如何在 Python 中合并 CSV 文件

CSV（Comma-Separated Values）是一种轻量级的数据交换格式，在数据分析和处理中经常被使用。在某些情况下，我们需要将多个 CSV 文件合并成一个，以便更方便地进行分析和处理。Python 提供了一些库来实现 CSV 文件的合并。

本文将介绍如何使用 Pandas 和 csv 库在 Python 中合并 CSV 文件，并附带注意事项和示例代码。

使用 Pandas 合并 CSV 文件

Pandas 是一种用于数据操作和分析的高效工具，支持数据导入、重构和清理。Pandas 提供了一组用于合并数据集的方法，其中包括合并多个 CSV 文件，常用的方法有 concat() 和 merge()。

concat() 方法

concat() 方法用于连接 Pandas DataFrame。我们可以将多个 CSV 文件作为 Pandas DataFrame 加载，然后使用 concat() 方法合并它们。下面是一个使用 concat() 方法合并 CSV 文件的示例：

import pandas as pd

# 加载多个 CSV 文件
df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')
df3 = pd.read_csv('file3.csv')

# 在行方向上合并多个 DataFrame
merged_df = pd.concat([df1, df2, df3])

# 保存合并后的 DataFrame 到 CSV 文件
merged_df.to_csv('merged_file.csv', index=False)

在上面的示例中，我们首先通过 pd.read_csv() 方法加载多个 CSV 文件，并将它们分别存储到 df1、df2 和 df3。然后，我们使用 pd.concat() 方法将这些 DataFrame 沿着行方向合并。最后，我们可以使用 to_csv() 方法将合并后的 DataFrame 存储到 CSV 文件中。

merge() 方法

merge() 方法用于基于一个或多个键将 DataFrame 进行连接。如果我们需要根据某个共同的列连接多个 CSV 文件，则可以使用 merge() 方法来实现。下面是一个使用 merge() 方法合并 CSV 文件的示例：

import pandas as pd

# 加载多个 CSV 文件
df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')
df3 = pd.read_csv('file3.csv')

# 合并多个 DataFrame，基于共同的列
merged_df = pd.merge(df1, df2, on='id', how='outer')
merged_df = pd.merge(merged_df, df3, on='id', how='outer')

# 保存合并后的 DataFrame 到 CSV 文件
merged_df.to_csv('merged_file.csv', index=False)

在上面的示例中，我们首先通过 pd.read_csv() 方法加载多个 CSV 文件，并将它们分别存储到 df1、df2 和 df3。然后，我们使用 pd.merge() 方法将这些 DataFrame 沿着共同的列（在此示例中为“id”）连接，并将其保存到 merged_df 中。最后，我们可以使用 to_csv() 方法将合并后的 DataFrame 存储到 CSV 文件中。

注意事项：

1. 合并多个 CSV 文件可以使数据更易于管理和使用，但在合并之前，应确保所有文件都有相同的列和数据类型。否则，可能会导致数据不一致或无法处理的错误。
2. 在 Pandas 中合并多个 CSV 文件时，应选用适当的 DataFrame 连接方法。
3. 在使用 Pandas 合并 CSV 文件时，应始终尝试使用内置的 DataFrame 方法和函数，这样可以确保操作高效和准确。
4. 在存储合并后的 DataFrame 时，应使用合适的选项和格式，以避免数据丢失或转换错误。

使用 csv 库合并 CSV 文件

csv 库是 Python 的标准库之一，在 Python 中用于读取和写入 CSV 文件。虽然 Pandas 中的 concat() 和 merge() 方法对于合并多个 CSV 文件非常方便，但是在某些情况下，我们可能需要使用 csv 库来进行合并。下面是使用 csv 库合并 CSV 文件的示例：

import csv

# 将多个 CSV 文件合并为一个
csv_files = ['file1.csv', 'file2.csv', 'file3.csv']
merged_file = 'merged_file.csv'

with open(merged_file, 'w', newline='') as outfile:
    writer = csv.writer(outfile)
    writer.writerow(['id', 'name', 'age', 'gender'])

    for filename in csv_files:
        with open(filename, newline='') as infile:
            reader = csv.reader(infile)
            next(reader, None)  # 跳过标题行
            for row in reader:
                writer.writerow(row)

在上面的示例中，我们首先将要合并的 CSV 文件列表存储在 csv_files 变量中，并将合并后的文件存储在 merged_file 中。然后，我们使用 with 语句打开要写入的 CSV 文件，并使用 csv.writer() 方法来写入行。在写入标题行之后，我们循环遍历每个要合并的 CSV 文件，并将其行添加到写入的文件中。最后，我们将所有的行写入文件中。

注意事项：

1. 在使用 csv 库合并 CSV 文件时，应始终确认 CSV 文件的格式和数据类型。否则，可能会导致数据不一致或无法处理的错误。
2. 在使用 csv 库合并 CSV 文件时，应注意 Python 编码，因为某些编码可能会在程序中造成错误或异常。
3. 在存储合并后的 CSV 文件时，应使用合适的选项和格式，以避免数据丢失或转换错误。

结论

本文介绍了在 Python 中如何使用 Pandas 和 csv 库合并 CSV 文件，并附带注意事项和示例代码。总体而言，使用 Pandas 进行合并可能更加方便和高效，但如果只需要执行单一的操作，则可以使用 csv 库快速合并文件。无论哪种方法，我们都应该始终检查数据的一致性和类型，并采取适当的措施来避免数据损失或转换错误。

火焰兔

海报 链接