跳转至

Java 读取 CSV 文件：从基础到最佳实践

简介

在数据处理和分析领域，CSV（Comma-Separated Values）文件是一种常见且广泛使用的文件格式。它以纯文本形式存储表格数据，每一行代表一条记录，字段之间用逗号分隔。在 Java 开发中，读取 CSV 文件是一项常见的任务，无论是处理业务数据、进行数据迁移还是数据分析，都需要掌握读取 CSV 文件的技能。本文将深入探讨 Java 读取 CSV 文件的相关知识，包括基础概念、使用方法、常见实践以及最佳实践，帮助读者全面掌握这一重要技术。

目录

  1. 基础概念
  2. 使用方法
    • 使用标准 Java 库（BufferedReader）
    • 使用 OpenCSV 库
    • 使用 Apache Commons CSV
  3. 常见实践
    • 处理表头
    • 处理不同分隔符
    • 处理空值和缺失数据
  4. 最佳实践
    • 性能优化
    • 错误处理
    • 代码可维护性
  5. 小结
  6. 参考资料

基础概念

CSV 文件是一种简单的数据存储格式，其结构特点使得它易于理解和处理。然而，在实际读取时，需要注意一些细节，例如分隔符可能不只是逗号，还可能是分号、制表符等；数据中可能包含引号，用于包裹包含逗号或其他特殊字符的字段；文件可能包含表头，也可能不包含表头等等。这些细节在编写读取代码时都需要考虑到。

使用方法

使用标准 Java 库（BufferedReader）

Java 的标准库提供了 BufferedReader 类，可以用于逐行读取文件内容。以下是使用 BufferedReader 读取 CSV 文件的示例代码：

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

public class CsvReaderExample {
    public static void main(String[] args) {
        String csvFilePath = "path/to/your/file.csv";
        try (BufferedReader br = new BufferedReader(new FileReader(csvFilePath))) {
            String line;
            while ((line = br.readLine())!= null) {
                String[] values = line.split(",");
                for (String value : values) {
                    System.out.print(value + "\t");
                }
                System.out.println();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

在上述代码中： 1. 我们创建了一个 BufferedReader 对象，并将其与指定路径的 CSV 文件关联。 2. 使用 br.readLine() 方法逐行读取文件内容。 3. 对于每一行，使用 split(",") 方法将其按逗号分隔成字符串数组。 4. 遍历数组并打印每个字段的值。

使用 OpenCSV 库

OpenCSV 是一个专门用于处理 CSV 文件的开源 Java 库，它提供了更方便和强大的功能。首先，需要在项目中添加 OpenCSV 的依赖（如果使用 Maven，可以在 pom.xml 中添加以下依赖）：

<dependency>
    <groupId>com.opencsv</groupId>
    <artifactId>opencsv</artifactId>
    <version>5.7.1</version>
</dependency>

以下是使用 OpenCSV 读取 CSV 文件的示例代码：

import com.opencsv.CSVReader;
import java.io.FileReader;
import java.io.IOException;

public class OpenCSVExample {
    public static void main(String[] args) {
        String csvFilePath = "path/to/your/file.csv";
        try (CSVReader reader = new CSVReader(new FileReader(csvFilePath))) {
            String[] line;
            while ((line = reader.readNext())!= null) {
                for (String value : line) {
                    System.out.print(value + "\t");
                }
                System.out.println();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

在上述代码中： 1. 创建了一个 CSVReader 对象，用于读取指定路径的 CSV 文件。 2. 使用 reader.readNext() 方法逐行读取文件内容，返回的是一个包含该行所有字段的字符串数组。 3. 遍历数组并打印每个字段的值。

使用 Apache Commons CSV

Apache Commons CSV 也是一个常用的处理 CSV 文件的库，提供了丰富的功能和灵活的配置选项。添加 Maven 依赖：

<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-csv</artifactId>
    <version>1.9.0</version>
</dependency>

以下是使用 Apache Commons CSV 读取 CSV 文件的示例代码：

import org.apache.commons.csv.CSVFormat;
import org.apache.commons.csv.CSVParser;
import org.apache.commons.csv.CSVRecord;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

public class ApacheCommonsCSVExample {
    public static void main(String[] args) {
        String csvFilePath = "path/to/your/file.csv";
        try (BufferedReader reader = new BufferedReader(new FileReader(csvFilePath));
             CSVParser csvParser = new CSVParser(reader, CSVFormat.DEFAULT)) {
            for (CSVRecord csvRecord : csvParser) {
                for (String value : csvRecord) {
                    System.out.print(value + "\t");
                }
                System.out.println();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

在上述代码中： 1. 创建了一个 BufferedReader 对象和一个 CSVParser 对象，CSVParser 使用 CSVFormat.DEFAULT 作为默认格式。 2. 使用 for 循环遍历 CSVParser 中的每一条记录（CSVRecord）。 3. 遍历每条记录中的每个字段并打印。

常见实践

处理表头

许多 CSV 文件在第一行包含表头信息，用于描述每列数据的含义。在读取文件时，通常需要将表头单独处理。

使用 OpenCSV 处理表头的示例：

import com.opencsv.CSVReader;
import java.io.FileReader;
import java.io.IOException;

public class CsvHeaderExample {
    public static void main(String[] args) {
        String csvFilePath = "path/to/your/file.csv";
        try (CSVReader reader = new CSVReader(new FileReader(csvFilePath))) {
            String[] headers = reader.readNext();
            for (String header : headers) {
                System.out.print(header + "\t");
            }
            System.out.println();

            String[] line;
            while ((line = reader.readNext())!= null) {
                for (String value : line) {
                    System.out.print(value + "\t");
                }
                System.out.println();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

在上述代码中，首先使用 reader.readNext() 读取第一行作为表头，然后再逐行读取数据行。

处理不同分隔符

CSV 文件的分隔符不一定是逗号，可能是分号、制表符等。不同的库提供了不同的方式来指定分隔符。

使用 Apache Commons CSV 处理分号分隔的 CSV 文件示例：

import org.apache.commons.csv.CSVFormat;
import org.apache.commons.csv.CSVParser;
import org.apache.commons.csv.CSVRecord;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

public class DifferentDelimiterExample {
    public static void main(String[] args) {
        String csvFilePath = "path/to/your/file.csv";
        try (BufferedReader reader = new BufferedReader(new FileReader(csvFilePath));
             CSVParser csvParser = new CSVParser(reader, CSVFormat.DEFAULT.withDelimiter(';'))) {
            for (CSVRecord csvRecord : csvParser) {
                for (String value : csvRecord) {
                    System.out.print(value + "\t");
                }
                System.out.println();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

在上述代码中，通过 CSVFormat.DEFAULT.withDelimiter(';') 方法指定分隔符为分号。

处理空值和缺失数据

在 CSV 文件中，可能会存在空值或缺失数据。处理这些情况时，需要根据具体业务需求进行相应的处理。

使用 OpenCSV 处理空值的示例：

import com.opencsv.CSVReader;
import java.io.FileReader;
import java.io.IOException;

public class NullValueExample {
    public static void main(String[] args) {
        String csvFilePath = "path/to/your/file.csv";
        try (CSVReader reader = new CSVReader(new FileReader(csvFilePath))) {
            String[] line;
            while ((line = reader.readNext())!= null) {
                for (String value : line) {
                    if (value == null || value.isEmpty()) {
                        System.out.print("N/A\t");
                    } else {
                        System.out.print(value + "\t");
                    }
                }
                System.out.println();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

在上述代码中，对于空值或空字符串的字段，我们打印 N/A 作为占位符。

最佳实践

性能优化

  1. 批量读取：避免逐行读取，对于大数据量的 CSV 文件，可以使用缓冲区或批量读取技术，减少磁盘 I/O 次数。
  2. 使用合适的数据结构：根据数据处理需求，选择合适的数据结构存储读取的数据，例如使用 ArrayList 或 HashMap。

错误处理

  1. 文件不存在或无法读取：在读取文件前，先检查文件是否存在，并在读取过程中捕获 IOException 异常，进行适当的错误处理。
  2. 数据格式错误：对于 CSV 文件中的数据格式错误，例如字段数量不匹配、数据类型不匹配等，需要进行有效的错误检测和处理，避免程序崩溃。

代码可维护性

  1. 封装读取逻辑：将读取 CSV 文件的逻辑封装到独立的方法或类中，提高代码的可读性和可维护性。
  2. 添加注释：在关键代码段添加注释，说明代码的功能和意图，方便其他开发人员理解和修改代码。

小结

本文详细介绍了在 Java 中读取 CSV 文件的相关知识，包括基础概念、使用标准 Java 库、OpenCSV 库和 Apache Commons CSV 库的方法，以及常见实践和最佳实践。通过掌握这些内容，读者可以根据具体项目需求选择合适的方法读取 CSV 文件，并进行高效的数据处理。希望本文能帮助读者在 Java 开发中更好地应对 CSV 文件读取的任务。

参考资料

  1. OpenCSV 官方文档
  2. Apache Commons CSV 官方文档
  3. Java 教程 - 文件读取