728x90
반응형
SMALL

참고자료

 

김영한의 실전 자바 - 고급 2편, I/O, 네트워크, 리플렉션 강의 | 김영한 - 인프런

김영한 | I/O, 네트워크, 리플렉션, 애노테이션을 기초부터 실무 레벨까지 깊이있게 학습합니다. 웹 애플리케이션 서버(WAS)를 자바로 직접 만들어봅니다., 국내 개발 분야 누적 수강생 1위, 제대로

www.inflearn.com

 

File

자바에서 파일 또는 디렉토리를 다룰 때는 File 또는 Files, Path 클래스를 사용하면 된다. 이 클래스들을 사용하면 파일이나 폴더를 생성하고, 삭제하고, 또 정보를 확인할 수 있다.

 

먼저 File 클래스를 사용해보자. 이 방식은 오래된 방식으로 이제는 새로운 방식인 Files를 더 많이 사용하긴 하지만, 여전히 알아두어야 한다.

 

OldFileMain

package cwchoiit.io.file;

import java.io.File;
import java.io.IOException;
import java.util.Date;

public class OldFileMain {

    public static void main(String[] args) throws IOException {
        File file = new File("temp/example.txt");
        File directory = new File("temp/exampleDir");

        // 1. 파일이나 디렉토리의 존재 여부를 확인
        System.out.println("file exists: " + file.exists());
        System.out.println("directory exists: " + directory.exists());

        // 2. 파일과 디렉토리를 생성
        boolean created = file.createNewFile();
        boolean dirCreated = directory.mkdir();
        System.out.println("file created: " + created);
        System.out.println("Directory created: " + dirCreated);

        // 3. 파일과 디렉토리 삭제
        boolean deleted = file.delete();
        boolean deletedDir = directory.delete();
        System.out.println("File deleted: " + deleted);
        System.out.println("Directory deleted: " + deletedDir);

        // 4. 파일인지 디렉토리인지 
        System.out.println("is file: " + file.isFile());
        System.out.println("is directory: " + directory.isDirectory());
        
        // 5. 파일 이름, 사이즈
        System.out.println("File Name: " + file.getName());
        System.out.println("File Size: " + file.length());

        // 6. 파일 이름 바꾸기
        File newFile = new File("temp/newExample.txt");
        boolean renamed = file.renameTo(newFile);
        System.out.println("File renamed: " + renamed);

        // 7. 파일의 마지막 변경 시간
        long lastModified = newFile.lastModified();
        System.out.println("last modified: " + new Date(lastModified));
    }
}

실행 결과

file exists: false
directory exists: true
file created: true
Directory created: false
File deleted: true
Directory deleted: true
is file: false
is directory: false
File Name: example.txt
File Size: 0
File renamed: false
last modified: Mon Oct 14 20:50:57 KST 2024

 

File은 파일과 디렉토리를 둘 다 다룬다. 참고로 File 객체를 생성했다고 파일이나 디렉토리가 바로 만들어지는 것은 아니다. 메서드를 통해 생성해야 한다. File과 같은 클래스들은 학습해야 할 중요한 원리가 있는 것이 아니라, 다양한 기능의 모음을 제공한다. 이런 클래스의 기능들은 외우기 보다는 이런 것들이 있다 정도만 간단히 알아두고, 필요할 때 찾아서 사용하면 된다. 

 

Files

File, Files의 역사

자바 1.0에서 File 클래스가 등장했다. 이후에 자바 1.7에서 File 클래스를 대체할 FilesPath가 등장했다.

 

Files의 특징 

  • 성능과 편의성이 모두 개선되었다.
  • File은 과거에 호환을 유지하기 위해 남겨둔 기능이다. 이제는 Files 사용을 먼저 고려하자.
  • 여기에는 수많은 유틸리티 기능이 있다. File 클래스는 물론이고, File과 관련된 스트림(FileInputStream, FileWriter)의 사용을 고민하기 전에 Files에 있는 기능을 먼저 찾아보자. 성능도 좋고, 사용하기도 더 편리하다.
  • 기능이 너무 많기 때문에 주요 기능만 알아보고, 나머지는 필요할 때 검색하자.
  • 이렇게 기능 위주의 클래스는 외우는 것이 아니다. 이런게 있다 정도의 주요 기능만 알아두고, 나머지는 필요할 때 검색하면 된다.

 

앞서 작성한 코드를 Files로 그대로 사용해보자. 참고로 Files를 사용할 때 파일이나, 디렉토리의 경로는 Path 클래스를 사용해야 한다.

package cwchoiit.io.file;

import java.io.IOException;
import java.nio.file.FileAlreadyExistsException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.StandardCopyOption;
import java.nio.file.attribute.BasicFileAttributes;

public class NewFilesMain {
    public static void main(String[] args) throws IOException {
        Path file = Path.of("temp/example.txt");
        Path directory = Path.of("temp/exampleDir");

        // 1. exists(): 파일이나 디렉토리의 존재 여부를 확인
        System.out.println("File exists: " + Files.exists(file));

        // 2. createFile(): 새 파일을 생성
        try {
            Files.createFile(file);
            System.out.println("File created");
        } catch (FileAlreadyExistsException e) {
            System.out.println(file + " already exists");
        } catch (IOException e) {
            throw new RuntimeException(e);
        }

        // 3. createDirectory(): 새 디렉토리를 생성
        try {
            Files.createDirectory(directory);
            System.out.println("Directory created");
        } catch (FileAlreadyExistsException e) {
            System.out.println(directory + " already exists");
        } catch (IOException e) {
            throw new RuntimeException(e);
        }

        // 4. delete(): 파일이나 디렉토리를 삭제
        /*try {
            Files.delete(file);
            System.out.println("File deleted");
        } catch (IOException e) {
            throw new RuntimeException(e);
        }*/

        // 5. isRegularFile(): 일반 파일인지 확인
        System.out.println("is regular file: " + Files.isRegularFile(file));
        // 6. isDirectory(): 디렉토리인지 확인
        System.out.println("is directory: " + Files.isDirectory(directory));
        // 7. getFileName(): 파일이나 디렉토리의 이름을 반환
        System.out.println("File name: " + file.getFileName());
        // 8. size(): 파일의 크기를 바이트 단위로 반환
        System.out.println("File size: " + Files.size(file) + " bytes");

        // 9. move(): 파일의 이름을 변경하거나 이동
        Path newFile = Path.of("temp/newExample.txt");
        Files.move(file, newFile, StandardCopyOption.REPLACE_EXISTING);
        System.out.println("File moved");

        // 10. getLastModifiedTime(): 마지막으로 수정된 시간을 반환
        System.out.println("Last modified: " + Files.getLastModifiedTime(newFile));

        // 추가: readAttributes(): 파일의 기본 속성들을 한 번에 읽기
        BasicFileAttributes attrs = Files.readAttributes(newFile, BasicFileAttributes.class);
        System.out.println("========= Attributes ========");
        System.out.println("Creation time: " + attrs.creationTime());
        System.out.println("Is directory: " + attrs.isDirectory());
        System.out.println("Is regular file: " + attrs.isRegularFile());
        System.out.println("Is symbolic link: " + attrs.isSymbolicLink());
        System.out.println("Size: " + attrs.size());
    }
}
  • Files는 직접 생성할 수 없고, static 메서드를 통해 기능을 제공한다.

실행 결과

File exists: false
File created
temp/exampleDir Directory already exists
Is regular file: true
Is directory: true
File name: example.txt
File size: 0 bytes
File moved/renamed
Last modified: 2024-09-03T06:32:09.182412076Z
===== Attributes =====
Creation time: 2024-09-03T06:32:09Z
Is directory: false
Is regular io.file: true
Is symbolic link: false
Size: 0

 

경로 표시

파일이나 디렉토리가 있는 경로는 크게 절대 경로와 정규 경로로 나눌 수 있다.

 

File을 사용한 경로 표시

package cwchoiit.io.file;

import java.io.File;
import java.io.IOException;

public class OldFilePath {
    public static void main(String[] args) throws IOException {
        // 앞에 아무것도 없고 "temp/.." 이렇게 되면 자바가 시작되는 지점부터다. (상대 경로)
        File file = new File("temp/..");
        System.out.println("path: " + file.getPath());

        // 절대 경로
        System.out.println("Absolute path: " + file.getAbsolutePath());

        // 정규 경로 ("temp/.."에서 ..을 다 계산한 결과를 정규 경로라 한다)
        System.out.println("Canonical path: " + file.getCanonicalPath());

        File[] files = file.listFiles();
        for (File f : files) {
            System.out.println((f.isDirectory() ? "D" : "F") + " | " + f.getName());
        }
    }
}

실행 결과

path = temp/..
Absolute path = /Users/yh/study/inflearn/java/java-adv2/temp/..
Canonical path = /Users/yh/study/inflearn/java/java-adv2
D | temp
F | java-adv2-v1.iml
D | out
F | .gitignore
D | .idea
D | src
  • 절대 경로(Absolute Path): 절대 경로는 경로의 처음부터 내가 입력한 모든 경로를 다 표현한다.
  • 정규 경로(Canonical Path): 경로의 계산이 모두 끝난 경로이다. 정규 경로는 하나만 존재한다. 예제에서 `..`은 바로 위의 상위 디렉토리를 뜻한다. 이런 경로의 계산을 모두 처리하면 하나의 경로만 남는다.
  • 그래서 절대 경로는 다음 2가지 경로가 모두 가능하지만,
    • /Users/yh/study/inflearn/java/java-adv2 
    • /Users/yh/study/inflearn/java/java-adv2/temp/..
  • 정규 경로는 다음 하나만 가능하다.
    •  /Users/yh/study/inflearn/java/java-adv2

 

file.listFiles()

  • 현재 경로에 있는 모든 파일 또는 디렉토리를 반환한다.
  • 파일이면 F, 디렉토리면 D로 표현했다.

 

 

FIles를 사용한 경로 표시

package cwchoiit.io.file;

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.stream.Stream;

public class NewFilesPath {
    public static void main(String[] args) throws IOException {
        Path path = Path.of("temp/..");
        System.out.println("path: " + path);

        // 절대 경로
        System.out.println("Absolute path: " + path.toAbsolutePath());

        // 정규 경로
        System.out.println("Canonical path: " + path.toRealPath());

        Stream<Path> pathStream = Files.list(path);
        pathStream.forEach(p -> System.out.println((Files.isRegularFile(p) ? "F" : "D") + " | " + p.getFileName()));
        pathStream.close();
    }
}

실행 결과

path = temp/..
Absolute path = /Users/yh/study/inflearn/java/java-adv2/temp/..
Canonical path = /Users/yh/study/inflearn/java/java-adv2
D | temp
F | java-adv2-v1.iml
D | out
F | .gitignore
D | .idea
D | src

 

Files.list(path)

  • 현재 경로에 있는 모든 파일 또는 디렉토리를 반환한다.
  • 파일이면 F, 디렉토리면 D로 표현했다.

 

Files로 문자 파일 읽기

문자로된 파일을 읽고 쓸 때 과거에는 FileReader, FileWriter 같은 복잡한 스트림 클래스를 사용해야 했다. 거기에 모든 문자를 읽으려면 반복문을 사용해서 파일의 끝까지 읽어야 하는 과정을 추가해야 했다. 또 한 줄 단위로 파일을 읽으려면 BufferedReader와 같은 스트림 클래스를 추가해야 했다.

 

Files는 이런 문제를 코드 한 줄로 깔끔하게 해결해준다.

 

Files - 모든 문자 읽기

package cwchoiit.io.file.text;

import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;

public class ReadTextFileV1 {

    private static final String PATH = "temp/hello2.txt";

    public static void main(String[] args) throws IOException {
        String writeString = "abc\n가나다";
        System.out.println("== Write String ==");
        System.out.println(writeString);

        Path path = Path.of(PATH);

        // 파일에 쓰기
        Files.writeString(path, writeString, StandardCharsets.UTF_8);

        // 파일에서 읽기
        String readString = Files.readString(path, StandardCharsets.UTF_8);

        System.out.println("== Read String ==");
        System.out.println(readString);
    }
}

실행 결과

== Write String == 
abc
가나다
== Read String == 
abc
가나다
  • Files.writeString(): 파일에 쓰기
  • Files.readString(): 파일에서 모든 문자 읽기

Files를 사용하면 아주 쉽게 파일에 문자를 쓰고 읽을 수 있다.

 

Files - 라인 단위로 읽기

package cwchoiit.io.file.text;

import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.List;
import java.util.stream.Stream;

public class ReadTextFileV2 {

    private static final String PATH = "temp/hello2.txt";

    public static void main(String[] args) throws IOException {
        String writeString = "abc\n가나다";
        System.out.println("== Write String ==");
        System.out.println(writeString);

        Path path = Path.of(PATH);

        // 파일에 쓰기
        Files.writeString(path, writeString, StandardCharsets.UTF_8);

        // 파일에서 읽기 (라인별)
        List<String> lines = Files.readAllLines(path, StandardCharsets.UTF_8);
        System.out.println("== Read String ==");
        for (int i = 0; i < lines.size(); i++) {
            System.out.println((i + 1) + ": " + lines.get(i));
        }
    }
}

실행 결과

== Write String == 
abc
가나다
== Read String == 
1: abc
2: 가나다
  • Files.readAllLines(path) → 파일을 한번에 다 읽고, 라인 단위로 List에 나누어 저장하고 반환한다.

근데 이런 경우, 모든 라인을 일단 다 읽어서 리스트에 저장하기 때문에 파일이 엄청 크면 메모리를 매우 많이 차지하거나, 아예 OOM이 터질수도 있다. 그래서 파일을 한 줄 단위로 나누어 읽고, 메모리 사용량을 줄이고 싶다면 다음 기능을 사용하면 된다. 다만, 이 기능을 제대로 이해하려면, 람다와 스트림을 알아야 한다. 

// 파일에서 읽기 (라인별 - 스트림)
try (Stream<String> lines = Files.lines(path, StandardCharsets.UTF_8)) {
    lines.forEach(System.out::println);
}
  • 파일을 스트림 단위로 나누어 조회한다. (I/O 스트림이 아니라, 람다와 스트림에서 사용하는 스트림이다)
  • 파일이 아주 크다면 한 번에 모든 파일을 다 메모리에 올리는 것보다, 파일을 부분 부분 나누어 메모리에 올리는 것이 더 나은 선택일 수 있다. 
  • 예를 들어, 파일의 크기가 1000MB라면 한번에 1000MB의 파일이 메모리에 불러진다. 앞서, Files.readAllLines의 경우, List에 1000MB의 파일이 모두 올라간다.
  • 이 기능을 사용하면 파일을 한 줄 단위로 메모리에 올릴 수 있다. 한 줄 당 1MB의 용량을 사용한다면 자바는 파일에서 한번에 1MB의 데이터만 메모리에 올려 처리한다. 그리고 처리가 끝나면 다음 줄을 호출하고, 기존에 사용한 1MB의 데이터는 GC한다.
  • 용량이 아주 큰 파일을 처리해야 한다면, 이런 방식으로 나누어 처리하는 것이 효과적이다.
  • 참고로 용량이 너무 커서 자바 메모리에 한번에 불러오는 것이 불가능할 수 있다. 그때는 이런 방식으로 처리해야만 한다.
  • 물론, BufferedReader를 통해서도 한 줄 단위로 이렇게 나누어 처리하는 것이 가능하다. 여기서 핵심은 매우 편리하게 문자를 나누어 처리하는 것이 가능하다는 점이다.

 

파일 복사 최적화

이번에는 파일을 복사하는 효율적인 방법에 대해 알아보자. 예제를 위해서 200MB 임시 파일을 하나 만들어보자.

package cwchoiit.io.file.copy;

import java.io.FileOutputStream;
import java.io.IOException;

public class CreateCopyFile {

    private static final int FILE_SIZE = 200 * 1024 * 1024; // 200MB

    public static void main(String[] args) throws IOException {
        String fileName = "temp/copy.dat";
        long startTime = System.currentTimeMillis();

        FileOutputStream fos = new FileOutputStream(fileName);
        byte[] bytes = new byte[FILE_SIZE];
        fos.write(bytes);
        fos.close();

        long endTime = System.currentTimeMillis();

        System.out.println("File created: " + fileName);
        System.out.println("File size: " + FILE_SIZE / 1024 / 1024 + "MB");
        System.out.println("Time taken: " + (endTime - startTime) + "ms");
    }
}

실행 결과

File created: temp/copy.dat
File size: 200MB
Time taken: 69ms

 

이렇게 만들어진 파일을 다른 파일로 복사하는 여러 가지 방법을 알아보자. 그리고 가장 효율적인 방법을 알아보자.

 

파일 복사 예제1

package cwchoiit.io.file.copy;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;

public class FileCopyMainV1 {
    public static void main(String[] args) throws IOException {
        long startTime = System.currentTimeMillis();
        FileInputStream fis = new FileInputStream("temp/copy.dat");
        FileOutputStream fos = new FileOutputStream("temp/copy_new.dat");

        byte[] bytes = fis.readAllBytes();
        fos.write(bytes);

        fos.close();
        fis.close();
        long endTime = System.currentTimeMillis();

        System.out.println("Time taken : " + (endTime - startTime) + " ms");
    }
}

실행 결과

Time taken: 109ms
  • FileInputStream에서 readAllBytes를 통해, 한번에 모든 데이터를 읽고 write(bytes)를 통해 한번에 모든 데이터를 저장한다.
  • 파일(copy.dat) → 자바(byte) → 파일(copy_new.dat)의 과정을 거친다.
  • 자바가 copy.dat 파일의 데이터를 자바 프로세스가 사용하는 메모리에 불러온다. 그리고 메모리에 있는 데이터를 copy_new.dat에 전달한다.

파일 복사 예제2

package cwchoiit.io.file.copy;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;

public class FileCopyMainV2 {
    public static void main(String[] args) throws IOException {
        long startTime = System.currentTimeMillis();
        FileInputStream fis = new FileInputStream("temp/copy.dat");
        FileOutputStream fos = new FileOutputStream("temp/copy_new.dat");

        fis.transferTo(fos);

        fos.close();
        fis.close();
        long endTime = System.currentTimeMillis();

        System.out.println("Time taken : " + (endTime - startTime) + " ms");
    }
}

실행 결과

Time taken: 70ms
  • InputStream에는 transferTo()라는 특별한 메서드가 있다 (자바 9부터 제공)
  • 이 메서드는 InputStream에서 읽은 데이터를 바로 OutputStream으로 출력한다.
  • transferTo()는 성능 최적화가 되어 있기 때문에, 앞의 예제와 비슷하거나 조금 더 빠르다.
  • 파일(copy.dat) → 자바(byte) → 파일(copy_new.dat)의 과정을 거친다.
  • transferTo() 덕분에 파일을 읽고 바이트로 변환한 값을 다시 파일에 쓰는 코드를 생략할 수 있다.

파일 복사 예제3

package cwchoiit.io.file.copy;

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.StandardCopyOption;

public class FileCopyMainV3 {
    public static void main(String[] args) throws IOException {
        long startTime = System.currentTimeMillis();

        Path source = Path.of("temp/copy.dat");
        Path target = Path.of("temp/copy_new.dat");

        Files.copy(source, target, StandardCopyOption.REPLACE_EXISTING);

        long endTime = System.currentTimeMillis();
        System.out.println("Time taken : " + (endTime - startTime) + " ms");
    }
}

실행 결과

Time taken: 37ms
  • Files.copy() → 앞의 예제들은 파일을 복사할 때 다음 과정을 거쳤다.
    • 파일(copy.dat) → 자바(byte) → 파일(copy_new.dat)의 과정을 거친다.
  • 이 과정들은 파일의 데이터를 자바로 불러오고, 또 자바에서 읽은 데이터를 다시 파일에 전달해야 한다.
  • Files.copy()는 자바에서 파일 데이터를 불러오지 않고, 운영체제의 파일 복사 기능을 사용한다. 따라서 자바로 데이터를 불러오는 과정이 필요가 없다. 그러므로 가장 빠르다.

 

정리를 하자면

파일을 다루어야 할 일이 있다면 항상 Files의 기능을 먼저 찾아보자. 파일을 읽거나 쓸 때도 스트림 대신 매우 편리하게 읽고 쓸 수 있고, 생성이나 복사 등 여러 방면에서 좋은 점이 많다. File은 예전 방식이고 이제는 먼저 고려할건 Files다.

728x90
반응형
LIST

'JAVA의 가장 기본이 되는 내용' 카테고리의 다른 글

IO 활용  (2) 2024.10.13
IO 기본 2  (0) 2024.10.11
IO 기본 1  (0) 2024.10.11
문자 인코딩  (0) 2024.10.07
멀티스레드 Part.13 Executor 프레임워크 2  (0) 2024.07.30
728x90
반응형
SMALL

참고자료

 

김영한의 실전 자바 - 고급 2편, I/O, 네트워크, 리플렉션 강의 | 김영한 - 인프런

김영한 | I/O, 네트워크, 리플렉션, 애노테이션을 기초부터 실무 레벨까지 깊이있게 학습합니다. 웹 애플리케이션 서버(WAS)를 자바로 직접 만들어봅니다., 국내 개발 분야 누적 수강생 1위, 제대로

www.inflearn.com

 

이전 포스팅에서 여러가지 스트림을 배워봤다. 그리고 마지막 즈음에 말했던 DataStream은 파일에 자바 타입 그대로를 저장할 수 있는 꽤나 신기하지만? 어디에 이게 활용이 될까?싶은 스트림이 있었다. 이 포스팅에서는 이 녀석의 활용처를 알아보고자 한다.

 

일단 그러기에 앞서, 예제를 만들고 왜 이걸 사용하면 좋은지를 먼저 알아보자.

 

회원 관리 예제1 - 메모리

I/O를 사용해서 회원 데이터를 관리하는 예제를 만들어보자.

 

요구사항

  • 회원 관리 프로그램을 작성해라.
  • 회원의 속성은 다음과 같다
    • ID
    • Name
    • Age
  • 회원을 등록하고, 등록한 회원의 목록을 조회할 수 있어야 한다.

 

프로그램 작동 예시

1.회원 등록 | 2.회원 목록 조회 | 3.종료 
선택: 1
ID 입력: id1
Name 입력: name1
Age 입력: 20
회원이 성공적으로 등록되었습니다.

1.회원 등록 | 2.회원 목록 조회 | 3.종료 
선택: 1
ID 입력: id2
Name 입력: name2
Age 입력: 30
회원이 성공적으로 등록되었습니다.

1.회원 등록 | 2.회원 목록 조회 | 3.종료 
선택: 2
회원 목록:
[ID: id1, Name: name1, Age: 20] 
[ID: id2, Name: name2, Age: 30]

1.회원 등록 | 2.회원 목록 조회 | 3.종료 
선택: 3
프로그램을 종료합니다.

 

Member

package cwchoiit.io.member;

public class Member {
    private String id;
    private String name;
    private Integer age;

    public Member() {
    }

    public Member(String id, String name, Integer age) {
        this.id = id;
        this.name = name;
        this.age = age;
    }

    public String getId() {
        return id;
    }

    public void setId(String id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public Integer getAge() {
        return age;
    }

    public void setAge(Integer age) {
        this.age = age;
    }

    @Override
    public String toString() {
        return "Member{" +
                "id='" + id + '\'' +
                ", name='" + name + '\'' +
                ", age=" + age +
                '}';
    }
}

 

MemberRepository

package cwchoiit.io.member;

import java.util.List;

public interface MemberRepository {
    void add(Member member);

    List<Member> findAll();
}
  • add(): 회원 객체를 저장한다.
  • findAll(): 저장한 회원 객체를 List로 모두 조회한다.
  • Repository는 저장소라는 뜻이다.

MemoryMemberRepository

package cwchoiit.io.member.impl;

import cwchoiit.io.member.Member;
import cwchoiit.io.member.MemberRepository;

import java.util.ArrayList;
import java.util.List;

public class MemoryMemberRepository implements MemberRepository {

    private final List<Member> members = new ArrayList<>();

    @Override
    public void add(Member member) {
        members.add(member);
    }

    @Override
    public List<Member> findAll() {
        return members;
    }
}
  • 간단하게 메모리에 회원을 저장하고 관리하자.
  • 회원을 저장하면 내부에 있는 members 리스트에 회원이 저장된다.
  • 회원을 조회하면 members 리스트가 반환된다.

MemberConsoleMain

package cwchoiit.io.member;

import cwchoiit.io.member.impl.FileMemberRepository;
import cwchoiit.io.member.impl.MemoryMemberRepository;

import java.util.List;
import java.util.Scanner;

public class MemberConsoleMain {

    // private static final MemberRepository repository = new MemoryMemberRepository();
    private static final MemberRepository repository = new FileMemberRepository();

    public static void main(String[] args) {
        Scanner scanner = new Scanner(System.in);

        while (true) {
            System.out.println("1. 회원 등록 | 2. 회원 목록 조회 | 3. 종료");
            System.out.print("선택: ");
            int choice = scanner.nextInt();
            scanner.nextLine();

            switch (choice) {
                case 1:
                    // 회원 등록
                    registerMember(scanner);
                    break;
                case 2:
                    // 회원 목록 조회
                    displayMembers();
                    break;
                case 3:
                    System.out.println("프로그램을 종료합니다.");
                    return;
                default:
                    System.out.println("잘못된 선택입니다. 다시 입력하세요.");
            }
        }
    }

    private static void registerMember(Scanner scanner) {
        System.out.print("ID 입력:");
        String id = scanner.nextLine();

        System.out.print("Name 입력:");
        String name = scanner.nextLine();

        System.out.print("Age 입력:");
        int age = scanner.nextInt();
        scanner.nextLine();

        Member member = new Member(id, name, age);
        repository.add(member);
        System.out.println("회원이 성공적으로 등록되었습니다.");
    }

    private static void displayMembers() {
        List<Member> members = repository.findAll();
        System.out.println("회원 목록");
        for (Member member : members) {
            System.out.printf("[ID: %s, Name: %s, Age: %d]\n", member.getId(), member.getName(), member.getAge());
        }
    }
}
  • 콘솔을 통해 회원 등록, 목록 조회 기능을 제공한다.

실행 결과 - 회원 등록

1.회원 등록 | 2.회원 목록 조회 | 3.종료 
선택: 1
ID 입력: id1
Name 입력: name1
Age 입력: 20
회원이 성공적으로 등록되었습니다.

 

실행 결과 - 목록 조회

1.회원 등록 | 2.회원 목록 조회 | 3.종료 
선택: 2
회원 목록:
[ID: id1, Name: name1, Age: 20]

 

실행 결과 - 종료

1.회원 등록 | 2.회원 목록 조회 | 3.종료 
선택: 3
프로그램을 종료합니다.

 

 

문제점

의도대로 잘 구현이 됐다. 그런데 이 프로그램의 문제가 있다. 어떤거냐면, 데이터를 메모리에 보관하기 때문에, 자바를 종료하면 모든 회원 종료가 사라진다. 따라서 프로그램을 다시 실행하면 모든 회원 데이터가 사라진다. 프로그램을 종료하고 다시 실행해도 회원 데이터가 영구 보존되어야 한다.

 

회원 관리 예제2 - 파일에 보관

회원 데이터를 영구 보존하려면 파일에 저장하면 된다. 다음과 같이 한 줄 단위로 회원 데이터를 파일에 저장해보자.

temp/members-txt.dat

id1,member1,20
id2,member2,30
  • 여기서는 문자를 파일에 저장한다. 문자를 다루므로 Reader, Writer를 사용하는 것이 편리하다.
  • 한 줄 단위로 처리할 때는 BufferedReader가 유용하므로, BufferedReader, BufferedWriter를 사용해보자.

FileMemberRepository

package cwchoiit.io.member.impl;

import cwchoiit.io.member.Member;
import cwchoiit.io.member.MemberRepository;

import java.io.*;
import java.util.ArrayList;
import java.util.List;

import static java.nio.charset.StandardCharsets.UTF_8;

public class FileMemberRepository implements MemberRepository {

    private static final String FILE_PATH = "temp/members-txt.dat";
    private static final String DELIMITER = ",";

    @Override
    public void add(Member member) {
        try (BufferedWriter bw = new BufferedWriter(new FileWriter(FILE_PATH, UTF_8, true))) {
            bw.write(member.getId() + DELIMITER + member.getName() + DELIMITER + member.getAge());
            bw.newLine();
        } catch (IOException e) {
            throw new RuntimeException("Fail to write member data to file.", e);
        }
    }

    @Override
    public List<Member> findAll() {
        List<Member> members = new ArrayList<>();
        try (BufferedReader br = new BufferedReader(new FileReader(FILE_PATH, UTF_8))) {
            String line;
            while ((line = br.readLine()) != null) {
                String[] memberData = line.split(DELIMITER);
                members.add(new Member(memberData[0], memberData[1], Integer.valueOf(memberData[2])));
            }
            return members;
        } catch (FileNotFoundException e) {
            return new ArrayList<>();
        } catch (IOException e) {
            throw new RuntimeException("Fail to read member data from file.", e);
        }
    }
}
  • MemberRepository 인터페이스가 잘 정의되어 있으므로, 인터페이스를 기반으로 파일에 회원 데이터를 보관하는 구현체를 만들면 된다.
  • DELIMITER: 회원 데이터는 id1,member1,20과 같이 ,(쉼표)로 구분한다.

참고: 빈 컬렉션 반환

  • 빈 컬렉션을 반환할 때는 new ArrayList()보다는 List.of()를 사용하는 것이 좋다. 그런데, 뒤에서 사용할 ObjectStream 부분과 내용을 맞추기 위해 빈 컬렉션에 new ArrayList()를 사용했다.

회원 저장

bw.write(member.getId() + DELIMITER + member.getName() + DELIMITER + member.getAge());
bw.newLine();
  • 회원 객체의 데이터를 읽어서, String 문자로 변환한다. 여기서 write()String으로 입력받는다. 그리고 DELIMITER를 구분자로 사용한다.
  • bw.write("id1,member1,20")를 통해 저장할 문자가 전달된다.
  • 회원 데이터를 문자로 변경한 다음에 파일에 보관한 것이다.
  • 각 회원을 구분하기 위해 newLine()을 통해 다음 줄로 이동한다. 

회원 조회

  • line = br.readLine()line = "id1,member1,20"과 같이 하나의 회원 정보가 담긴 한 줄 문자가 입력된다.
  • String[] memberData = line.split(DELIMITER) → 회원 데이터를 DELIMITER 구분자로 구분해서 배열에 담는다.
  • members.add(new Member(memberData[0], memberData[1], Integer.valueOf(memberData[2])) → 파일에 읽은 데이터를 기반으로 회원 객체를 생성한다. id, nameString이기 때문에 타입이 같다. age의 경우 문자 20으로 조회했기 때문에 숫자인 Integer로 변경해야 한다.
  • FileNotFoundException e → 회원 데이터가 하나도 없을 때는 temp/members-txt.dat 파일이 존재하지 않는다. 따라서 해당 예외가 발생하기 때문에 이 경우, 회원 데이터가 하나도 없는 것으로 보고 빈 리스트를 반환한다.

try-with-resources

try-with-resources 구문을 사용해서 자동으로 자원을 정리한다. try 코드 블록이 끝나면 자동으로 close()가 호출되면서 자원을 정리한다.

try (BufferedWriter bw = new BufferedWriter(new FileWriter(FILE_PATH, UTF_8, true))) {...}
try (BufferedReader br = new BufferedReader(new FileReader(FILE_PATH, UTF_8))) {...}

 

MemberConsoleMain - FileMemberRepository 사용

package cwchoiit.io.member;

import cwchoiit.io.member.impl.FileMemberRepository;
import cwchoiit.io.member.impl.MemoryMemberRepository;

import java.util.List;
import java.util.Scanner;

public class MemberConsoleMain {

    // private static final MemberRepository repository = new MemoryMemberRepository();
    private static final MemberRepository repository = new FileMemberRepository();

    public static void main(String[] args) {
        Scanner scanner = new Scanner(System.in);

        while (true) {
            System.out.println("1. 회원 등록 | 2. 회원 목록 조회 | 3. 종료");
            System.out.print("선택: ");
            int choice = scanner.nextInt();
            scanner.nextLine();

            switch (choice) {
                case 1:
                    // 회원 등록
                    registerMember(scanner);
                    break;
                case 2:
                    // 회원 목록 조회
                    displayMembers();
                    break;
                case 3:
                    System.out.println("프로그램을 종료합니다.");
                    return;
                default:
                    System.out.println("잘못된 선택입니다. 다시 입력하세요.");
            }
        }
    }

    private static void registerMember(Scanner scanner) {
        System.out.print("ID 입력:");
        String id = scanner.nextLine();

        System.out.print("Name 입력:");
        String name = scanner.nextLine();

        System.out.print("Age 입력:");
        int age = scanner.nextInt();
        scanner.nextLine();

        Member member = new Member(id, name, age);
        repository.add(member);
        System.out.println("회원이 성공적으로 등록되었습니다.");
    }

    private static void displayMembers() {
        List<Member> members = repository.findAll();
        System.out.println("회원 목록");
        for (Member member : members) {
            System.out.printf("[ID: %s, Name: %s, Age: %d]\n", member.getId(), member.getName(), member.getAge());
        }
    }
}
  • MemoryMemberRepository 대신에 FileMemberRepository를 사용하도록 코드를 수정하자.
  • MemberRepository 인터페이스를 사용한 덕분에 구현체가 변경되더라도 클라이언트의 다른 코드들은 변경하지 않아도 된다.

실행 결과

1.회원 등록 | 2.회원 목록 조회 | 3.종료 
선택: 1
ID 입력: id1
Name 입력: name1
Age 입력: 20
회원이 성공적으로 등록되었습니다.

1.회원 등록 | 2.회원 목록 조회 | 3.종료 
선택: 1
ID 입력: id2
Name 입력: name2
Age 입력: 30
회원이 성공적으로 등록되었습니다.

1.회원 등록 | 2.회원 목록 조회 | 3.종료 
선택: 2
회원 목록:
[ID: id1, Name: name1, Age: 20]
[ID: id2, Name: name2, Age: 30]

1.회원 등록 | 2.회원 목록 조회 | 3.종료 
선택: 3
프로그램을 종료합니다.

 

결과 - temp/members-txt.dat

id1,member1,20
id2,member2,30

 

 

문제점

파일에 회원 데이터를 저장한 덕분에, 자바를 다시 실행해도 저장한 회원이 잘 조회된다. 위 문제를 해결한 것이다. 

그러나 아직도 남은 문제가 있다. 결국 파일에서 읽어오는 값은 문자열이기 때문에 멤버 객체에 나이를 저장할 때 문자를 숫자로 변환해줘야 한다. 예) Integer.valueOf(memberData[2])

 

이런 문제를 해결할 수 있는 좋은 방법은 DataStream을 사용하는 것이다.

 

회원 관리 예제3 - DataStream

앞서 배운 예시 중에 DataOutputStream, DataInputStream을 떠올려보자. 이 스트림들은 자바의 데이터 타입을 그대로 사용할 수 있다. 따라서 자바의 타입을 그대로 사용하면서 파일에 데이터를 저장하고 불러올 수 있고, 구분자도 사용하지 않아도 된다. 

DataMemberRepository

package cwchoiit.io.member.impl;

import cwchoiit.io.member.Member;
import cwchoiit.io.member.MemberRepository;

import java.io.*;
import java.util.ArrayList;
import java.util.List;

public class DataMemberRepository implements MemberRepository {

    private static final String FILE_PATH = "temp/members-data.dat";

    @Override
    public void add(Member member) {
        try (DataOutputStream dos = new DataOutputStream(new FileOutputStream(FILE_PATH, true))) {
            dos.writeUTF(member.getId());
            dos.writeUTF(member.getName());
            dos.writeInt(member.getAge());
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }

    @Override
    public List<Member> findAll() {
        List<Member> members = new ArrayList<>();
        try (DataInputStream dis = new DataInputStream(new FileInputStream(FILE_PATH))) {
            while (dis.available() > 0) {
                Member member = new Member(dis.readUTF(), dis.readUTF(), dis.readInt());
                members.add(member);
            }
            return members;
        } catch (FileNotFoundException e) {
            return new ArrayList<>();
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }
}

 

회원 저장

dos.writeUTF(member.getId());
dos.writeUTF(member.getName());
dos.writeInt(member.getAge());
  • 회원을 저장할 때는 회원 필드의 타입에 맞는 메서드를 호출하면 된다.
  • 이전 예제에서는 각 회원을 한 줄 단위로 구분했는데, 여기서는 그런 구분이 필요없다.

회원 조회

Member member = new Member(dis.readUTF(), dis.readUTF(), dis.readInt());
  • 회원 데이터를 조회할 때는 회원 필드의 각 타입에 맞는 메서드를 사용해서 조회하면 된다.

 

MemberConsoleMain 수정 - DataMemberRepository 사용

public class MemberConsoleMain {

    // private static final MemberRepository repository = new MemoryMemberRepository();
    // private static final MemberRepository repository = new FileMemberRepository();
    private static final MemberRepository repository = new DataMemberRepository();
    ...
}

 

실행 결과는 파일이 잘 보관되고, 파일에는 문자와 byte가 섞여있다. 그래서 파일을 사람이 직접 읽기는 힘들지만, 자바에서 데이터를 타입에 맞게 가져오기엔 아주 최적화되어 있다. 

 

DataStream 원리

근데 궁금하다. 어떤 원리로 구분자나 한 줄 라인 없이 데이터를 저장하고 조회할 수 있을까? 

예를 들어 이렇게 우리가 회원을 저장했다.

dos.writeUTF(member.getId()); // id1
dos.writeUTF(member.getName()); // member1

 

그럼 분명 파일에는 `id1member1` 이렇게 저장이 될텐데, 어떻게 이후에 readUTF()를 호출하면 딱 id1이라는 3글자만 정확히 가져올 수 있을까? 사실은 writeUTF()는 UTF-8 형식으로 문자를 저장하는데, 저장할 때 2byte를 추가로 사용해서 앞에 글자의 길이를 저장해둔다. 그래서 실제로는 이렇게 저장이 된다.

3id1 (2byte(문자 길이) + 3byte(실제 문자 데이터))
  • 따라서, readUTF()로 읽어들일 때 먼저 앞의 2byte로 글자의 길이를 확인하고 해당 길이만큼 글자를 읽어들인다.
  • 이 경우 2byte를 사용해서 3이라는 문자의 길이를 숫자로 보관하고, 나머지 3byte로 실제 문자 데이터를 보관한다. 

기타 타입

dos.writeInt(20);
dis.readInt();
  • 자바의 int(Integer)4byte를 사용하기 때문에, 4byte를 사용해서 파일을 저장하고, 읽을 때도 4byte를 읽어서 복원한다.

 

저장 예시

dos.writeUTF("id1");
dos.writeUTF("name1");
dos.writeInt(20);
dos.writeUTF("id2");
dos.writeUTF("name2");
dos.writeInt(30);

저장된 파일 예시

3id1 (2byte(문자 길이) + 3byte) 
5name1 (2byte(문자 길이) + 5byte) 
20 (4byte)
3id2 (2byte(문자 길이) + 3byte) 
5name2 (2byte(문자 길이) + 5byte)
30 (4byte)
  • 이해를 돕기 위해 각 필드를 엔터로 구분했지만, 실제로는 엔터 없이 한 줄로 연결되어 있다. 
  • 저장된 파일은 실제로는 문자와 byte가 섞여있다.

정리

DataStream덕분에 자바의 타입도 그대로 사용하고, 구분자도 제거할 수 있었다. 추가로 모든 데이터를 문자로 저장할 때보다 저장 용량도 더 최적화할 수 있다. 예를 들어, 숫자 1,000,000,000(10억)을 문자로 저장하게 되면 총 10byte가 사용된다. 왜냐하면 숫자 하나하나를 문자로 저장해야 하기 때문에 ASCII 인코딩을 해도 각각 1byte가 사용된다. 하지만 이것을 자바의 int와 같이 4byte를 사용해서 저장한다면 4byte만 사용하게 된다. 여기서는 writeInt()를 사용하면 4byte를 사용해서 저장한다. 물론 이렇게 byte를 직접 저장하면, 문서 파일을 열어서 확인하고 수정하는 것이 어렵다는 단점도 있지만, 이러한 장점도 있다.

 

문제점

DataStream 덕분에 회원 데이터를 더 편리하게 저장할 수 있는것은 맞지만, 회원의 필드를 하나하나 다 조회해서 각 타입에 맞도록 따로따로 저장해야 한다. 이건 회원 객체를 저장한다기 보다는 회원 데이터 하나하나를 분류해서 따로 저장한 것이다.

dos.writeUTF(member.getId());
dos.writeUTF(member.getName());
dos.writeInt(member.getAge());

 

다시 처음으로 돌아와서 회원 객체를 자바 컬렉션에 저장하는 예를 보자.

MemoryMemberRepository

package cwchoiit.io.member.impl;

import cwchoiit.io.member.Member;
import cwchoiit.io.member.MemberRepository;

import java.util.ArrayList;
import java.util.List;

public class MemoryMemberRepository implements MemberRepository {

    private final List<Member> members = new ArrayList<>();

    @Override
    public void add(Member member) {
        members.add(member);
    }

    @Override
    public List<Member> findAll() {
        return members;
    }
}

자바 컬렉션에 회원 객체를 저장할 때는 복잡하게 회원의 필드를 하나하나 꺼내서 저장할 필요가 없었다. 단순하게 회원 객체를 그대로 자바 컬렉션에 보관하면 된다. 조회할 때도 마찬가지다. 이렇게 편리하게 회원 객체를 저장할 수 있는 방법은 없을까?

 

회원 관리 예제4 - ObjectStream

회원 인스턴스도 생각해보면 메모리 어딘가에 보관되어 있다. 이렇게 메모리에 보관되어 있는 객체를 읽어서 파일에 저장하기만 하면 아주 간단하게 회원 인스턴스를 저장할 수 있을 것 같다. ObjectStream을 사용하면 이렇게 메모리에 보관되어 있는 회원 인스턴스를 파일에 편리하게 저장할 수 있다. 마치 자바 컬렉션에 회원 객체를 보관하듯 말이다.

 

객체 직렬화

자바 객체 직렬화(Serialization)는 메모리에 있는 객체 인스턴스를 바이트 스트림으로 변환하여 파일에 저장하거나 네트워크를 통해 전송할 수 있도록 하는 기능이다. 이 과정에서 객체의 상태를 유지하여 나중에 역직렬화(Deserialization)를 통해 원래의 객체로 복원할 수 있다. 객체 직렬화를 사용하려면 직렬화하려는 클래스는 반드시 Serializable 인터페이스를 구현해야 한다.

package java.io;

public interface Serializable {
}
  • 이 인터페이스는 아무런 기능이 없다. 단지 직렬화 가능한 클래스라는 것을 표시하기 위한 인터페이스일 뿐이다. 
  • 메서드 없이 단지 표시가 목적인 인터페이스를 마커 인터페이스라 한다.

Member - Serializable 추가

public class Member implements Serializable {
    private String id;
    private String name;
    private Integer age;

    public Member() {
    }

    public Member(String id, String name, Integer age) {
        this.id = id;
        this.name = name;
        this.age = age;
    }
	
    ...
}
  • Member 클래스에 Serializable을 구현했다.
  • 이제 이 클래스의 인스턴스는 직렬화될 수 있다.

만약, 해당 인터페이스가 없는 객체를 직렬화하면 다음과 같은 예외가 발생한다.

java.io.NotSerializableException: io.member.Member

 

ObjectMemberRepository

package cwchoiit.io.member.impl;

import cwchoiit.io.member.Member;
import cwchoiit.io.member.MemberRepository;

import java.io.*;
import java.util.ArrayList;
import java.util.List;

public class ObjectMemberRepository implements MemberRepository {

    private static final String FILE_PATH = "temp/members-obj.dat";

    @Override
    public void add(Member member) {
        List<Member> members = findAll();
        members.add(member);

        try (ObjectOutputStream oos = new ObjectOutputStream(new FileOutputStream(FILE_PATH))) {
            oos.writeObject(members);
        } catch (IOException e) {
            throw new RuntimeException(e);
        }

    }

    @Override
    public List<Member> findAll() {
        try (ObjectInputStream ois = new ObjectInputStream(new FileInputStream(FILE_PATH))) {
            Object findObject = ois.readObject();
            return (List<Member>) findObject;
        } catch (FileNotFoundException e) {
            return new ArrayList<>();
        } catch (IOException | ClassNotFoundException e) {
            throw new RuntimeException(e);
        }
    }
}
  • ObjectOutputStream을 사용하면, 객체 인스턴스를 직렬화해서 byte로 변경할 수 있다.
  • 우리는 회원 객체 하나가 아니라 회원 목록 전체를 파일에 저장해야 하므로, members 컬렉션을 직렬화해야 한다. 
  • oos.writeObject(members)를 호출하면 members 컬렉션과 그 안에 포함된 Member를 모두 직렬화해서 byte로 변경한다. 그리고 oos와 연결되어 있는 FileOutputStream에 결과를 출력한다. 
  • 참고로, ArrayListjava.io.Serializable을 구현하고 있어서 직렬화할 수 있다.
  • ObjectInputStream을 사용하면, byte를 역직렬화해서 객체 인스턴스로 만들 수 있다. ois.readObject()를 사용하면 역직렬화가 된다. 이때 반환 타입이 Object이므로 캐스팅해서 사용해야 한다. 
  • 그리고, 파일이 없는 경우 FileNotFoundException이 발생하기 때문에 빈 배열을 반환해줘야 하는데 이 경우 List.of()가 더 효율이 좋다. Immutable이기 때문에 ArrayList와 달리 가변 메모리를 사용하지 않기 때문에 메모리 최적화가 가능하기 때문이다. 그러나 여기서는 new ArrayList<>();를 반환했다. 그 이유는 add() 메서드에서 findAll()을 통해 빈 배열을 받은 경우든 아니든 새로운 멤버를 추가해줘야 하는데 Immutable이면 리스트에 요소를 추가할 수 없기 때문이다. 

MemberConsoleMain 수정 - ObjectMemberRepository 사용

public class MemberConsoleMain {

    // private static final MemberRepository repository = new MemoryMemberRepository();
    // private static final MemberRepository repository = new FileMemberRepository();
    // private static final MemberRepository repository = new DataMemberRepository();
    private static final MemberRepository repository = new ObjectMemberRepository();
    
    ...
    
}

 

실행 결과 - temp/members-obj.dat

파일이 정상 보관된다. 문자와 byte가 섞여 있다.

 

 

정리

객체 직렬화 덕분에 객체를 매우 편리하게 저장하고 불러올 수 있었다. 객체 직렬화를 사용하면 객체를 바이트로 변환할 수 있어, 모든 종류의 스트림에 전달할 수 있다. 이는 파일에 저장하는 것은 물론, 네트워크를 통해 객체를 전송하는 것도 가능하게 한다. 이러한 특성 때문에 초기에는 분산 시스템에서 활용되었다. 그러나 객체 직렬화는 1990년대에 등장한 기술로, 초창기에는 인기가 있었지만 시간이 지나면서 여러 단점이 드러났다. 또한 대안 기술이 등장하면서 점점 그 사용이 줄어들게 되었다. 현재는 객체 직렬화를 거의 사용하지 않는다. 

 

그래서, 결국 지금까지의 흐름을 살펴보면, 처음에는 스트림을 사용해서 문자를 바이트로 변환해서 파일에 저장했고, 그 과정에서 파일에 있는 데이터를 문자로 변환했을 때 객체로 변환하려면 타입을 변환해주어야 하고 구분자를 통해 각 필드를 뽑아내야 하는 번거로움이 있었다. 그래서 FileWriter, FileReader의 불편함을 극복하고자, DataStream을 사용하게 됐다. 이 스트림은 자바의 데이터 타입을 그대로 사용해서 파일에 저장할 수 있었다. 그래서 파일의 데이터를 읽어올 때 그 데이터 타입 그대로로 가져오기 때문에 형변환과 같은 작업이나 구분자가 따로 필요하지 않아 더 편리했지만, 객체를 저장하는 느낌이 아니라 객체의 각각 필드를 하나씩 나누어 저장하는 느낌이 강했다. 그래서 이것을 해결하고자 ObjectStream을 사용하게 됐다. 객체 인스턴스 그 자체를 바이트로 변환할 수 있게 직렬화 가능한 객체로 변환하고 그 오브젝트를 그대로 바이트로 변환해서 파일에 집어넣을 수 있었다. 

 

 

 

그런데, 위에서 직렬화는 이제 거의 사용하지 않는다고 했는데 그 이유는 무엇이고 그럼 어떤 방식을 사용할까?

XML, JSON, 데이터베이스

회원 객체와 같은 구조화 된 데이터를 컴퓨터 간에 서로 주고 받을 때 사용하는 데이터 형식이 어떻게 발전해왔는지 알아보자.

객체 직렬화의 한계

  • 버전 관리의 어려움: 클래스 구조가 변경되면 이전에 직렬화된 객체와의 호환성 문제가 발생한다.
  • 플랫폼 종속성: 자바 직렬화는 자바 플랫폼에 종속적이어서, 다른 언어나 시스템과의 상호 운용성이 떨어진다.
  • 성능 이슈: 직렬화/역직렬화 과정이 상대적으로 느리고 리소스를 많이 사용한다. 

 

객체 직렬화 대안1 - XML

<member>
    <id>id1</id>
    <name>name1</name>
    <age>20</age>
</member>

플랫폼 종속성 문제를 해결하기 위해 2000년대 초반에 XML이라는 기술이 인기를 끌었다. 하지만 XML은 매우 유연하고 강력했어도 복잡성무거움이라는 문제가 있었다. 태그를 포함한 XML 문서의 크기가 커서 네트워크 전송 비용도 증가했다.

 

객체 직렬화 대안2 - JSON

{ "member": { "id": "id1", "name": "name1", "age": 20 } }

JSON은 가볍고 간결하며, 자바스크립트와의 자연스러운 호환성 때문에 웹 개발자들 사이에서 빠르게 확산되었다. 2000년대 후반, 웹 API와 Restful 서비스가 대중화되면서 JSON은 표준 데이터 교환 포맷으로 자리잡았다. XML이 특정 영역에서 여전히 사용되고는 있으나, JSON이 현대 소프트웨어 개발의 주류로 자리 잡았다. 지금은 웹 환경에서 데이터를 교환할 때 JSON이 사실상 표준이다.

 

데이터베이스

앞서 설명한 것처럼 회원 객체같은 구조화된 데이터를 주고받을 때는 JSON 형식을 주로 사용한다. 그러나 어떤 형식이든 데이터를 저장할 때, 파일에 데이터를 직접 저장하는 방식은 몇가지 큰 한계가 있다.

  • 첫째, 데이터의 무결성을 보장하기 어렵다. → 여러 사용자가 동시에 파일을 수정하거나 접근하려고 할 때, 데이터의 충돌이나 손상 가능성이 높아진다. 이러한 경우, 데이터의 일관성을 유지하는 것이 매우 어렵다.
  • 둘째, 데이터 검색과 관리의 비효율성이다. → 파일에 저장된 데이터는 특정 형식 없이 단순히 저장될 수 있기 때문에, 필요한 데이터를 빠르게 찾는데 많은 시간이 소요될 수 있다. 특히 데이터의 양이 방대해질수록 검색 속도는 급격히 저하된다.
  • 셋째, 보안 문제이다. → 파일 기반 시스템에서는 민감한 데이터를 안전하게 보호하기 위한 접근 제어와 암호화등이 충분히 구현되어 있지 않을 수 있다. 결과적으로 데이터의 유출이나 무단 접근의 위험이 커질 수 있다.
  • 넷째, 대규모 데이터의 효율적인 백업과 복구가 필요하다.

이러한 문제점들을 하나하나 해결하면서 발전한 서버 프로그램이 바로 데이터베이스이다.

 

728x90
반응형
LIST

'JAVA의 가장 기본이 되는 내용' 카테고리의 다른 글

File, Files  (0) 2024.10.14
IO 기본 2  (0) 2024.10.11
IO 기본 1  (0) 2024.10.11
문자 인코딩  (0) 2024.10.07
멀티스레드 Part.13 Executor 프레임워크 2  (0) 2024.07.30
728x90
반응형
SMALL

참고자료

 

김영한의 실전 자바 - 고급 2편, I/O, 네트워크, 리플렉션 강의 | 김영한 - 인프런

김영한 | I/O, 네트워크, 리플렉션, 애노테이션을 기초부터 실무 레벨까지 깊이있게 학습합니다. 웹 애플리케이션 서버(WAS)를 자바로 직접 만들어봅니다., 국내 개발 분야 누적 수강생 1위, 제대로

www.inflearn.com

 

문자 다루기1 - 시작

스트림의 모든 데이터는 byte 단위를 사용한다. 따라서 byte가 아닌 문자를 스트림에 직접 전달할 수는 없다. 예를 들어서, String 문자를 스트림을 통해 파일에 저장하려면 Stringbyte로 변환한 다음에 저장해야 한다.

 

이번 예제에서 공통으로 다룰 상수를 먼저 만들자.

package cwchoiit.io.text;

public interface TextConst {
    String FILE_NAME = "temp/hello.txt";
}

 

이제 예제를 하나씩 보자.

package cwchoiit.io.text;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.Arrays;

import static cwchoiit.io.text.TextConst.FILE_NAME;
import static java.nio.charset.StandardCharsets.UTF_8;

public class ReaderWriterMainV1 {

    public static void main(String[] args) throws IOException {

        String writeString = "ABC";

        byte[] writeBytes = writeString.getBytes(UTF_8);
        System.out.println("Write String: " + writeString);
        System.out.println("Write bytes: " + Arrays.toString(writeBytes));

        // 파일에 쓰기
        FileOutputStream fos = new FileOutputStream(FILE_NAME);
        fos.write(writeBytes);
        fos.close();

        // 파일에서 읽기
        FileInputStream fis = new FileInputStream(FILE_NAME);
        byte[] readBytes = fis.readAllBytes();
        fis.close();

        String readString = new String(readBytes, UTF_8);
        System.out.println("read bytes: " + Arrays.toString(readBytes));
        System.out.println("read String: " + readString);
    }
}

실행 결과

write String: ABC
write bytes: [65, 66, 67]
read bytes: [65, 66, 67]
read String: ABC

 

실행 결과 - hello.txt

ABC

 

byte[] writeBytes = writeString.getBytes(UTF-8)

  • Stringbyte로 변환할때는 String.getBytes(Charset)을 사용하면 된다.
  • 이때 문자를 byte 숫자로 변경해야 하기 때문에 반드시 문자 집합(인코딩 셋)을 지정해야 한다.
  • 여기서는 UTF-8로 인코딩 한다.
  • ABC를 인코딩하면 65, 66, 67이 된다.

이렇게 만든 byte[]FileOutputStreamwrite()로 전달하면 65, 66, 67을 파일에 저장할 수 있다. 결과적으로 우리가 의도한 ABC 문자를 파일에 저장할 수 있다.

 

String readString = new String(readBytes, UTF-8)

  • 반대의 경우도 비슷하다. String 객체를 생성할 때, 읽어들인 byte[]과 디코딩할 문자 집합을 전달하면 된다. 
  • 그러면 byte[]String 문자로 다시 복원할 수 있다.

여기서 핵심은 스트림은 byte만 사용할 수 있으므로, String과 같은 문자는 직접 전달할 수 없다는 점이다. 그래서 개발자가 번거롭게 다음과 같은 변환 과정을 직접 호출해주어야 한다.

  • String + 문자 집합 → byte[]
  • byte[] + 문자 집합 → String

이렇게 번거로운 변환 과정을 누군가 대신 처리해주면 더 편리하지 않을까? 우리가 이전에 배운 BufferedXxx와 같이 누군가가 이러한 변환 기능을 대신 처리해주면 좋지 안을까?

 

문자 다루기2 - 스트림을 문자로

  • OutputStreamWriter → 스트림에 byte 대신에 문자를 저장할 수 있게 지원한다.
  • InputStreamReader → 스트림에 byte 대신에 문자를 읽을 수 있게 지원한다.
package cwchoiit.io.text;

import java.io.*;

import static cwchoiit.io.text.TextConst.FILE_NAME;
import static java.nio.charset.StandardCharsets.UTF_8;

public class ReaderWriterMainV2 {
    public static void main(String[] args) throws IOException {
        String writeString = "ABC";
        System.out.println("writeString = " + writeString);

        // 파일에 쓰기
        FileOutputStream fos = new FileOutputStream(FILE_NAME);
        OutputStreamWriter osw = new OutputStreamWriter(fos, UTF_8);

        osw.write(writeString);
        osw.close();

        // 파일에서 읽기
        FileInputStream fis = new FileInputStream(FILE_NAME);
        InputStreamReader isr = new InputStreamReader(fis, UTF_8);

        StringBuilder sb = new StringBuilder();
        int ch;
        while ((ch = isr.read()) != -1) {
            sb.append((char) ch);
        }
        isr.close();

        System.out.println("sb = " + sb);
    }
}

실행 결과

write String: ABC
read String: ABC

 

OutputStreamWriter

  • OutputStreamWriter는 문자를 입력 받고, 받은 문자를 내부적으로 인코딩해서 byte[]로 변환한다.
  • OutputStreamWriter는 변환한 byte[]을 전달할 OutputStream과 인코딩 문자 집합에 대한 정보가 필요하다. 따라서 두 정보를 생성자를 통해 전달해야 한다. 예) new OutputStreamWriter(fos, UTF_8)
  • osw.write(writeString)를 보면 String 문자를 직접 전달하는 것을 확인할 수 있다.
  • 그림을 보면 OutputStreamWriter가 문자 인코딩을 통해 byte[]로 변환하고, 변환 결과를 FileOutputStream에 전달하는 것을 확인할 수 있다.

InputStreamReader

  • 데이터를 읽을 때는 int ch = read()를 제공하는데, 여기서는 문자 하나인 char 형으로 데이터를 받게 된다. 그런데 실제 반환 타입은 int형이므로 char형으로 캐스팅해서 사용하면 된다.
  • 자바의 char 형은 파일의 끝인 -1을 표현할 수 없으므로, 대신 int를 반환한다.
  • 그림을 보면 데이터를 읽을 때 FileInputStream에서 byte[]을 읽은 것을 확인할 수 있다.
  • InputStreamReader는 이렇게 읽은 byte[]을 문자인 char로 변경해서 반환한다. 물론 byte를 문자로 변경할 때도 문자 집합이 필요하다. 그래서 생성자로 문자를 읽을, InputStream과 디코딩 문자 집합에 대한 정보가 필요하다. 예) new InputStreamReader(fis, UTF_8)

 

OutputStreamWriter, InputStreamReader 덕분에 매우 편리하게 문자를 byte[]로 변경하고, 그 반대도 가능하다. 덕분에 개발자는 쉽게 String 문자를 파일에 저장할 수 있다. 앞서 우리가 스트림을 배울 때 분명 byte 단위로 데이터를 읽고 쓰는 것을 확인했다. write()의 경우에도 byte 단위로 데이터를 읽고 썼다. 최상위 부모인 OutputStream의 경우 분명 write()byte 단위로 입력하도록 되어 있다. 그런데 OutputStreamWriterwrite()byte가 아니라 String이나 char를 사용한다. 어떻게 된 것일까?

 

항상 기억해야 할 대원칙은 결국 문자든, 파일이든, 네트워크든 컴퓨터는 무조건 byte 단위로 데이터를 읽고 쓴다는 것이다. 컴퓨터는 절대 문자 자체를 파일에 바로 쓰고 읽지 못한다. 언제나 컴퓨터가 읽을 수 있는 byte 단위로 변환한 후 파일에 쓰고, 반대도 파일에서 읽으면 그 값을 byte 단위로 변환해야 한다. 그리고 이때 변환을 위한 문자 집합이 필요한 것이다.

 

문자 다루기3 - Reader, Writer

자바는 byte를 다루는 I/O 클래스와 문자를 다루는 I/O 클래스를 둘로 나누어두었다. 이게 바로 위에서 제시한 의문의 해소점이다. OutputStreamWriter, InputStreamReaderbyte 단위를 사용하지 않고, String이나 char를 다루고 있다.

 

byte를 다루는 클래스

 

문자를 다루는 클래스

  • byte를 다루는 클래스는 OutputStream, InputStream의 자식이다.
    • 부모 클래스의 기본 기능도 byte 단위를 다룬다.
    • 클래스 이름 마지막에 보통 OutputSream, InputStream이 붙어있다. 
  • 문자를 다루는 클래스는 Writer, Reader의 자식이다.
    • 부모 클래스의 기본 기능은 String, char 같은 문자를 다룬다.
    • 클래스 이름 마지막에 보통 Writer, Reader가 붙어있다.

우리가 방금 본 OutputStreamWriter는 바로 문자를 다루는 Writer 클래스의 자식이다. 그래서 write(String)이 가능한 것이다. OutputStreamWriter는 문자를 받아서 byte로 변경한 다음에 byte를 다루는 OutputStream으로 데이터를 전달했던 것이다. (당연한 거지만)

 

다시 말하지만, 꼭 기억해야 할 대원칙은, 모든 데이터는 byte 단위(숫자)로 저장된다. 따라서 Writer가 아무리 문자를 다룬다고 해도 문자를 바로 저장할 수는 없다. 이 클래스에 문자를 전달하면 결과적으로 내부에서는 지정된 문자 집합을 사용해서 문자를 byte로 인코딩해서 저장한다.

 

 

 

그리고, 이 OutputStreamWriter, InputStreamReader를 파일 대상으로 하는 편리한 클래스가 있다. 바로 FileWriter, FileReader. 왜 만들어졌냐? 자주 사용하니까.

 

FileWriter, FileReader

Writer, Reader를 사용하는 아주 대표적인 예시다.

package cwchoiit.io.text;

import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;

import static cwchoiit.io.text.TextConst.FILE_NAME;
import static java.nio.charset.StandardCharsets.UTF_8;

public class ReaderWriterMainV3 {

    public static void main(String[] args) throws IOException {
        String writeString = "ABC";
        System.out.println("writeString = " + writeString);

        FileWriter fw = new FileWriter(FILE_NAME, UTF_8);
        fw.write(writeString);
        fw.close();

        StringBuilder sb = new StringBuilder();
        FileReader fr = new FileReader(FILE_NAME, UTF_8);
        int ch;
        while ((ch = fr.read()) != -1) {
            sb.append((char) ch);
        }
        fr.close();
        System.out.println("sb = " + sb);
    }
}

실행 결과

writeString = ABC
sb = ABC
  • new FileWriter(FILE_NAME, UTF_8) 
    • FileWriter에 파일명과 문자 집합(인코딩 셋)을 전달한다.
    • FileWriter는 사실 내부에서 스스로 FileOutputStream을 하나 생성해서 사용한다.
    • 모든 데이터는 byte 단위로 저장된다는 사실을 다시 떠올려보자.

  • fw.write(writeString)
    • 이  메서드를 사용하면, 문자를 파일에 직접 쓸 수 있다. (물론 내부적으로는 byte로 변환하는 과정이 당연히 있다)
    • 이렇게 문자를 쓰면 FileWriter 내부에서는 인코딩 셋을 사용해서 문자를 byte로 변경하고, FileOutputStream을 사용해서 파일에 저장한다. 
    • 개발자가 느끼기에는 문자를 직접 파일에 쓰는것처럼 느껴지지만, 실제로는 내부에서 문자를 byte로 변환한다. 사실 이게 포인트다. 사용하는 사람은 편하게 사용하면 된다.
  • new FileReader(FILE_NAME, UTF_8)
    • 앞서 설명한 FileWriter와 같은 방식으로 작동한다.
    • 내부에서 FileInputSream을 생성해서 사용한다. 

  • ch = fr.read()
    • 데이터를 읽을 때도, 내부에서는 FileInputStream을 사용해서 데이터를 byte 단위로 읽어들인다. 그리고 문자 집합을 사용해서 byte[]char로 디코딩한다. 

 

FileWriter와 OutputStreamWriter

FileWriter 코드와 앞서 작성한, OutputStreamWriter를 사용한 코드가 뭔가 비슷하다는 점을 알 수 있다. 딱 하나 차이점이 있다면 이전 코드에서는 FileOutputStream을 직접 생성했는데, FileWriter는 생성자 내부에서 대신 FileOutputStream을 생성해준다. 사실 FileWriterOutputStreamWriter를 상속한다. 그리고 다른 추가 기능도 없다. 딱 하나, 생성자에서 개발자 대신에 FileOutputStream을 생성해주는 일만 대신 처리해준다.  따라서 FileWriterOutputStreamWriter를 조금 더 편리하게 사용하도록 도와줄 뿐이다. 물론 FileReader도 마찬가지다.

 

정리

Writer, Reader 클래스를 사용하면 바이트 변환 없이 문자를 직접 다룰 수 있어서 편리하다. 하지만 실제로는 내부에서 byte로 변환해서 저장한다는 점을 꼭 기억하자. 모든 데이터는 바이트 단위로 다룬다! 문자를 직접 저장할 수는 없다! 그리고 반드시 기억하자. 문자를 byte로 변경하려면 항상 문자 집합(인코딩 셋)이 필요하다. 참고로, 문자 집합을 생략하면 시스템 기본 문자 집합이 사용된다.

 

 

문자 다루기4 - BufferedReader

BufferedOutputStream, BufferedInputStream과 같이 Reader, Writer에도 버퍼 보조 기능을 제공하는 BufferedReader, BufferedWriter 클래스가 있다.

 

추가로 문자를 다룰 때는 한 줄(라인)단위로 다룰 때가 많다. BufferedReader는 한 줄 단위로 문자를 읽는 기능도 추가로 제공한다.

package cwchoiit.io.text;

import java.io.*;

import static cwchoiit.io.text.TextConst.BUFFER_SIZE;
import static cwchoiit.io.text.TextConst.FILE_NAME;
import static java.nio.charset.StandardCharsets.UTF_8;

public class ReaderWriterMainV4 {

    public static void main(String[] args) throws IOException {
        String writeString = "ABC\n가나다";
        System.out.println("== Write String ==");
        System.out.println(writeString);

        FileWriter fw = new FileWriter(FILE_NAME, UTF_8);
        BufferedWriter bw = new BufferedWriter(fw, BUFFER_SIZE);
        bw.write(writeString);
        bw.close();

        StringBuilder sb = new StringBuilder();
        FileReader fr = new FileReader(FILE_NAME, UTF_8);
        BufferedReader br = new BufferedReader(fr, BUFFER_SIZE);

        String line;
        while ((line = br.readLine()) != null) {
            sb.append(line).append("\n");
        }
        br.close();
        System.out.println("== Read String ==");
        System.out.println(sb);
    }
}

실행 결과

== Write String == 
ABC
가나다
== Read String == 
ABC
가나다
  • br.readLine()
    • 한 줄 단위로 문자를 읽고 String을 반환한다.
    • 파일의 끝(EOF)에 도달하면 반환 타입이 String이기 때문에 -1을 반환할 수 없다. -1이 아니라 null을 반환한다. 

 

기타 스트림

지금까지 설명한 스트림 외에 수 많은 스트림들이 있다. 몇가지 유용한 부가 기능을 제공하는 PrintStream, DataOutputStream 보조 스트림을 알아보자.

 

PrintStream

PrintStream은 우리가 자주 사용해왔던 바로 System.out에서 사용되는 스트림이다. PrintStreamFileOutputStream을 조합하면 마치 콘솔에 출력하듯이 파일에 출력할 수 있다.

package cwchoiit.io.streams;

import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.PrintStream;

public class PrintStreamEtcMain {
    public static void main(String[] args) throws FileNotFoundException {

        FileOutputStream fos = new FileOutputStream("temp/print.txt");
        PrintStream printStream = new PrintStream(fos);

        printStream.println("Hello World!");
        printStream.println(123);
        printStream.println(true);
        printStream.printf("hello %s", "world!");
        printStream.close();
    }
}

실행 결과 - temp/print.txt

hello java!
10
true
hello world

 

  • PrintStream의 생성자에 FileOutputStream을 전달했다. 이제 이 스트림을 통해서 나가는 출력은 파일에 저장된다. 이 기능을 사용하면 마치 콘솔에 출력하는 것처럼 파일이나 다른 스트림에 문자를 출력할 수 있다.

 

DataOutputStream

DataOutputStream을 사용하면 자바의 String, int, double, boolean과 같은 데이터 형을 편리하게 다룰 수 있다. 이 스트림과 FileOutputStream을 조합하면 파일에 자바 데이터 형을 편리하게 저장할 수 있다.

 

package cwchoiit.io.streams;

import java.io.*;

public class DataStreamEtcMain {
    public static void main(String[] args) throws IOException {
        FileOutputStream fos = new FileOutputStream("temp/data.dat");
        DataOutputStream dos = new DataOutputStream(fos);

        dos.writeUTF("회원A");
        dos.writeInt(20);
        dos.writeDouble(30.5);
        dos.writeBoolean(true);
        dos.close();

        FileInputStream fis = new FileInputStream("temp/data.dat");
        DataInputStream dis = new DataInputStream(fis);
        System.out.println(dis.readUTF());
        System.out.println(dis.readInt());
        System.out.println(dis.readDouble());
        System.out.println(dis.readBoolean());
        dis.close();
    }
}

실행 결과

회원A 
20
10.5
true
  • 예제를 보면, 자바 데이터 타입을 사용하면서, 회원 데이터를 편리하게 저장하고 불러오는 것을 확인할 수 있다. 이 스트림을 사용할 때 주의할 점으로는 꼭! 지정한 순서대로 읽어야 한다는 것이다. 그렇지 않으면 잘못된 데이터가 조회될 수 있다. 저장한 data.dat 파일을 직접 열어보면 제대로 보이지 않는다. 왜냐하면 writeUTF()의 경우 UTF-8 형식으로 저장하지만, 나머지의 경우 문자가 아니라 각 타입에 맞는 byte 단위로 저장하기 때문이다. 예를 들어 자바에서는 int4byte를 묶어서 사용한다. 해당 byte가 그대로 저장되는 것이다. 텍스트 편집기는 자신의 문자 집합을 사용해서 byte를 문자로 표현하려고 시도하지만, 문자 집합에 없는 단어이거나 또는 전혀 예상하지 않은 문자로 디코딩 될 것이다.

 

정리를 하자면

스트림은 크게 기본 스트림보조 스트림으로 나눌 수 있다.

  • 기본 스트림
    • File, 메모리, 콘솔등에 직접 접근하는 스트림
    • 단독으로 사용할 수 있다. 
    • 예) FileInputStream, FileOutputStream, FileReader, FileWriter, ByteArrayInputStream, ByteArrayOutputStream
  • 보조 스트림
    • 기본 스트림을 도와주는 스트림
    • 단독으로 사용할 수 없고, 반드시 대상 스트림이 있어야 한다.
    • 예) BufferedInputStream, BufferedOutputStream, InputStreamReader, OutputStreamReader, DataOutputStream, DataInputStream, PrintStream

 

그리고 가장 중요한 건 역시나, 모든 데이터는 byte 단위로 저장되고 읽는다는 점이다. 이게 가장 핵심이다.

728x90
반응형
LIST

'JAVA의 가장 기본이 되는 내용' 카테고리의 다른 글

File, Files  (0) 2024.10.14
IO 활용  (2) 2024.10.13
IO 기본 1  (0) 2024.10.11
문자 인코딩  (0) 2024.10.07
멀티스레드 Part.13 Executor 프레임워크 2  (0) 2024.07.30
728x90
반응형
SMALL

참고자료

 

김영한의 실전 자바 - 고급 2편, I/O, 네트워크, 리플렉션 강의 | 김영한 - 인프런

김영한 | I/O, 네트워크, 리플렉션, 애노테이션을 기초부터 실무 레벨까지 깊이있게 학습합니다. 웹 애플리케이션 서버(WAS)를 자바로 직접 만들어봅니다., 국내 개발 분야 누적 수강생 1위, 제대로

www.inflearn.com

 

Stream 시작

 

자바가 가진 데이터를 `hello.dat`라는 파일에 저장하려면 어떻게 해야할까?

자바 프로세스가 가지고 있는 데이터를 밖으로 보내려면 출력 스트림을 사용하면 되고, 반대로 외부 데이터를 자바 프로세스 안으로 가져오려면 입력 스트림을 사용하면 된다. 참고로 각 스트림은 단방향으로만 흐른다.

 

예제 코드를 통해 확인해보자.

package cwchoiit.io.start;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;

public class StreamStartMain1 {

    public static void main(String[] args) throws IOException {
        FileOutputStream fos = new FileOutputStream("temp/hello.dat");

        fos.write(65);
        fos.write(66);
        fos.write(67);
        fos.close();

        FileInputStream fis = new FileInputStream("temp/hello.dat");
        System.out.println(fis.read());
        System.out.println(fis.read());
        System.out.println(fis.read());
        System.out.println(fis.read());
    }
}
  • 실행전에, 프로젝트 루트 경로에 `temp`라는 폴더 하나를 만들어야 한다!
  • new FileOutputStream("temp/hello.dat") → 파일에 데이터를 출력하는 스트림이다. 파일이 없으면 자동으로 파일을 만들고, 데이터를 해당 파일에 저장한다. 폴더는 만들지 않기 때문에 폴더는 미리 만들어 두어야 한다.
  • write() → byte 단위로 값을 출력한다. 여기서는 65, 66, 67을 출력했다. 참고로 ASCII 코드 집합에서 65는 'A', 66은 'B', 67은 'C"이다. 
  • new FileInputStream("temp/hello.dat") → 파일에서 데이터를 읽어오는 스트림이다.
  • read() → 파일에서 데이터를 byte 단위로 하나씩 읽어온다. 순서대로 65, 66, 67을 읽어온다. 파일의 끝에 도달해서 더는 읽을 내용이 없다면 -1을 반환한다. (파일의 끝, EOF, End of File)
  • close() → 파일에 접근하는 것은 자바 입장에서 외부 자원을 사용하는 것이다. 자바에서 내부 객체는 자동으로 GC가 되지만, 외부 자원은 사용 후 반드시 닫아주어야 한다.

실행 결과

65
66
67
-1
  • 입력한 순서대로 잘 출력되는 것을 확인할 수 있다. 마지막은 파일의 끝에 도달해서 -1이 출력된다.

실행 결과 - temp/hello.dat

ABC
  • `hello.dat`에 분명 byte로 65, 66, 67을 저장했다. 그런데 왜 개발툴이나 텍스트 편집에서 열어보면 ABC라고 보이는 것일까?
  • 앞서 자바에서 read()로 읽어서 출력한 경우에는 65, 66, 67이 정상 출력되었다.
  • 우리가 사용하는 개발툴이나 텍스트 편집기는 UTF-8 또는 MS949 문자 집합을 사용해서 byte 단위의 데이터를 문자로 디코딩해서 보여준다. 따라서 65, 66, 67이라는 byte를 ASCII 문자인 A, B, C로 인식해서 출력한 것이다.

 

참고: 파일 append 옵션

FileOutputStream의 생성자에는 append라는 옵션이 있다.

  • true → 기존 파일의 끝에 이어서 쓴다.
  • false → 기존 파일의 데이터를 지우고 처음부터 다시 쓴다 (기본값)

 

파일의 데이터를 읽을 때, 파일 끝까지 읽어야 한다면 다음과 같이 반복문을 사용하면 된다.

package cwchoiit.io.start;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;

public class StreamStartMain2 {

    public static void main(String[] args) throws IOException {
        FileOutputStream fos = new FileOutputStream("temp/hello.dat");

        fos.write(65);
        fos.write(66);
        fos.write(67);
        fos.close();

        FileInputStream fis = new FileInputStream("temp/hello.dat");

        int data;
        while ((data = fis.read())!= -1) {
            System.out.println(data);
        }
        fis.close();
    }
}
  • 입력 스트림의 read()메서드는 파일의 끝에 도달하면 -1을 반환한다. 따라서 -1을 반환할 때 까지 반복문을 사용하면 파일의 데이터를 모두 읽을 수 있다.

실행 결과

65
66
67

 

 

한번에 읽어들이기

이번에는 byte를 하나씩 다루는 것이 아니라, byte[]을 사용해서 데이터를 원하는 크기만큼 더 편리하게 저장하고 읽는 방법을 알아보자.

package cwchoiit.io.start;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.Arrays;

public class StreamStartMain3 {
    public static void main(String[] args) throws IOException {
        FileOutputStream fos = new FileOutputStream("temp/hello.dat");
        byte[] input = {65, 66, 67};
        fos.write(input);
        fos.close();

        FileInputStream fis = new FileInputStream("temp/hello.dat");
        byte[] buffer = new byte[10];
        int readCount = fis.read(buffer, 0, 10);
        System.out.println("readCount = " + readCount);
        System.out.println(Arrays.toString(buffer));
        fis.close();
    }
}

 

실행 결과

readCount = 3
[65, 66, 67, 0, 0, 0, 0, 0, 0, 0]
  • 출력 스트림
    • write(byte[]): byte[]에 원하는 데이터를 담고, write()에 전달하면 해당 데이터를 한번에 출력할 수 있다.
  • 입력 스트림
    • read(byte[], offset, length): byte[]을 미리 만들어두고, 만들어둔 byte[]에 한번에 데이터를 읽어올 수 있다.
    • byte[]: 데이터가 읽혀지는 버퍼
    • offset: 데이터 기록되는 byte[]의 인덱스 시작 위치
    • length: 읽어올 byte의 최대 길이
    • 반환값: 버퍼에 읽은 총 바이트 수 여기서는 3byte를 읽었으므로 3이 반환된다. 스트림의 끝에 도달하여 더이상 데이터가 없는 경우 -1을 반환
참고로, read(byte[])처럼 offset, length를 생략한 메서드도 있다. 이 메서드는 다음값을 가진다. offset(0), length(byte[].length).

 

모든 byte 한번에 읽기

package cwchoiit.io.start;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.Arrays;

public class StreamStartMain4 {
    public static void main(String[] args) throws IOException {
        FileOutputStream fos = new FileOutputStream("temp/hello.dat");
        byte[] input = {65, 66, 67};
        fos.write(input);
        fos.close();

        FileInputStream fis = new FileInputStream("temp/hello.dat");
        byte[] readBytes = fis.readAllBytes();

        System.out.println(Arrays.toString(readBytes));
        fis.close();
    }
}
  • readAllBytes()를 사용하면, 스트림이 끝날때까지(파일의 끝에 도달할 때까지)모든 데이터를 한번에 읽어올 수 있다.

실행 결과

[65, 66, 67]

 

그럼 이 두가지 방법 중 뭐가 더 좋나요?
- read(byte[], offset, length) → 스트림의 내용을 부분적으로 읽거나, 읽은 내용을 처리하면서 스트림을 계속해서 읽어야 할 경우에 적합하다. 또한, 메모리 사용량을 제어할 수 있기 때문에 너무너무 큰 파일같은 경우 이 방식이 더 적합할 수 있다. 예를 들어, 1TB 파일이 있다고 극단적으로 생각해보면, 이걸 한번에 읽어서 자바 메모리에 올리는 순간 OOM이 터질수도 있다. 

- readAllBytes() → 한번의 호출로 모든 데이터를 읽을 수 있어서 편리하다. 작은 파일이나 메모리에 모든 내용을 올려서 처리해야 하는 경우에 적합하다. 대신 메모리 사용량을 제어할 수 없기 때문에 큰 파일의 경우 OOM이 발생할 수도 있다.

결론적으로, 상황에 따라 적절한 것을 사용하면 된다.

 

 

InputStream, OutputStream

 

현대의 컴퓨터는 대부분 byte 단위로 데이터를 주고 받는다. 참고로 bit 단위는 너무 작기 때문에 byte 단위를 기본으로 사용한다. 이렇게 데이터를 주고 받는 것을 Input/Output(I/O)라고 한다. 자바 내부에 있는 데이터를 외부에 있는 파일에 저장하거나, 네트워크를 통해 전송하거나 콘솔에 출력할 때 모두 byte 단위로 데이터를 주고 받는다. 만약, 파일, 네트워크, 콘솔 각각 데이터를 주고 받는 방식이 다르다면 상당히 불편할 것이다. 또한 파일에 저장하던 내용을 네트워크에 전달하거나 콘솔에 출력하도록 변경할 때 너무 많은 코드를 변경해야 할 수 있다. 이런 문제를 해결하기 위해 자바는 InputStream, OutputStream 이라는 기본 추상 클래스를 제공한다.

 

 

  • InputStream과 상속 클래스
  • read(), read(byte[]), readAllBytes() 제공

  • OutputStream과 상속 클래스
  • write(int), write(byte[]) 제공

 

스트림을 사용하면, 파일을 사용하든, 소켓을 통해 네트워크를 사용하든, 모두 일관된 방식으로 데이터를 주고 받을 수 있다. 그리고 수많은 기본 구현 클래스들도 제공한다. 물론 각각의 구현 클래스들은 자신에게 맞는 추가 기능도 함께 제공한다. 파일에 사용하는 FileInputStream, FileOutputStream은 앞서 알아보았다. 네트워크 관련 스트림은 이후에 네트워클르 다룰 때 알아보자. 여기서는 메모리와 콘솔에 사용하는 스트림을 사용해보자.

 

메모리 스트림

package cwchoiit.io.start;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.util.Arrays;

public class ByteArrayStreamMain {
    public static void main(String[] args) throws IOException {
        byte[] input = {65, 66, 67};

        // 메모리에 쓰기
        ByteArrayOutputStream bos = new ByteArrayOutputStream();
        bos.write(input);

        // 메모리에서 읽기
        ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bos.toByteArray());
        byte[] bytes = byteArrayInputStream.readAllBytes();
        System.out.println("bytes = " + Arrays.toString(bytes));
    }
}

실행 결과

bytes = [65, 66, 67]

ByteArrayOutputStream, ByteArrayInputStream을 사용하면 메모리에 스트림을 쓰고 읽을 수 있다. 이 클래스들은 OutputStream, InputStream을 상속받았기 때문에 부모의 기능을 모두 사용할 수 있다. 코드를 보면 파일 입출력과 매우 비슷한 것을 확인할 수 있다. 참고로 메모리에 어떤 데이터를 저장하고 읽을 때는 컬렉션이나 배열을 사용하면 되기 때문에, 이 기능은 잘 사용하지 않는다. 주로 스트림을 간단하게 테스트 하거나, 스트림의 데이터를 확인하는 용도로 사용한다.

 

콘솔 스트림

package cwchoiit.io.start;

import java.io.IOException;
import java.io.PrintStream;

import static java.nio.charset.StandardCharsets.UTF_8;

public class PrintStreamMain {
    public static void main(String[] args) throws IOException {
        PrintStream printStream = System.out;

        byte[] bytes = "Hello\n".getBytes(UTF_8);
        printStream.write(bytes);

        printStream.println("Hello, World!");
    }
}

실행 결과

Hello
Hello, World!
  • 우리가 자주 사용했던 System.out이 사실은 PrintStream이다. 이 스트림은 OutputStream을 상속받는다. 이 스트림은 자바가 시작될 때 자동으로 만들어진다. 따라서 우리가 직접 생성하지 않는다. 
  • write(byte[]): OutputStream 부모 클래스가 제공하는 기능이다.
  • println(String): PrintStream이 자체적으로 제공하는 추가 기능이다. 

 

정리

InputStreamOutputStream이 다양한 스트림들을 추상화하고, 기본 기능에 대한 표준을 잡아둔 덕분에 개발자는 편리하게 입출력 작업을 수행할 수 있다. 이러한 추상화의 장점은 다음과 같다.

  • 일관성: 모든 종류의 입출력 작업에 대해 동일한 인터페이스(여기서는 부모의 메서드)를 사용할 수 있어, 코드의 일관성이 유지된다.
  • 유연성: 실제 데이터 소스나 목적지가 무엇인지에 관계없이 동일한 방식으로 코드를 작성할 수 있다. 예를 들어, 파일, 네트워크, 메모리 등 다양한 소스에 대해 동일한 메서드를 사용할 수 있다.
  • 확장성: 새로운 유형의 입출력 스트림을 쉽게 추가할 수 있다.
  • 재사용성: 다양한 스트림 클래스들을 조합하여 복잡한 입출력 작업을 수행할 수 있다. 예를 들어, BufferedInputStream을 사용하여 성능을 향상시키거나, DataInputStream을 사용하여 기본 데이터 타입을 쉽게 읽을 수 있다. 이 부분은 뒤에서 설명한다.
  • 에러처리: 표준화된 예외 매커니즘을 통해 일관된 방식으로 오류를 처리할 수 있다. 
참고로, InputStream, OutputStream은 추상 클래스이다. 자바 1.0부터 제공되고, 일부 작동하는 코드도 들어 있기 때문에 인터페이스가 아니라 추상 클래스로 제공된다.

 

 

파일 입출력과 성능 최적화1 - 하나씩 쓰고 읽기

파일을 효과적으로 더 빨리 읽고 쓰는 방법에 대해 알아보자. 먼저 예제에서 공통으로 사용할 상수들을 정의하자.

package cwchoiit.io.buffered;

public interface BufferedConst {
    String FILE_NAME = "temp/buffered.dat";
    int FILE_SIZE = 10 * 1024 * 1024; // 10MB
    int BUFFER_SIZE = 8 * 1024; // 8KB
}
  • FILE_NAME: temp/buffered.dat 이라는 파일을 만들 예정이다.
  • FILE_SIZE: 파일의 크기는 10MB이다.
  • BUFFER_SIZE: 뒤에서 설명한다.

 

쓰기

먼저 가장 단순한 FileOutputStreamwrite()을 사용해서 1byte씩 파일을 저장해보자.

그리고 10MB 파일을 만드는데 걸리는 시간을 확인해보자.

package cwchoiit.io.buffered;

import java.io.FileOutputStream;
import java.io.IOException;

import static cwchoiit.io.buffered.BufferedConst.FILE_NAME;
import static cwchoiit.io.buffered.BufferedConst.FILE_SIZE;

public class CreateFileV1 {
    public static void main(String[] args) throws IOException {
        FileOutputStream fos = new FileOutputStream(FILE_NAME);

        long startTime = System.currentTimeMillis();

        for (int i = 0; i < FILE_SIZE; i++) {
            fos.write(1);
        }
        fos.close();

        long endTime = System.currentTimeMillis();

        System.out.println("File created: " + FILE_NAME);
        System.out.println("File size: " + FILE_SIZE / 1024 / 1024 + " MB");
        System.out.println("Time taken: " + (endTime - startTime) + " ms");
    }
}
  • fos.write(1): 파일의 내용은 중요하지 않다. 단순히 1이라는 값을 반복하여 계속 저장한다. 한 번 호출에 1byte가 만들어진다.
  • 이 메서드를 약 1000만번 호출하면 10MB의 파일이 만들어진다.

실행 결과

File created: temp/buffered.dat
File size: 10MB
Time taken: 11092ms
  • 실행 결과를 보면 알겠지만 상당히 오랜 시간이 걸렸다.

 

읽기

package cwchoiit.io.buffered;

import java.io.FileInputStream;
import java.io.IOException;

import static cwchoiit.io.buffered.BufferedConst.FILE_NAME;

public class ReadFileV1 {
    public static void main(String[] args) throws IOException {
        FileInputStream fis = new FileInputStream(FILE_NAME);

        long startTime = System.currentTimeMillis();

        int data;
        int fileSize = 0;
        while ((data = fis.read()) != -1) {
            fileSize++;
        }
        fis.close();

        long endTime = System.currentTimeMillis();

        System.out.println("File name: " + FILE_NAME);
        System.out.println("File size: " + fileSize / 1024 / 1024 + " MB");
        System.out.println("Time taken: " + (endTime - startTime) + " ms");
    }
}
  • fis.read()를 사용해서 앞서 만든 파일에서 1byte씩 데이터를 읽는다.
  • 파일의 크기가 10MB이므로 fis.read() 메서드를 약 1000만번 호출한다. 

실행 결과

File name: temp/buffered.dat
File size: 10MB
Time taken: 5003ms
  • 실행하는데 상당히 오래걸린다.

 

정리

10MB 파일 하나를 쓰는데 11초, 읽는데 5초라는 매우 오랜 시간이 걸렸다. 이렇게 오래 걸린 이유는 자바에서 1byte씩 디스크에 데이터를 전달하기 때문이다. 디스크는 1byte의 데이터를 받아서 1byte의 데이터를 쓴다. 이 과정을 무려 1000만번 반복하는 것이다. 더 자세히 설명하자면 다음 2가지 이유로 느려진다.

 

  • write()read()를 호출할 때마다 OS의 시스템 콜을 통해 파일을 읽거나 쓰는 명령어를 전달한다. 이러한 시스템 콜은 상대적으로 무거운 작업이다.
  • HDD, SDD 같은 장치들도 하나의 데이터를 읽고 쓸 때마다 필요한 시간이 있다. HDD의 경우 더욱 느린데, 물리적으로 디스크의 회전이 필요하다.
  • 이러한 무거운 작업을 무려 1000만번 반복한다.

비유를 하자면 창고에서 마트까지 상품을 전달해야 하는데 화물차에 한번에 하나의 물건만 가지고 이동하는 것이다. 화물차가 무려 1000만번 이동을 반복해야 10MB의 파일이 만들어진다. 물론 반대로 읽어 들일 때도 마찬가지다. 

이 문제를 해결하려면 한번에 화물차에 더 많은 상품을 담아서 보내면 된다.

 

참고로, 이렇게 자바에서 운영 체제를 통해 디스크에 1byte씩 전달하면, 운영 체제나 하드웨어 레벨에서 여러가지 최적화가 발생한다. 따라서 실제로 디스크에 1byte씩 계속 쓰는 것은 아니다. 그렇다면 훨씬 더 느렸을 것이다. 하지만, 자바에서 1bytewrite()read()를 호출할 때마다 운영 체제로의 시스템 콜이 발생하고, 이 시스템 콜 자체가 상당한 오버헤드를 유발한다. 운영 체제와 하드웨어가 어느 정도 최적화를 제공하더라도, 자주 발생하는 시스템 콜로 인한 성능 저하는 피할 수 없다. 결국 자바에서 read(), write() 호출 횟수를 줄여서 시스템 콜 횟수도 줄여야 한다. 그래서 내부적으로 한번에 모아서 몇번씩 호출하기는 하지만 그럼에도 불구하고 그 횟수가 많다보니 이렇게 느리다.

 

 

파일 입출력과 성능 최적화2 - 버퍼 활용

이번에는 1byte씩 데이터를 하나씩 전달하는 것이 아니라 byte[]을 통해 배열에 담아서 한번에 여러 byte를 전달해보자.

 

쓰기

package cwchoiit.io.buffered;

import java.io.FileOutputStream;
import java.io.IOException;

import static cwchoiit.io.buffered.BufferedConst.*;

public class CreateFileV2 {
    public static void main(String[] args) throws IOException {
        FileOutputStream fos = new FileOutputStream(FILE_NAME);

        long startTime = System.currentTimeMillis();

        byte[] buffer = new byte[BUFFER_SIZE];
        int bufferIndex = 0;

        for (int i = 0; i < FILE_SIZE; i++) {
            buffer[bufferIndex++] = 1;

            if (bufferIndex == BUFFER_SIZE) {
                fos.write(buffer, 0, BUFFER_SIZE);
                bufferIndex = 0;
            }
        }

        if (bufferIndex > 0) {
            fos.write(buffer, 0, bufferIndex);
        }
        fos.close();

        long endTime = System.currentTimeMillis();

        System.out.println("File created: " + FILE_NAME);
        System.out.println("File size: " + FILE_SIZE / 1024 / 1024 + " MB");
        System.out.println("Time taken: " + (endTime - startTime) + " ms");
    }
}
  • 데이터를 먼저 buffer라는 byte[]에 담아둔다. 이렇게 데이터를 모아서 전달하거나 모아서 전달받는 용도로 사용하는 것을 버퍼라 한다.
  • 여기서는 BUFFER_SIZE만큼 모아서, write()을 호출한다. 예를 들어, BUFFER_SIZE가 10이라면, 10만큼 모이면 write()를 호출해서 10byte를 한번에 스트림에 전달한다.
  • 파일의 마지막 부분에는 얼마 남지 않았을 때 버퍼 사이즈만큼은 데이터가 없어서 bufferIndex == BUFFER_SIZE가 참을 반환하지 않지만, 어느정도는 데이터가 버퍼에 채워진 경우도 있을 수 있다. 그 경우를 생각해서 순회가 다 끝나고 bufferIndex가 0이 아닌지 체크한다.

실행 결과

File created: temp/buffered.dat
File size: 10MB
Time taken: 14ms
  • 실행 결과를 보면 이전에 걸렸던 시간보다 훨씬 빨라졌다. 거의 1000배 정도 빨라진 셈이다. 

 

그럼 여기서 질문, 지금은 버퍼 사이즈가 8KB라서 14ms 걸리면 더 키우면 키울수록 더 시간도 단축될까?

아쉽게도 그건 아니다. 왜냐하면, 직접 버퍼 사이즈를 더 늘려서 테스트 해보면 알겠지만 어느정도 크기부터는 시간이 단축되지 않고 그대로 유지된다. 그 이유는, 디스크나 파일 시스템에서 데이터를 읽고 쓰는 기본 단위가 보통 4KB 또는 8KB이기 떄문이다. 결국 버퍼에 많은 데이터를 담아서 보내도 디스크나 파일 시스템에서 해당 단위로 나누어 저장하기 때문에 효율에는 한계가 있다. 따라서 버퍼의 크기는 보통 4KB 또는 8KB 정도로 잡는것이 효율적이다.

 

 

읽기

package cwchoiit.io.buffered;

import java.io.FileInputStream;
import java.io.IOException;

import static cwchoiit.io.buffered.BufferedConst.BUFFER_SIZE;
import static cwchoiit.io.buffered.BufferedConst.FILE_NAME;

public class ReadFileV2 {
    public static void main(String[] args) throws IOException {
        FileInputStream fis = new FileInputStream(FILE_NAME);

        long startTime = System.currentTimeMillis();

        byte[] buffer = new byte[BUFFER_SIZE];
        int size;
        int fileSize = 0;
        while ((size = fis.read(buffer)) != -1) {
            fileSize += size;
        }
        fis.close();

        long endTime = System.currentTimeMillis();

        System.out.println("File name: " + FILE_NAME);
        System.out.println("File size: " + fileSize / 1024 / 1024 + " MB");
        System.out.println("Time taken: " + (endTime - startTime) + " ms");
    }
}

실행 결과

File name: temp/buffered.dat
File size: 10MB
Time taken: 5ms
  • 읽기의 경우에도 버퍼를 사용하면 약 1000배정도 성능 향상을 확인할 수 있따.

 

버퍼를 사용하면 큰 성능 향상이 있다. 그러니까 결론은 버퍼를 쓰는게 맞다. 그런데 이렇게 직접 버퍼를 만들고 관리해야 하는 번거로움이 있다. 항상 이럴땐 나대신 누가 더 좋은 것을 만들어 두었다. 그게 바로 BufferedStream인데 이 녀석을 알아보자.

 

파일 입출력과 성능 최적화3 - BufferedStream 쓰기 

BufferedOutputStream은 버퍼 기능을 내부에서 대신 처리해준다. 따라서 단순한 코드를 유지하면서 버퍼를 사용하는 이점도 함께 누릴 수 있다. BufferedOutputStream을 사용해서 코드를 작성해보자.

 

쓰기

package cwchoiit.io.buffered;

import java.io.BufferedOutputStream;
import java.io.FileOutputStream;
import java.io.IOException;

import static cwchoiit.io.buffered.BufferedConst.*;

public class CreateFileV3 {
    public static void main(String[] args) throws IOException {
        FileOutputStream fos = new FileOutputStream(FILE_NAME);
        BufferedOutputStream bos = new BufferedOutputStream(fos, BUFFER_SIZE);

        long startTime = System.currentTimeMillis();

        for (int i = 0; i < FILE_SIZE; i++) {
            bos.write(1);
        }
        bos.close();

        long endTime = System.currentTimeMillis();

        System.out.println("File created: " + FILE_NAME);
        System.out.println("File size: " + FILE_SIZE / 1024 / 1024 + " MB");
        System.out.println("Time taken: " + (endTime - startTime) + " ms");
    }
}
  • BufferedOutputStream은 내부에서 단순히 버퍼 기능만 제공한다. 따라서 반드시 대상 OutputStream이 있어야 한다. 여기서는 FileOutputStream 객체를 생성자에 전달했다. 
  • 추가로 사용할 버퍼의 크기도 함께 전달할 수 있다.
  • 코드를 보면 버퍼를 위한 byte[]을 직접 다루지 않고 매우 단순하게 BufferedOutputStream 객체를 만들어서 write()호출만 하고 있다. BufferedOutputStream 내부적으로 byte[]을 만들어주고 다뤄주고 있는 것이다.

실행 결과

File created: temp/buffered.dat
File size: 10MB
Time taken: 102ms
  • 성능이 아주 뛰어나다. 처음에 직접 1byte씩 쓰는것보다 매우 빠르다.

  • BufferedOutputStreamOutputStream을 상속받는다. 따라서 개발자 입장에서 보면 OutputStream과 같은 기능을 그대로 사용할 수 있다. 예제에서는 write()를 사용했다.

 

BufferedOutputStream 실행 순서

  • BufferedOutputStream은 내부에 byte[] buf라는 버퍼를 가지고 있다.
  • 여기서 버퍼의 크기는 3이라고 가정하겠다.
  • BufferedOutputStreamwrite(byte)를 통해, byte 하나를 전달하면 byte[] buf에 보관된다. 참고로 실제로는 write(int)이다. 근데 내부적으로 그 값을 byte로 형변환해서 buf에 보관한다. 그래서 쉽게 설명하기 위해 write(byte)로 그려두었다.

  • write(byte)를 2번 호출했다. 아직 버퍼가 가득차지 않았다.

  • write(byte)를 3번 호출하면 버퍼가 가득찬다.
  • 버퍼가 가득차면 FileOutputStream에 있는 write(byte[]) 메서드를 호출한다. 참고로 BufferedOutputStream의 생성자에서 FileOutputStream을 전달했다.
  • FileOutputStreamwrite(byte[])를 호출하면, 전달된 모든 byte[]을 시스템 콜로 OS에 전달한다.

  • 버퍼의 데이터를 모두 전달했기 때문에 버퍼의 내용을 비운다.
  • 이후에 write(byte)가 호출되면 다시 버퍼를 채우는 식으로 반복한다.

flush()

버퍼가 다 차지 않아도, 버퍼에 남아있는 데이터를 전달하려면 flush()라는 메서드를 호출할 수도 있다. 다음 예를 보자.

  • 버퍼에 2개의 데이터가 남아 있다.

  • flush() 호출
  • 버퍼에 남은 데이터를 전달

  • 데이터를 전달하고 버퍼를 비움

 

close()

만약, 버퍼에 데이터가 남아 있는 상태로 close()를 호출하면 어떻게 될까?

  • BufferedOutputStreamclose()로 닫으면 먼저 내부에서 flush()를 호출한다. 따라서 버퍼에 남아 있는 데이터를 모두 전달하고 비운다.
  • 따라서, close()를 호출해도 남은 데이터를 안전하게 저장할 수 있다.

  • 버퍼가 비워지고 나면 close()BufferedOutputStream의 자원을 정리한다.
  • 그리고 나서 다음 연결된 스트림의 close()를 호출한다. 여기서는 FileOutputStream의 자원이 정리된다.
  • 여기서 핵심은 close()를 호출하면 close()가 연쇄적으로 호출된다는 점이다. 따라서 마지막에 연결한 BufferedOutputStream만 닫아주면 된다.

주의! - 반드시 마지막에 연결한 스트림을 닫아야 한다.

  • 만약, BufferedOutputStream을 닫지 않고, FileOutputStream만 직접 닫으면 어떻게 될까?
  • 이 경우 BufferedOutputStreamflush()도 호출되지 않고, 자원도 정리되지 않는다. 따라서 남은 byte가 버퍼에 남아있게 되고, 파일에 저장되지 않는 심각한 문제가 발생한다.
  • 따라서, 지금과 같이 스트림을 연결해서 사용하는 경우에는 마지막에 연결한 스트림을 반드시 닫아주어야 한다. 마지막에 연결한 스트림만 닫아주면, 연쇄적으로 close()가 호출된다.

 

기본 스트림, 보조 스트림

FileOutputStream과 같이 단독으로 사용할 수 있는 스트림을 기본 스트림이라고 한다.

BufferedOutputStream과 같이 단독으로 사용할 수 없고, 보조 기능을 제공하는 스트림을 보조 스트림이라 한다.

 

BufferedOutputStreamFileOutputStream에 버퍼라는 보조 기능을 제공한다. BufferedOutputStream의 생성자를 보면 알겠지만, 반드시 FileOutputStream 같은 대상 OutputStream이 있어야 한다.

public BufferedOutputStream(OutputStream out) { ... }
public BufferedOutputStream(OutputStream out, int size) { ... }
  • BufferedOutputStream은 버퍼라는 보조 기능을 제공한다. 그렇다면 누구에게 보조 기능을 제공할지 대상을 반드시 전달해야 한다.

정리

  • BufferedOutputStream은 버퍼 기능을 제공하는 보조 스트림이다.
  • BufferedOutputStreamOutputStream의 자식이기 때문에 OutputStream의 기능을 그대로 사용할 수 있다. 물론 대부분의 기능은 재정의된다. write()의 경우 먼저 버퍼에 쌓도록 재정의된다.
  • 버퍼의 크기만큼 데이터를 모아서 전달하기 때문에 빠른 속도로 데이터를 처리할 수 있다.

 

파일 입출력과 성능 최적화4 - BufferedSteram 읽기

읽기

package cwchoiit.io.buffered;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.IOException;

import static cwchoiit.io.buffered.BufferedConst.BUFFER_SIZE;
import static cwchoiit.io.buffered.BufferedConst.FILE_NAME;

public class ReadFileV3 {
    public static void main(String[] args) throws IOException {
        FileInputStream fis = new FileInputStream(FILE_NAME);
        BufferedInputStream bis = new BufferedInputStream(fis, BUFFER_SIZE);

        long startTime = System.currentTimeMillis();

        int data;
        int fileSize = 0;
        while ((data = bis.read()) != -1) {
            fileSize++;
        }
        bis.close();

        long endTime = System.currentTimeMillis();

        System.out.println("File name: " + FILE_NAME);
        System.out.println("File size: " + fileSize / 1024 / 1024 + " MB");
        System.out.println("Time taken: " + (endTime - startTime) + " ms");
    }
}

실행 결과

File name: temp/buffered.dat
File size: 10MB
Time taken: 94ms
  • 1byte씩 직접 읽어들이는 것보다 훨씬 빠르다. 그런데, 쓰기도 마찬가지고 읽기도 마찬가지다. 직접 byte[]을 다루어 읽고 쓰는것보다는 조금 더 느린데 이유가 뭘까? 이후에 설명한다.

BufferedInputStream 실행순서

  • BufferedInputStreamInputStream을 상속받는다. 따라서 개발자 입장에서 보면, InputStream과 같은 기능을 그대로 사용할 수 있다. 예제에서는 read()를 사용했다.

  • read() 호출 전
  • 버퍼의 크기는 3이라고 가정

  • read()1byte만 조회한다.
  • BufferedInputStream은 먼저 버퍼를 확인한다. 버퍼에 데이터가 없으므로 데이터를 불러온다.
  • BufferedInputStreamFileInputStream에서 read(byte[])을 사용해서 버퍼의 크기가 3byte의 데이터를 불러온다.
  • 불러온 데이터를 버퍼에 보관한다.

  • 버퍼에 있는 데이터 중에 1byte를 반환한다.

  • read()를 또 호출하면 버퍼에 있는 데이터 중에 1byte를 반환한다.

  • read()를 또 호출하면 버퍼에 있는 데이터 중에 1byte를 반환한다.

  • read()를 호출하는데, 이번에는 버퍼가 비어있다.
  • FileInputStream에서 버퍼 크기만큼 조회하고 버퍼에 담아둔다.

  • 버퍼에 있는 데이터를 하나 반환한다.
  • 이런 방식을 반복한다.

정리

BufferedInputStream은 버퍼의 크기만큼 데이터를 미리 읽어서 버퍼에 보관해둔다. 따라서 read()를 통해 1byte씩 데이터를 조회해도, 성능이 최적화된다.

 

버퍼를 직접 다루는 것보다 BufferedXxx의 성능이 떨어지는 이유

  • 예제1 쓰기: 14000ms (14초)
  • 예제2 쓰기: 14ms (버퍼를 직접 다룸)
  • 예제3 쓰기: 102ms (BufferedXxx)

예제2는 버퍼를 직접 다루는 것이고, 예제3은 BufferedXxx라는 클래스가 대신 버퍼를 처리해준다. 버퍼를 사용하는 것은 같기 때문에 결과적으로 예제2와 예제3은 비슷한 성능이 나와야한다. 그런데 왜 예제2가 더 빠를까? 그것도 10배정도나? 이 이유는 바로 동기화 때문이다.

 

BufferedOutputStream.write()

@Override
public synchronized void write(int b) throws IOException {
    if (count >= buf.length) {
        flushBuffer();
    }
    buf[count++] = (byte)b;
}
  • 와우, synchronized가 걸려있다.
  • BufferedOutputStream을 포함한 BufferedXxx 클래스는 모두 동기화 처리가 되어 있다.
  • 이번 예제의 문제는 1byte씩 저장해서 총 10MB를 저장해야 하는데 이렇게 하려면 write()를 약 1000만번 호출해야 한다.
  • 결과적으로 락을 걸고 푸는 것도 1000만번 호출된다는 뜻이다.

 

BufferedXxx 클래스의 특징

BufferedXxx 클래스는 자바 초창기에 만들어진 클래스인데, 처음부터 멀티 스레드를 고려해서 만든 클래스이다. 따라서 멀티 스레드에 안전하지만 락을 걸고 푸는 동기화 코드로 인해 성능이 약간 저하될 수 있다. 하지만, 싱글 스레드 상황에서는 동기화 락이 필요하지 않기 때문에 직접 버퍼를 다룰 때와 비교해서 성능이 떨어진다. 

 

일반적인 상황이라면, 이 정도 성능은 크게 문제가 되지 않기 때문에 싱글 스레드여도 BufferedXxx를 사용하면 충분하다. 물론, 매우 큰 데이터를 다루어야 하고, 성능 최적화가 중요하다면 직접 버퍼를 다루는 방법을 고려하자. 아쉽게도 동기화 락이 없는 BufferedXxx 클래스는 없다. 꼭 필요한 상황이라면 BufferedXxx를 참고해서 동기화 락 코드를 제거한 클래스를 직접 만들어 사용하면 된다. 

 

 

파일 입출력과 성능 최적화5 - 한번에 쓰고 읽기

파일 크기가 크지 않다면, 간단하게 한번에 쓰고 읽는것도 좋은 방법이다. 이 방법은 성능은 이론적으론 가장 빠르지만, 결과적으로 메모리를 한번에 많이 사용하기 때문에 파일의 크기가 작아야 한다. 그리고 사실, 이론적으로 성능이 가장 빠르긴해도 버퍼의 크기를 지정해서 읽고 쓰는거랑 크게 차이가 없다. 위에서 이 이유도 설명했다. 바로 기본적으로 디스크나 파일 시스템이 4KB, 8KB 크기정도를 기본으로 사용하기 때문에. 

 

쓰기

package cwchoiit.io.buffered;

import java.io.FileOutputStream;
import java.io.IOException;

import static cwchoiit.io.buffered.BufferedConst.FILE_NAME;
import static cwchoiit.io.buffered.BufferedConst.FILE_SIZE;

public class CreateFileV4 {
    public static void main(String[] args) throws IOException {
        FileOutputStream fos = new FileOutputStream(FILE_NAME);

        long startTime = System.currentTimeMillis();
        byte[] buffer = new byte[FILE_SIZE];

        for (int i = 0; i < FILE_SIZE; i++) {
            buffer[i] = 1;
        }
        fos.write(buffer);
        fos.close();

        long endTime = System.currentTimeMillis();

        System.out.println("File created: " + FILE_NAME);
        System.out.println("File size: " + FILE_SIZE / 1024 / 1024 + " MB");
        System.out.println("Time taken: " + (endTime - startTime) + " ms");
    }
}

실행 결과

File created: temp/buffered.dat
File size: 10MB
Time taken: 15ms
  • 실행 시간은 8KB의 버퍼를 직접 사용한 예제2와 오차 범위 정도로 비슷하다. 디스크나 파일 시스템에서 데이터를 읽고 쓰는 기본 단위가 보통 4KB 또는 8KB이기 때문에.

 

읽기

package cwchoiit.io.buffered;

import java.io.FileInputStream;
import java.io.IOException;

import static cwchoiit.io.buffered.BufferedConst.FILE_NAME;

public class ReadFileV4 {
    public static void main(String[] args) throws IOException {
        FileInputStream fis = new FileInputStream(FILE_NAME);

        long startTime = System.currentTimeMillis();

        byte[] bytes = fis.readAllBytes();
        fis.close();

        long endTime = System.currentTimeMillis();

        System.out.println("File name: " + FILE_NAME);
        System.out.println("File size: " + bytes.length / 1024 / 1024 + " MB");
        System.out.println("Time taken: " + (endTime - startTime) + " ms");
    }
}

실행 결과

File name: temp/buffered.dat
File size: 10MB
Time taken: 3ms
  • 실행 시간은 8KB의 버퍼를 사용한 예제2와 오차 범위 정도로 비슷하다.
  • readAllBytes()를 사용하면 한번에 모든 데이터를 다 읽을 수 있다.

 

정리를 하자면

결국, 파일이나 네트워크나 콘솔 모두 대부분 byte 단위로 데이터를 주고 받는다. 이렇게 데이터를 주고 받는것을 Input/Output(I/O)라고 했다. 자바에서는 InputStream, OutputStream이라는 기본 추상 클래스를 제공해서 파일이든, 메모리든, 네트워크든, 콘솔이든 다 똑같은 방식으로 데이터를 읽고 쓸 수 있다. 그리고 읽고 쓸때 적절한 크기의 버퍼를 사용해서 읽고 쓰면 훨씬 더 효율적이고 성능이 좋아진다. 그리고 이때도 자바가 미리 만들어둔 BufferedXxx 클래스인 보조 스트림을 사용해서 간단하게 사용할 수가 있다. 다만, 이 BufferedXxx는 전부 다 멀티 스레드를 고려해서 만든 클래스이기 때문에 동기화 락을 걸고 풀고 하는 코드가 있다. 따라서, 싱글 스레드 상황에서는 성능이 직접 만든 byte[]을 사용하는것보단 떨어진다. 이 점은 상황에 맞게 적절히 판단하여 사용하면 될 것 같다.

 

 

728x90
반응형
LIST
728x90
반응형
SMALL

블로그 쓰다가 가끔 지 멋대로 . 이 찍혀서 매우 불편했다. 찾아보니 방법이 있더군.

우선, 시스템 세팅으로 들어간다.

 

들어가면, Keyboard 섹션에 위같이 키보드 입력 수정하는 버튼이 있다.

이거 비활성화 하면 된다. 휴우!

728x90
반응형
LIST

'Etc' 카테고리의 다른 글

IntelliJ IDEA Macro를 사용해 단축키로 여러 액션실행하기  (0) 2024.09.27
Zsh Option key  (0) 2024.03.22
728x90
반응형
SMALL

Spring Batch에서는 메인 로직 외에 구간 사이사이에 어떤 일을 처리하고자 할 때 Listener를 사용한다. 예를 들면, Job, Step, Chunk, ItemReader, ItemProcessor, ItemWriter의 실행 직전과 직후에 어떤 행위를 할지 정의할 수 있다.

 

Listener의 종류

  • JobExecutionListener
  • StepExecutionListener
  • ChunkListener
  • ItemReadListener
  • ItemProcessListener
  • ItemWriteListener

 

JobExecutionListener

public interface JobExecutionListener {
    default void beforeJob(JobExecution jobExecution) {
    }

    default void afterJob(JobExecution jobExecution) {
    }
}
  • Job의 실행 전에 실행하는 beforeJob.
  • Job의 실행 후에 실행하는 afterJob.
  • 두 메서드 모두 인자로 JobExecution을 넘겨준다.
  • 구현한 JobExecutionListener는 아래처럼 JobBuilder에서 Job을 만들 때 listener()에 넣어주면 된다.

 

나만의 JobListener

package cwchoiit.springbatchmaster.tasklet;

import org.springframework.batch.core.JobExecution;
import org.springframework.batch.core.JobExecutionListener;
import org.springframework.batch.item.ExecutionContext;
import org.springframework.stereotype.Component;

import java.util.HashMap;
import java.util.Map;

@Component
public class JobListener implements JobExecutionListener {

    @Override
    public void beforeJob(JobExecution jobExecution) {
        ExecutionContext executionContext = jobExecution.getExecutionContext();
        Map<String, Object> executionContextMap = new HashMap<>();
        executionContextMap.put("name", "홍길동");
        executionContextMap.put("age", 30);
        jobExecution.setExecutionContext(new ExecutionContext(executionContextMap));
    }

    @Override
    public void afterJob(JobExecution jobExecution) {
        System.out.println(jobExecution.getJobId());
    }
}

listener 등록

@Bean
public Job reserveRestaurantJob(JobRepository jobRepository,
                                JobListener jobListener,
                                Step searchAvailableKoreanRestaurantStep,
                                Step reserveRestaurantStep,
                                Step sendDepositStep) {
    return new JobBuilder("reserveRestaurantJob", jobRepository)
            .listener(jobListener)
            .start(searchAvailableKoreanRestaurantStep)
            .next(reserveRestaurantStep)
            .next(sendDepositStep)
            .build();
}

 

StepExecutionListener

public interface StepExecutionListener extends StepListener {
    default void beforeStep(StepExecution stepExecution) {
    }

    @Nullable
    default ExitStatus afterStep(StepExecution stepExecution) {
        return null;
    }
}
  • Step의 실행 전 실행하는 beforeStep
  • Step의 실행 후 실행하는 afterStep
  • 두 메서드 모두 인자로 StepExecution을 넘겨준다.
  • 구현된 StepExecutionListener는 아래처럼 StepBuilder에서 Step을 만들 때 listener()에 넣어주면 된다.

나만의 StepListener

package cwchoiit.springbatchmaster.tasklet;

import org.springframework.batch.core.ExitStatus;
import org.springframework.batch.core.StepExecution;
import org.springframework.batch.core.StepExecutionListener;
import org.springframework.stereotype.Component;

@Component
public class StepListener implements StepExecutionListener {

    @Override
    public void beforeStep(StepExecution stepExecution) {
        StepExecutionListener.super.beforeStep(stepExecution);
    }

    @Override
    public ExitStatus afterStep(StepExecution stepExecution) {
        return StepExecutionListener.super.afterStep(stepExecution);
    }
}

listener 등록

@Bean
@JobScope
public Step sampleStep(JobRepository jobRepository,
                       StepListener stepListener,
                       PlatformTransactionManager platformTransactionManager) {
    return new StepBuilder("sampleStep", jobRepository)
            .tasklet(sampleTasklet(), platformTransactionManager)
            .listener(stepListener)
            .build();
}

 

 

ChunkListener

public interface ChunkListener extends StepListener {
    String ROLLBACK_EXCEPTION_KEY = "sb_rollback_exception";

    default void beforeChunk(ChunkContext context) {
    }

    default void afterChunk(ChunkContext context) {
    }

    default void afterChunkError(ChunkContext context) {
    }
}
  • 맥락은 위 Listener들과 똑같다. 다만, 여기서는 Chunk를 했을 때 에러가 발생하면 호출되는 메서드도 있다. 

ItemReadListener

public interface ItemReadListener<T> extends StepListener {
    default void beforeRead() {
    }

    default void afterRead(T item) {
    }

    default void onReadError(Exception ex) {
    }
}
  • 마찬가지다.

ItemProcessListener

public interface ItemProcessListener<T, S> extends StepListener {
    default void beforeProcess(T item) {
    }

    default void afterProcess(T item, @Nullable S result) {
    }

    default void onProcessError(T item, Exception e) {
    }
}

ItemWriteListener

public interface ItemWriteListener<S> extends StepListener {
    default void beforeWrite(Chunk<? extends S> items) {
    }

    default void afterWrite(Chunk<? extends S> items) {
    }

    default void onWriteError(Exception exception, Chunk<? extends S> items) {
    }
}

 

 

정리를 하자면

이번 포스팅에서는, 리스너들을 알아보았다. 각 작업 전후로 어떤 행위가 필요할때, 또는 Chunk, Read, Process, Write의 경우 에러가 발생했을 때 어떤 행위가 필요하면 정의하면 좋을듯하다.

728x90
반응형
LIST

'Spring Batch' 카테고리의 다른 글

ItemWriter  (1) 2024.10.09
ItemProcessor  (2) 2024.10.09
ItemReader  (1) 2024.10.09
Chunk Processing  (5) 2024.10.09
Tasklet  (0) 2024.10.09
728x90
반응형
SMALL

Chunk Processing의 마지막 단계로 Item을 쓰는 단계이다. ItemReaderItemProcessor를 거쳐 처리된 Item을 Chunk 단위만큼 처리한 뒤 이를 ItemWriter에 전달한다. ItemWriterItem 1개가 아니라, 데이터의 묶음인 Item List를 처리한다. ItemWriter가 쓰기를 하는 대상은 그 어떤 것도 될 수 있다. 파일이나, RDBMS, NoSQL에 데이터를 쓸 수도 있고, 다른 API를 호출할 수도 있다.

@FunctionalInterface
public interface ItemWriter<T> {
    void write(@NonNull Chunk<? extends T> chunk) throws Exception;
}

 

ItemWriter 또한, Spring Batch에서 개발자들이 많이 사용할 것들을 미리 만들어 줬다. 대표적인 것들은 다음과 같다.

  • JdbcBatchItemWriter
  • JpaItemWriter

 

ItemWriterList로 처리할까?

ItemReaderread()ItemProcessorprocess()는 아래와 같이 데이터 1개를 반환한다.

O process(@NonNull I item) throws Exception;
T read() throws Exception, UnexpectedInputException, ParseException, NonTransientResourceException;

 

근데 왜 ItemWriterList로 처리할까? ItemWriter는 대부분 쓰기 작업이 일어난다. 이런 쓰기 작업을 건별로 처리하면 효율이 떨어지고 성능에 문제가 되는 경우가 많다. 예를 들어, ItemWriter에서 DatabaseINSERT를 한다고 하면, 1000개의 데이터를 한번에 저장하는 것과 개별 트랜잭션으로 1개씩 저장하는 것은 많은 성능 차이를 만든다. 그렇기 때문에 ItemWriterList로 처리한다고 보면 된다.

 

그럼에도 불구하고, 건별로 처리하고자 할 경우가 있으면 List를 받아서, 요소마다 건별로 처리하도록 구현할 수도 있다.

 

정리를 하자면

이번에는 ItemWriter에 대해 알아보았다. Chunk Processing의 마지막 단계인 ItemWriter. 다음에는 Listener라는 것을 알아보자!

728x90
반응형
LIST

'Spring Batch' 카테고리의 다른 글

Listener  (1) 2024.10.09
ItemProcessor  (2) 2024.10.09
ItemReader  (1) 2024.10.09
Chunk Processing  (5) 2024.10.09
Tasklet  (0) 2024.10.09
728x90
반응형
SMALL

ItemProcessorItemReader에서 read()로 넘겨준 데이터를 개별로 가공한다. ItemProcessor는 언제 사용할까?

  • ItemReader가 넘겨준 데이터를 가공하려고 할 때
  • 데이터를 ItemWriter로 넘길지 말지 결정할 때 (null을 반환하면, ItemWriter에 전달하지 않음)

ItemProcessor는 필수가 아니다. 필요가 없는 경우는 어떤 경우일까?

  • 정말 ItemProcessor가 필요없는 경우. 예를 들면, ItemReader가 데이터베이스에서 데이터를 읽은 뒤 수정없이 그대로 ItemWriter에서 FileWrite하는 경우에는 ItemProcessor가 굳이 필요하지 않다.
  • ItemReaderItemWriter에서 데이터를 직접 가공까지 하는 경우인데, 이 방법은 추천하지는 않지만 상황에 따라 어쩔 수 없이 ItemReader에서 read할 때, 수정한 데이터를 넘겨주는 경우도 있고, ItemWriter에서 쓰기 전 데이터를 수정해서 write하는 경우가 있다.

 

ItemProcessor는 어떻게 구현할까?

ItemProcessorprocess를 구현하면 된다. ItemProcessorInputOutput이 있고, Input을 받아서 Output으로 변환한 뒤 반환해야 한다. 이때, InputOutput의 타입은 같을 수도 있고 다를 수도 있다.

@FunctionalInterface
public interface ItemProcessor<I, O> {
    @Nullable
    O process(@NonNull I item) throws Exception;
}

 

다음은, ItemProcessor를 입맛에 맞게 구현한 코드이다.

@Bean
@StepScope
public ItemProcessor<Order, Price> findExpensivePriceProcessor(PriceRepository priceRepository) {
    return order -> {
        Price price = priceRepository.findByProductId(order.getProductId());
        if (price.amount > 1000000L) {
            return price;
        } else {
            return null;
        }
    };
}

 

 

CompositeItemProcessor

자주 사용하지는 않지만, ItemProcessor 여러개를 체인처럼 연결할 때 사용한다. read를 통해 나온 아이템은 processor1processor2를 연속적으로 통과한다.

@Bean
@StepScope
public CompositeItemProcessor compositeItemProcessor(ItemProcessor<Order, Order> findExpensivePriceProcessor,
                                                     ItemProcessor<Order, Price> priceToPointProcessor) {
    List<ItemProcessor> delegates = List.of(findExpensivePriceProcessor, priceToPointProcessor);
    CompositeItemProcessor processor = new CompositeItemProcessor<>();
    processor.setDelegates(delegates);
    return processor;
}
  • findExpensivePriceProcessor, priceToPointProcessor를 연속적으로 사용하고자 할 때 이렇게 만들 수 있다.

 

정리를 하자면

데이터를 받아 가공할 때 사용하는 ItemProcessor를 알아보았다. 이 녀석은 필수는 아니다. 데이터를 가공할 필요가 있을 때 사용하면 된다. 이제 ItemWriter를 알아보자!

728x90
반응형
LIST

'Spring Batch' 카테고리의 다른 글

Listener  (1) 2024.10.09
ItemWriter  (1) 2024.10.09
ItemReader  (1) 2024.10.09
Chunk Processing  (5) 2024.10.09
Tasklet  (0) 2024.10.09
728x90
반응형
SMALL

ItemReaderChunk Processing에서 데이터를 제공하는 인터페이스이다. ItemReader는 반드시 read 메서드를 구현해야 한다. read 메서드를 통해서, ItemProcessor 또는 ItemWriter에게 데이터를 제공한다. read 메서드가 null을 반환하면 더이상 데이터가 없고 Step을 끝내겠다고 판단한다. 그렇기 때문에 처음부터 null을 반환했다고 하더라도 에러가 나지는 않는다. 단, 데이터가 없으니 바로 Step이 종료될 것이다.

 

@FunctionalInterface
public interface ItemReader<T> {
    @Nullable
    T read() throws Exception, UnexpectedInputException, ParseException, NonTransientResourceException;
}
  • ItemReader를 보면 T 타입의 단일 데이터 1개를 반환한다. 더 이상 읽을 수 없을 때까지(null이 나올 때까지) 반복한다. 
  • ItemReader의 데이터 조회 방식은 크게 두 가지로 나눌 수 있다.
    • 정말 1개씩 데이터를 가져와서 결과로 주는 방식
    • 한번에 대량으로 가져오고 가져온 데이터에서 하나씩 빼주는 방식 (단 대량으로 가져올 때 최대 가져올 수 있는 개수는 정해져 있어야 한다)

ItemReader가 가져오는 데이터는 정말 다양하게 있을 수 있지만 대개는 File, DB 데이터 정도이다. 그래서 Spring Batch는 우리를 위해 자주 사용될 법한 ItemReader들을 미리 만들어 두었다.

 

  • FlatFileItemReader → 보통 구분자로 나누어져 있는 파일을 읽는다. 대표적인 예로 CSV 파일
  • JdbcCursorItemReader → JDBC Cursor로 조회하여, 결과를 ObjectMapping해서 넣어주는 방식
  • JdbcPagingItemReader → 페이징해서 데이터베이스에서 데이터를 가져온다.
  • JpaPagingItemReader → 위에랑 똑같은데 JPA를 사용해서 페이징해서 데이터베이스에서 데이터를 가져온다.
  • RepositoryItemReader → Repository에서 구현한 메서드의 이름을 넣는 방식이다. 그래서 해당 메서드를 통해 데이터를 가져오는 것이다. 이때 주의할 점은, Repository에서 구현한 메서드의 인자에 Pageable이 포함되어 있어서, Pagination을 지원하는 상황이어야 한다. 아래가 그 예시다.
@Repository
public interface PointRepository extends JpaRepository<Point, Long>  {
    Page<Point> findByAmountGreaterThan(Long amount, Pageable pageable);
}
@Bean
@StepScope
public RepositoryItemReader<Point> pointRepositoryItemReader(PointRepository pointRepository) {
    return new RepositoryItemReaderBuilder<Point>()
            .repository(pointRepository)
            .methodName("findByAmountGreaterThan")
            .pageSize(1000)
            .maxItemCount(1000)
            .arguments(List.of(BigInteger.valueOf(100)))
            .sorts(Collections.singletonMap("id", Sort.Direction.DESC))
            .build();
}

 

정리를 하자면

ItemReaderChunk Processing을 구현할 때 데이터를 가져오는 녀석이다. 그리고 스프링 배치는 자주 사용되는 ItemReader들을 미리 우리를 위해 구현해 두었다. 이제 ItemProcessor를 알아보자!

728x90
반응형
LIST

'Spring Batch' 카테고리의 다른 글

ItemWriter  (1) 2024.10.09
ItemProcessor  (2) 2024.10.09
Chunk Processing  (5) 2024.10.09
Tasklet  (0) 2024.10.09
Step  (2) 2024.10.09
728x90
반응형
SMALL

Chunk Processing의 필요성

Batch 프로세싱의 가장 큰 특징이 일괄 처리이면서 동시에 가장 큰 문제가 일괄 처리이다. 일괄로 한번에 데이터를 처리한다는 것은 시스템의 리소스가 한순간에 많이 필요하다는 것을 말한다.  포인트 관리 배치 프로그램이 있는데 오늘 만료 시켜야 할 포인트가 십만개라면 어떨까? 서비스가 대성공해서 백만개, 천만개라면 어떨까? 그 어떤 서버도 한번에 천만개를 처리하기 쉽지 않을 것이다. 이를 해결하기 위해서 Spring Batch에서는 Chunk라는 개념을 만들었다. Chunk는 일정 개수만큼 잘라서 처리하겠다는 의미로, Chunk Size가 1000이면 한번에 1000개씩 처리하고 완료하고 그 다음 1000개 처리하고 완료하겠다는 의미이다. 이렇게 하면 한순간에는 1000개에 해당하는 리소스만 있으면 된다. 

 

 

일반적인 Chunk 기반 Step 흐름

  • 1 → 트랜잭션 시작
  • 2 → ItemReader가 데이터 1개 제공하기
  • 3 → ItemProcessor를 통해 데이터 1개를 가공하기
  • 4 → Chunk Size만큼 데이터가 쌓일때까지 2-3번을 반복
  • 5 → ItemWriter에게 데이터 전달하기 (보통의 경우, DB에 저장)
  • 6 → 트랜잭션 종료
  • 7 → 2번이 더이상 진행할 수 없을때까지, 1-6번을 계속해서 반복

 

ChunkProcessing 구현방법

StepChunk방식으로 구현하기 위해서는 다음과 같이 <A, B>chunk(...)를 사용하면 된다.

@Bean
@JobScope
public Step saveOrderedPriceStep(JobRepository jobRepository,
                                 PlatformTransactionManager transactionManager,
                                 JpaPagingItemReader<Order> orderReader,
                                 ItemProcessor<Order, Price> orderToPriceProcessor,
                                 ItemWriter<Price> priceWriter) {
    return new StepBuilder("saveOrderedPriceStep", jobRepository)
            .<Order, Price>chunk(1000, transactionManager)
            .reader(orderReader)
            .processor(orderToPriceProcessor)
            .writer(priceWriter)
            .build();
}
  • Chunk Processing을 구현할 때는, ItemReader, ItemWriter만 필수이고 ItemProcessor는 필요없다면 없어도 된다.
  • 그리고 ItemReader<T>, ItemProcessor<T, G>, ItemWriter<T> <T,G>chunk(...) 형식이 맞아야 한다.

 

그럼 Chunk Size는 얼마가 적당할까?

정답은 없다. 업무의 종류, 코드의 로직, 환경등에 따라 다르다. Chunk Size가 너무 작으면, 일괄처리 효율이 떨어지고, 또 반대로 Chunk Size가 너무 커도 리소스 문제나 처리량의 한계 등 문제가 있을 수 있다. 적당한 크기의 사이즈를 찾는것도 Batch 성능에 큰 도움이 된다.

 

다시 보는 StepExecutionContext

StepExecutionContext를 사용하면, 1개의 Step안에서 공유하는 공간을 만들 수 있다고 했다. 즉, 1개의 Step안에 있는 ItemReader, ItemProcessor, ItemWriter가 같은 공간을 접근할 수 있다. 

 

다시 보는 PlatformTransactionManager

@EnableBatchProcessing을 달면, 기본 트랜잭션 매니저를 가져올 수 있고 이걸 StepBuilder에서 등록할 수 있다고 했다. 이 트랜잭션 매니저를 StepBuilder에서 사용하게 되면 1개 Chunk 단위로 트랜잭션이 생기게 된다. 따라서 1개 Chunk가 끝나면 일괄적으로 트랜잭션이 끝나게 되고 ItemWriter에서 저장한 모든 대상들의 CommitChunk가 끝나면 발생한다.

 

 

정리를 하자면

Chunk Processing에 대해 알아보았다. 정해진 크기만큼 쪼개서 여러번 일괄처리를 하는 방법이다. 이제는 그 방법을 사용하기 위한 ItemReader, ItemProcessor, ItemWriter에 대해 알아보자!

728x90
반응형
LIST

'Spring Batch' 카테고리의 다른 글

ItemProcessor  (2) 2024.10.09
ItemReader  (1) 2024.10.09
Tasklet  (0) 2024.10.09
Step  (2) 2024.10.09
Job  (7) 2024.10.09

+ Recent posts