[Renewal] JDBC 이해

참고자료

스프링 DB 1편 - 데이터 접근 핵심 원리 강의 | 김영한 - 인프런

 

JDBC 이해

애플리케이션을 개발할 때, 중요한 데이터는 대부분 데이터베이스에 보관한다.

 

클라이언트가 애플리케이션 서버를 통해 데이터를 저장하거나 조회하면, 애플리케이션 서버는 다음 과정을 통해서 데이터베이스를 사용한다.

• 커넥션 연결: 주로 TCP/IP를 통해 커넥션을 연결한다.
• SQL 전달: 애플리케이션 서버는 DB가 이해할 수 있는 SQL을 연결된 커넥션을 통해 DB에 전달한다.
• 결과 응답: DB는 전달된 SQL을 수행하고 그 결과를 응답한다. 애플리케이션 서버는 응답 결과를 활용한다.

 

문제는, 각각의 데이터베이스마다 커넥션을 연결하는 방법, SQL을 전달하는 방법, 그리고 결과를 응답 받는 방법이 모두 다르다는 점이다. 참고로 관계형 데이터베이스는 수십개가 있다. 여기에는 2가지 큰 문제가 있는데, 다음과 같다.

• 데이터베이스를 다른 종류의 데이터베이스로 변경하면 애플리케이션 서버에 개발된 데이터베이스 사용 코드도 함께 변경해야 한다.
• 개발자가 각각의 데이터베이스마다 커넥션 연결, SQL 전달, 그리고 그 결과를 응답 받는 방법을 새로 학습해야 한다.

이런 문제를 해결하기 위해 JDBC라는 자바 표준이 등장한다.

 

JDBC 표준 인터페이스

JDBC(Java Database Connectivity)는 자바에서 데이터베이스에 접속할 수 있도록 하는 자바 API다. JDBC는 데이터베이스에서 자료를 쿼리하거나 업데이트하는 방법을 제공한다.

대표적으로 다음 3가지 기능을 표준 인터페이스로 정의해서 제공한다.

• java.sql.Connection → 연결
• java.sql.Statement → SQL을 담은 내용
• java.sql.ResultSet → SQL 요청 응답

자바는 이렇게 표준 인터페이스를 정의해두었다. 이제부터 개발자는 이 표준 인터페이스만 사용해서 개발하면 된다. 그런데 인터페이스만 있다고해서 기능이 동작하지는 않는다. 이 JDBC 인터페이스를 각각의 DB 벤더(회사)에서 자신의 DB에 맞도록 구현해서 라이브러리로 제공하는데, 이것을 JDBC 드라이버라고 한다. 예를 들어, MySQL에 접근할 수 있는 것은 MySQL JDBC 드라이버라고 하고, OracleDB에 접근할 수 있는 것은 Oracle JDBC 드라이버라고 한다.

 

MySQL 드라이버 사용

 

Oracle 드라이버 사용

 

JDBC의 등장으로 다음 2가지 문제가 해결되었다.

• 데이터베이스를 다른 종류의 데이터베이스로 변경하면 애플리케이션 서버의 데이터베이스 사용 코드도 함께 변경해야 하는 문제를 애플리케이션 로직은 이제 JDBC 표준 인터페이스만 의존한다. 따라서 데이터베이스를 다른 종류의 데이터베이스로 변경하고 싶으면 JDBC 구현 라이브러리만 변경하면 된다. 즉, 드라이버만 변경하면 된다. 따라서 다른 종류의 데이터베이스로 변경해도 애플리케이션 서버의 사용 코드를 그대로 유지할 수 있다.
• 개발자가 각각의 데이터베이스마다 커넥션 연결, SQL 전달, 그리고 그 결과를 응답 받는 방법을 새로 학습해야 하는 문제를 JDBC 표준 인터페이스 사용법만 학습하면 된다. 한번 배워두면 수십개의 데이터베이스에 모두 동일하게 적용할 수 있다.

표준화의 한계도 있다. JDBC의 등장으로 많은 것이 편리해졌지만, 각각의 데이터베이스마다 SQL, 데이터타입 등의 일부 사용법이 다르다. 대표적으로 실무에서 기본으로 사용하는 페이징 SQL은 각각의 데이터베이스마다 사용법이 다르다. 결국 데이터베이스를 변경하면 JDBC 코드는 변경하지 않아도 되지만, SQL은 해당 데이터베이스에 맞도록 변경해야 한다. 

 

 

JDBC와 최신 데이터 접근 기술

JDBC는 1997년에 출시될 정도로 오래된 기술이고, 사용하는 방법도 복잡하다. 그래서 최근에는 JDBC를 직접 사용하기 보다는 JDBC를 편리하게 사용하는 다양한 기술들이 존재한다. 대표적으로 SQL Mapper와 ORM 기술로 나눌 수 있다.

• SQL Mapper
  • JDBC를 편리하게 사용하도록 도와준다.
  • SQL 응답 결과를 객체로 편리하게 변환해준다.
  • JDBC의 반복 코드를 제거해준다.
  • 개발자가 직접 SQL을 작성해야 한다.
  • 대표 기술로는 스프링 JdbcTemplate, MyBatis가 있다.

• ORM 기술
  • ORM은 객체를 관계형 데이터베이스 테이블과 매핑해주는 기술이다. 이 기술 덕분에 개발자는 반복적인 SQL을 직접 작성하지 않고, ORM 기술이 개발자 대신에 SQL을 동적으로 만들어 실행해준다. 추가로 각각의 데이터베이스마다 다른 SQL을 사용하는 문제도 중간에서 해결해준다. 
  • 대표 기술로는 JPA가 있다. 

 

SQL Mapper vs ORM 기술

둘 다 장단점이 있다. SQL Mapper는 SQL만 직접 작성하면 나머지 번거로운 일은 SQL Mapper가 대신 해결해준다. 그래서 SQL만 작성할 줄 알면 금방 배워서 사용할 수 있다. ORM 기술은 SQL 자체를 작성하지 않아도 되어서 개발 생산성이 매우 높아진다. 편리한 반면 쉬운 기술은 아니므로 실무에서 사용하려면 깊이있게 학습해야 한다. 

중요한 점은, 이런 기술들도 내부에서는 모두 JDBC를 사용한다. 따라서 JDBC를 직접 사용하지 않더라도, JDBC가 어떻게 동작하는지 기본원리를 알아야 한다. 그래야 해당 기술들을 더 깊이있게 이해할 수 있고, 무엇보다 문제가 발생했을 때 근본적인 문제를 찾아서 해결할 수 있다. JDBC는 자바 개발자라면 꼭 알아두어야 하는 필수 기본 기술이다.

 

데이터베이스 연결

애플리케이션과 데이터베이스를 연결해보자. 먼저, 데이터베이스는 H2 데이터베이스를 사용하기로 한다. 그러려면 H2 데이터베이스 라이브러리가 추가되어야 한다. 그리고 스프링 부트를 사용하여 테스트한다.

 

ConnectionConst

package cwchoiit.jdbc.connection;

public abstract class ConnectionConst {
    public static final String URL = "jdbc:h2:tcp://localhost/~/h2/db/jdbc";
    public static final String USERNAME = "sa";
    public static final String PASSWORD = "";
}

• 데이터베이스에 접속하는데 필요한 기본 정보를 편리하게 사용할 수 있도록 상수로 만들었다.
• 이제 JDBC를 사용해서 실제 데이터베이스에 연결하는 코드를 작성해보자.

package cwchoiit.jdbc.connection;

import lombok.extern.slf4j.Slf4j;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;

import static cwchoiit.jdbc.connection.ConnectionConst.*;

@Slf4j
public class DBConnectionUtil {

    public static Connection getConnection() {
        try {
            Connection connection = DriverManager.getConnection(URL, USERNAME, PASSWORD);
            log.info("get connection = {}, class = {}", connection, connection.getClass());
            return connection;
        } catch (SQLException e) {
            throw new RuntimeException(e);
        }
    }
}

• 데이터베이스에 연결하려면, JDBC가 제공하는 DriverManager.getConnection(...)을 사용하면 된다. 이렇게 하면 라이브러리에 있는 데이터베이스 드라이버를 찾아서 해당 드라이버가 제공하는 커넥션을 반환해준다. 여기서는 H2 데이터베이스 드라이버가 작동해서 실제 데이터베이스와 커넥션을 맺고, 그 결과를 반환해 줄 것이다.

DBConnectionUtilTests

package cwchoiit.jdbc.connection;

import lombok.extern.slf4j.Slf4j;
import org.junit.jupiter.api.Test;

import java.sql.Connection;

import static org.assertj.core.api.Assertions.assertThat;

@Slf4j
class DBConnectionUtilTests {

    @Test
    void connection() {
        Connection connection = DBConnectionUtil.getConnection();
        assertThat(connection).isNotNull();
    }
}

실행 결과

16:52:45.721 [Test worker] INFO cwchoiit.jdbc.connection.DBConnectionUtil -- get connection = conn0: url=jdbc:h2:tcp://localhost/~/h2/db/jdbc user=SA, class = class org.h2.jdbc.JdbcConnection

• 실행 결과를 보면 class=class org.h2.jdbc.JdbcConnection 부분을 확인할 수 있다. 이것이 바로 H2 데이터베이스 드라이버가 제공하는 H2 전용 커넥션이다. 물론 이 커넥션은 JDBC 표준 커넥션 인터페이스인 java.sql.Connection 인터페이스를 구현하고 있다.

 

JDBC DriverManager 연결 이해

지금까지 코드로 확인해 본 과정을 좀 더 자세히 들여다보자.

JDBC 커넥션 인터페이스와 구현

• JDBC는 java.sql.Connection 표준 커넥션 인터페이스를 정의한다.
• H2 데이터베이스 드라이버는 JDBC Connection 인터페이스를 구현한 org.h2.jdbc.JdbcConnection 구현체를 제공한다.

DriverManager 커넥션 요청 흐름

• JDBC가 제공하는 DriverManager는 라이브러리에 등록된 DB 드라이버들을 관리하고, 커넥션을 획득하는 기능을 제공한다.
• 애플리케이션 로직에서 커넥션이 필요하면 DriverManager.getConnection(...)을 호출한다.
• DriverManager는 라이브러리에 등록된 드라이버 목록을 자동으로 인식한다. 이 드라이버들에게 순서대로 다음 정보를 넘겨서 커넥션을 획득할 수 있는지 확인한다.
  • URL: jdbc:h2:tcp://localhost/~/h2/db/jdbc
  • 이름, 비밀번호 등 접속에 필요한 추가 정보
  • 여기서 각각의 드라이버는 URL 정보를 체크해서 본인이 처리할 수 있는 요청인지 확인한다. 예를 들어서 URL이 jdbc:h2로 시작하면 이것은 H2 데이터베이스에 접근하기 위한 규칙이다. 따라서 H2 드라이버는 본인이 처리할 수 있으므로 실제 데이터베이스에 연결해서 커넥션을 획득하고, 이 커넥션을 클라이언트에 반환한다. 반면에, URL이 jdbc:h2로 시작했는데 MySQL 드라이버가 먼저 실행되면 이 경우 본인이 처리할 수 없다는 결과를 반환하게 되고 다음 드라이버에게 순서가 넘어간다.
• 이렇게 찾은 커넥션 구현체가 클라이언트에 반환된다.

우리는 H2 데이터베이스 드라이버만 라이브러리에 등록했기 때문에, H2 드라이버가 제공하는 H2 커넥션을 제공받는다. 물론, 이 H2 커넥션은 JDBC가 제공하는 java.sql.Connection 인터페이스를 구현하고 있다.

 

참고: H2 데이터베이스 드라이버 라이브러리

runtimeOnly 'com.h2database:h2' //h2-x.x.xxx.jar

 

 

JDBC 개발 - 등록

이제 본격적으로 JDBC를 사용해서 애플리케이션을 개발해보자. 사실 JDBC를 직접 사용해서 개발할 일은 앞으로 없을테지만, 이것을 한번 해보는 것은 엄청 큰 의의가 있다. 결국 나중에 사용할 JPA도 JDBC를 사용하는 거고 다 이 JDBC를 내부적으로 사용하는 것이기 때문에.

 

우선, 테이블을 먼저 간단하게 만들어두자.

create table member (
  member_id varchar(10),
  money integer not null default 0,
  primary key (member_id)
);

테이블을 만들었으면 이제 시작하면 된다. 먼저 Member 클래스 하나를 만들자.

 

Member

package cwchoiit.jdbc.domain;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;

@Data
@NoArgsConstructor
@AllArgsConstructor
public class Member {
    private String memberId;
    private int money;
}

• 회원의 ID와 해당 회원이 소지한 금액을 표현하는 단순한 클래스이다. 앞서 만들어둔 member 테이블에 데이터를 저장하고 조회할 때 사용한다. 

 

가장 먼저 JDBC를 사용해서 이렇게 만든 회원 객체를 데이터베이스에 저장해보자.

MemberRepositoryV0

package cwchoiit.jdbc.repository;

import cwchoiit.jdbc.connection.DBConnectionUtil;
import cwchoiit.jdbc.domain.Member;
import lombok.extern.slf4j.Slf4j;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

/**
 * JDBC - DriverManager 사용
 */
@Slf4j
public class MemberRepositoryV0 {

    public Member save(Member member) throws SQLException {
        String sql = "INSERT INTO member (member_id, money) VALUES (?, ?)";


        try (Connection connection = getConnection();
             PreparedStatement stmt = connection.prepareStatement(sql)) {
            stmt.setString(1, member.getMemberId());
            stmt.setInt(2, member.getMoney());
            stmt.executeUpdate();
            return member;
        } catch (SQLException e) {
            log.error("DB Error", e);
            throw e;
        }
    }

    private Connection getConnection() {
        return DBConnectionUtil.getConnection();
    }
}

• 커넥션을 획득하는 메서드인 getConnection()을 먼저 보자. 이전에 만든 DBConnectionUtil의 getConnection() 메서드를 호출하는 메서드이다. 이 MemberRepositoryV0에서 여러번 사용될 예정이라 따로 메서드로 뽑았다. 내부적으로 DriverManager를 사용한다.
• save() 메서드를 살펴보자. JDBC를 사용하려면 SQL을 직접 작성해야 한다. 여기서는 데이터를 등록해야 하므로 INSERT 쿼리를 작성한다. 
• 데이터베이스에 대한 Connection과 데이터베이스에 전달할 SQL과 파라미터로 전달할 데이터를 가지고 있는 Statement는 반드시 사용한 후 반납해야 한다. 그래서 try-with-resources 구문을 사용해서 어떤일이 있어도 반납할 수 있도록 했다.
• 회원 데이터를 만들기 위해 필요한 데이터인 `member_id`와 `money`를 파라미터로 던진다. 그때, PreparedStatement의 setString(), setInt()를 사용해서 각 숫자에 맞는(물음표가 먼저 나오는 순서대로) 파라미터를 전달한다. 
• PreparedStatement는 Statement의 자식 타입인데, `?`를 통한 파라미터 바인딩을 가능하게 해준다. 참고로 SQL Injection 공격을 예방하려면 PreparedStatement를 통한 파라미터 바인딩 방식을 사용해야 한다.
• 준비된 SQL을 커넥션을 통해 실제 데이터베이스에 전달한다. 참고로 executeUpdate()는 int를 반환하는데 이 값은 영향받은 Row수를 반환한다. 

 

이제 테스트 코드를 사용해서 이 코드를 사용해보자.

MemberRepositoryV0Test

package cwchoiit.jdbc.repository;

import cwchoiit.jdbc.domain.Member;
import org.junit.jupiter.api.Test;

import java.sql.SQLException;

import static org.junit.jupiter.api.Assertions.*;

class MemberRepositoryV0Test {

    private final MemberRepositoryV0 repository = new MemberRepositoryV0();

    @Test
    void save() throws SQLException {
        Member member0 = new Member("member0", 10000);
        repository.save(member0);
    }
}

실행 결과를 확인해보면, 데이터베이스에 정상적으로 데이터가 들어간 것을 확인할 수 있을 것이다.

 

JDBC 개발 - 조회

이번에는 JDBC를 통해 이전에 저장한 데이터를 조회하는 기능을 개발해보자.

MemberRepositoryV0 - 회원 조회 추가

public Member findById(String memberId) throws SQLException {
    String sql = "SELECT * FROM member WHERE member_id = ?";

    try (Connection connection = getConnection();
         PreparedStatement stmt = connection.prepareStatement(sql)) {
        stmt.setString(1, memberId);

        try (ResultSet rs = stmt.executeQuery()) {
            if (rs.next()) {
                Member member = new Member();
                member.setMemberId(rs.getString("member_id"));
                member.setMoney(rs.getInt("money"));
                return member;
            } else {
                throw new NoSuchElementException("Member not found with id = " + memberId);
            }
        }
    } catch (SQLException e) {
        log.error("DB Error", e);
        throw e;
    }
}

• 여기서는, ResultSet이 등장했다. 조회의 경우 조회한 데이터를 보관하고 있는 녀석이 필요한데 그게 바로 이 녀석이다. 그리고 조회의 경우 executeQuery()를 사용한다. 데이터를 변경할땐 executeUpdate()를 사용했었다. 그래서 executeQuery()를 실행한 결과를 ResultSet에 담아서 반환한다. 그리고 이 녀석 역시 사용한 후엔 반납을 해야한다. 그런데, 사용하기 전에 PreparedStatement를 통해 파라미터 바인딩을 해줘야하기 때문에 같은 try-with-resources에 ResultSet을 묶을수가 없다. 그래서 내부에 한번의 try가 더 있다.
• rs.next()는 데이터베이스에 쿼리를 날려서 얻은 데이터에 대한 cursor를 다음으로 넘기는 메서드이다. 참고로 최초에는 커서가 데이터를 가리키고 있지 않기 때문에 최초에 한번은 호출을 해야 데이터를 조회할 수 있다. 아래 그림을 보자.

• 최초에는 커서가 데이터를 가리키지 않고 있다가 한번 호출을 하면 가장 처음 데이터를 가리킬 것이다. 그래서 데이터가 있다면 `true`를 반환한다. 그럼 데이터를 가져오면 된다. 
• rs.next()를 호출해서 커서가 다음 레코드로 이동했는데 데이터가 없으면 `false`를 반환한다. 
• findById() 메서드는 회원 한명을 조회한다. 따라서 조회 결과가 항상 1건이거나 0건이므로 while() 대신 if()를 사용해서 rs.next()를 호출한다. 그래서 최초에도 데이터가 없다면 이 ID를 가진 회원이 없다는 뜻이므로 NoSuchElementException을 발생시킨다.

 

테스트 코드에 이 메서드를 추가해보자!

package cwchoiit.jdbc.repository;

import cwchoiit.jdbc.domain.Member;
import lombok.extern.slf4j.Slf4j;
import org.assertj.core.api.Assertions;
import org.junit.jupiter.api.Test;

import java.sql.SQLException;

import static org.assertj.core.api.Assertions.*;
import static org.junit.jupiter.api.Assertions.*;

@Slf4j
class MemberRepositoryV0Test {

    private final MemberRepositoryV0 repository = new MemberRepositoryV0();

    @Test
    void save() throws SQLException {
        Member member = new Member("member2", 10000);
        repository.save(member);

        Member findMember = repository.findById(member.getMemberId());
        log.info("findMember = {}", findMember);

        assertThat(findMember).isEqualTo(member);
    }
}

실행 결과

13:37:46.054 [Test worker] INFO cwchoiit.jdbc.connection.DBConnectionUtil -- get connection = conn0: url=jdbc:h2:tcp://localhost/~/h2/db/jdbc user=SA, class = class org.h2.jdbc.JdbcConnection
13:37:46.060 [Test worker] INFO cwchoiit.jdbc.connection.DBConnectionUtil -- get connection = conn1: url=jdbc:h2:tcp://localhost/~/h2/db/jdbc user=SA, class = class org.h2.jdbc.JdbcConnection
13:37:46.062 [Test worker] INFO cwchoiit.jdbc.repository.MemberRepositoryV0Test -- findMember = Member(memberId=member2, money=10000)

• 테스트는 정상적으로 통과한다.
• 로그를 보면, 두개의 커넥션을 얻고 있음을 알 수 있다. 한번은 save(), 한번은 findById().
• 이러니까 커넥션 반납은 필수이고 굉장히 중요한 것이다. 커넥션은 한정적이라 계속 물고 있으면 고갈된다. 

JDBC 개발 - 수정, 삭제

수정과 삭제는 등록과 비슷하다. 등록, 수정, 삭제처럼 데이터를 변경하는 쿼리는 executeUpdate()를 사용하면 된다.

public void update(String memberId, int money) throws SQLException {
    String sql = "UPDATE member SET money = ? WHERE member_id = ?";
    try (Connection connection = getConnection();
         PreparedStatement stmt = connection.prepareStatement(sql)) {

        stmt.setInt(1, money);
        stmt.setString(2, memberId);
        int resultSize = stmt.executeUpdate();
        log.info("resultSize = {}", resultSize);
    } catch (SQLException e) {
        log.error("DB Error", e);
        throw e;
    }
}

• executeUpdate()는 쿼리를 실행하고 영향받은 Row수를 반환한다. 여기서는 하나의 데이터만 변경하기 때문에 결과로 1이 반환된다. 만약, 회원이 100명이고, 모든 회원의 데이터를 한번에 수정하는 UPDATE 쿼리를 실행하면 결과는 100이 될 것이다.

public void delete(String memberId) throws SQLException {
    String sql = "DELETE FROM member WHERE member_id = ?";

    try (Connection connection = getConnection();
         PreparedStatement stmt = connection.prepareStatement(sql)) {

        stmt.setString(1, memberId);
        stmt.executeUpdate();
    } catch (SQLException e) {
        log.error("DB Error", e);
        throw e;
    }
}

• 위 업데이트와 쿼리만 DELETE로 달라질 뿐 나머지는 동일하다.

 

계속해서 사용했던 테스트 코드에 추가적으로 수정과 삭제를 넣어보자!

@Test
void save() throws SQLException {
    Member member = new Member("member4", 10000);
    repository.save(member);

    Member findMember = repository.findById(member.getMemberId());
    log.info("findMember = {}", findMember);

    assertThat(findMember).isEqualTo(member);

    repository.update(member.getMemberId(), 20000);
    Member updatedMember = repository.findById(member.getMemberId());
    assertThat(updatedMember.getMoney()).isEqualTo(20000);

    repository.delete(member.getMemberId());
    assertThatThrownBy(() -> repository.findById(member.getMemberId()))
            .isInstanceOf(NoSuchElementException.class);
}

• 실행 결과는 정상적으로 업데이트가 되고 삭제가 될 것이다.

 

정리

이렇게해서 JDBC를 통한 데이터베이스와 상호작용을 다시한번 리마인드해봤다. 현재 가장 핫한 ORM 기술인 JPA도 결국 내부적으로 JDBC를 사용하는 것이기 때문에 이 JDBC가 어떻게 동작하고 어떤 원리를 통해 데이터베이스에 접근해 커넥션을 가져오는지 이해하는게 중요하다. 결국 JDBC라는 표준 인터페이스를 구현한 각각의 데이터베이스마다 드라이버를 제공하고 그 드라이버를 라이브러리에 추가하면 JDBC가 자동으로 라이브러리에 추가된 드라이버를 인식하고 커넥션을 가져올 수 있는 드라이버를 찾는다. 이게 항상 말하지만 표준과 그것을 구현한 구현체의 위대함이다. 내가 데이터베이스를 변경하더라도 구현체만 갈아끼우면 되고 실제 클라이언트 코드는 변경할 필요가 없다. (물론 SQL은 데이터베이스마다 방언이라는게 존재하기 때문에 달라진다면 변경해야 겠지만)

 

자, 이제 JDBC를 다시 한번 리마인드했으니 이제 Connection Pool과 DataSource에 대해 공부할 차례다.