AWS Lambda와 DynamoDB를 연동해보기

728x90

SMALL

 

DynamoDB

DynamoDB를 알기 전에 기존의 데이터베이스 형태에 대해서 먼저 알아보자. 기존의 데이터베이스의 형태는 거의 대부분이 관계형 데이터베이스였다. 예를 들면 MySQL, PostgreSQL 등이 있다. 

이런 관계형 데이터베이스의 가장 큰 특징은 데이터에 대한 형식이 아주 견고하게 존재한다는 것이다. 그래서 형식에 맞지 않는 데이터를 넣지 못한다. 그 말은 어떤 데이터를 넣더라도 예측 가능한 데이터가 된다. 그러나 이러한 점이 단점으로 부각되기 시작한다. 그 내용은 기업이 활용할 수 있는 데이터가 다양해지면서 데이터의 형식이 다양해지고 내용이 방대해졌다는 뜻이다. 그 말은 예측이 불가능한 데이터가 더 많아진다는 뜻이다. 

 

그래서 이러한 단점(자유도가 떨어진다)을 극복하기 위해 다른 방식의 데이터베이스가 생겨나기 시작했다. 

즉, 어떤 정제가 되지 않은, 있는 그대로의 데이터를 모두 받아들일 수 있는 AWS S3와 같은 DataLake나 NoSQL(Not Only SQL)과 같은 데이터베이스가 점점 두각되는 추세이다. 이 NoSQL의 하나가 DynamoDB이다.

 

NoSQL은 말 그대로 SQL만을 취급하지 않는다는 것이다. 즉, 형식이 지정되어 있기도 하지만 지정되지 않은 상태여도 무방하다라는 뜻이다. 

 

DynamoDB 키 포인트

DynamoDB의 특징은 다음과 같다.

• NoSQL
• 수평확장(Scale-Out)이 쉽고 유연
• Auto-Scaling 지원 / 일정 기간 백업 지원
• 스키마 지정이 필요 X
• 트랜잭션, 조인과 같은 복잡한 쿼리 불가능

 

Attribute, Partition Key, Sort Key, Primary Key, GSI

- Attribute: Key/Value쌍으로 된 형식이 고정되지 않은 자유로운 데이터.

- Partition Key: Primary key는 아니지만 그와 비슷한 키를 의미한다. 중복이 될 수 있다.

- Sort Key: 또 하나의 키. 이 또한 중복이 될 수 있다.

- Primary Key: Partition Key + Sort Key. 이는 중복이 될 수 없다. 중복된 데이터가 들어오면 받아주지 않는다.

- GSI(Global Secondary Index): 아이템에 대한 키 역할을 하지는 않지만 인덱스(필터링하기 위한)로서의 역할을 할 수 있는 데이터가 Attribute내에 존재할 때 그 값을 따로 빼어내서 인덱스로 만드는 것.

Partition Key	Sort Key	GSI	Attribute
OrderID	Date	Region	Attribute
1	210701	Seoul	{...json...}
2	210701	Busan	{...json...}
2	210702	Busan	{...json...}
3	210703	Daegu	{...json...}

 

Sort Key, GSI와 같은 인덱스는 없어도 된다. 그러나 없을 때 Partition Key가 고유값이 아니면 데이터에 대한 무결성을 장담할 수 없게된다. 이렇기 때문에 Sort Key가 필요해지고 이 Sort key와 Partition key의 결합이 Primary key가 되는 것.

 

 

DynamoDB 생성하기

AWS Console에 'DynamoDB'를 검색해서 나온 서비스를 클릭한다.

 

최초 화면은 다음과 같이 보여질 것이다. 우측 'Create table' 버튼 클릭

 

이제 설정하는 부분인데 이 설정 부분이 꽤나 양이 많다. 우선 다음을 보자.

- Table name: Orders

- Partition key: OrderID

- Sort key: Date

위에서 배운대로 Partition key와 Sort key 두 개를 모두 설정하겠다. 이 두개가 더해진 것이 Primary key가 된다. 다른 말로 이 두개가 같은 Item은 있을 수 없다.

 

- Table settings: Customize settings

- Table class: DynamoDB Standard

- Read/write capacity settings: On-demand

Provisioned를 사용하지 않는 이유는 Provisioned는 미리 할당된 만큼의 데이터 비용을 지불한다는 것인데 나는 실습차원에서 만드는 것도 있고 Provisioned는 일반적으로 예측 가능한 트래픽인 경우에 사용한다. 트래픽의 등락이 크면 On-demand가 유리하다.

 

- Secondary indexes: 여기서 Global Index가 위에서 말한 GSI이다. 이후에 생성해도 되고 지금은 필요도 없기 때문에 넘어간다.

- Encryption at rest: Owned by Amazon DynamoDB

 

이렇게 설정한 후 테이블을 최종적으로 만든다. 테이블을 만들면 다음과 같이 리스트에 만든 테이블 하나가 노출된다.

 

저 안으로 들어가보면 다음과 같이 생겼다. 테이블에 대한 정보가 이렇게 보여지고, 아이템을 추가할 수 있다.

 

우측 상단 Actions > Create item 버튼을 클릭해서 아이템 하나를 만들어보자.

 

이러한 화면에서 원하는 값을 입력하면 된다.

 

이 상태에서 새로운 속성을 더 넣어주고 싶으면 우측 "Add new attribute" 버튼을 클릭해서 자유롭게 추가가 가능하다. 이게 위에서 말한 형식에서의 자유로움이다.

 

그리고 이 상태에서 우측 상단 "JSON view" 버튼을 클릭하면 이 데이터를 JSON으로는 어떻게 넣는지 보여준다.

여기서 "S"가 어떤 의미냐면 "String"의 의미이다. 

 

이 상태에서 "Create item" 버튼을 클릭해보자. 그럼 다음과 같이 리스트에 만든 아이템 하나가 보여진다.

 

그리고 이 화면에서 쿼리도 날릴 수 있다. 내가 원하는 데이터만 추출할 때 유용하다.

 

이런식으로 DynamoDB를 이용할 수 있다. 이제 Lambda를 만들어서 이 DynamoDB와 연동해보자.

 

Lambda function에서 DynamoDB 접근하기

다음과 같이 만들어 준다. 런타임은 Node.js 16.x를 사용해보자.

우선 코드를 수정하기 전 이 람다함수가 DynamoDB에 접근할 수 있도록 권한 설정을 해주어야한다.

다음과 같이 Configuration > Permissions 에 들어가보면 적용된 Role이 보여진다. Role 클릭.

 

다음과 같이 해당 역할 내부로 들어와서 Permissions policies 섹션에 우측 Add permissions > Attach policies 버튼 클릭

 

DynamoDB를 검색해서 나오는 AmazonDynamoDBFullAccess를 선택 후 Add permissions 클릭

 

그럼 이렇게 Permissions policies 섹션에 이제 방금 추가한 정책이 들어가 있다.

 

 

이제 람다의 코드를 수정해보자. 다음과 같이 작성한다.

 

 

우선 "aws-sdk"를 임포트해야 한다. 이 녀석으로부터 AWS에 접근해야 하기 때문이다.

const AWS = require("aws-sdk");

 

그리고 이 녀석을 통해 DynamoDB를 가져온다. 가져올 땐 지역을 설정해줘야 한다. 당연히 내가 만든 DynamoDB에 대한 지역을 설정.

const ddb = new AWS.DynamoDB.DocumentClient({"region": "ap-northeast-2"});

 

그리고 리턴할 handler를 만든다. 이 함수는 비동기 함수로 우선 requestId를 받아 저장한다.

그리고 하단에 만든 createMessage()를 호출하는데 이 함수는 인자로 requestId를 넘겨주고 콜백함수를 호출한다. 이는 리턴 객체를 보내기 위함이다.

exports.handler = async (event, context, callback) => {
  const requestId = context.awsRequestId;
  
  await createMessage(requestId).then(() => {
    callback(null, {
      statusCode: 201,
      body: "",
      headers: {
        "Access-Control-Allow-Origin": "*"
      }
    })
  }).catch((err) => console.error(err))
};

 

하단 createMessage()는 변수로 requestId를 받아서 DynamoDB에 아이템 하나를 추가한다. 그리고 최종적으로 위에서 선언한 DynamoDB 객체에 해당 아이템을 put()한다.

function createMessage(requestId) {
  const params = {
    TableName: "Orders",
    Item: {
      "OrderID": requestId,
      "Date": "20240304"
    }
  }
  
  return ddb.put(params).promise();
}

 

이제 Deploy를 하고 테스트를 진행해보자. 다음과 같이 테스트를 만들고 실행한다.

 

실행하면 다음과 같이 정상 결과가 출력된다.

 

이제 DynamoDB에 가서 정상적으로 아이템이 추가됐는지 확인해보자. 다음과 같이 잘 넣어졌다.