AWS EC2에서 S3로 파일 업로드

EC2의 파일들을 S3로 업로드를 하는 방법

AWS의 EC2에서 S3로 업로드 하는 방법은 많습니다. 노드나 파이썬과 같은 프로그래밍 언어로 언어를 구현하고, 스케쥴러를 이용해 파일을 업로드 하는 방법이 있지만 이 글에서는 EC2를 구동하면 자동으로 설치가 되는 AWS-SDK를 이용하여 S3로 업로드를 하는 방법에 대해서 소개 하겠습니다.

 

포스트에 들어가기 전에 아래의 4가지는 기본적으로 설정이 되어 있다고 가정하고 글을 진행하겠습니다.

1. EC2 서버
2. S3 버킷
3. AWS IAM
4. contab

 

---

 

1. AWS Configure 설정

Amazon의 EC2에서 만든 인스턴스에는 기본적으로 AWS-SDK가 설치되어 있습니다. 

 

이제 이 AWS-SDK를 사용하기 위해서는 AWS Configure를 먼저 설정을 해 주어야하는데요. 설정을 해 주는 방법은 다음과 같습니다.

 

• EC2의 커맨드 라인에서 aws configure list를 입력 한 뒤 정보가 입력이 되어있는지 확인 합니다.

aws configure list를 입력한 화면

• 아무 정보가 없는것을 확인하고, aws configure를 입력 한 후 필요한 정보들을 입력 해 줍니다. 
• AWS IAM에서 발급받은 정보들을 입력 해 줍니다.
  1. AWS Access Key Id
  2. AWS Secret Access Key
  3. Default region name
  4. format
• region name은 ap-northeast-2를 입력해 주시면 됩니다.
• format은 default인 None으로 하셔도 무방합니다.

 

---

2. 쉘 스크립트 작성

AWS-SDK를 사용하기 위한 설정은 끝이 났습니다. 이제 파일을 업로드 하기 위해 쉘 코드를 작성을 하기에 앞서, 쉘 코드를 작성 할 폴더와 파일을 만들어 줍니다.

 

mkdir shell && cd shell && touch logShell.sh

 

그 뒤 vi나 vim과 같은 에디터를 이용하여 쉘 코드를 작성 해 줍니다. 아래의 예제는 전날 생성된 로그파일들을 S3로 업로드 하기 위한 코드입니다.

 

 

 

폴더는 해당 경로에 없으면 자동으로 생성이 됩니다.

 

 

---

 

3. crontab으로 shell 동작 등록하기

이제 남은 작업은 contab으로 일정 시간이 되면 로그를 업로드 하는 쉘을 등록 해 주는 일입니다.

 

설치 방법은과 crontab의 사용방법은 아래의 JDM's Blog님의 글을 참고하시면 좋습니다.

 

리눅스 크론탭(Linux Crontab) 사용법 :: JDM's Blog

 

 

이제 로그파일은 매일 S3로 업로드가 됩니다!!!