AWS EC2 Storage 문제 해결

Jiwoo 프로젝트의 Back 서버는 Chat-bot과 유사도 검증를 위한 Python 서버와 주요 기능을 담은 Java서버로 구성했다.

각 서버를 AWS의 프리티어 서비스를 사용하여 적용하려고 했다.

 

Java 서버 배포를 먼저 진행했고, 해당 배포는 수월하게 진행이 되었다.

 

그리고 이후 Python 서버 배포를 진행하는 과정에서 Github Actions로 자동화를 성공했다.

 

하지만 테스트 API요청을 보내보니 응답이 오지 않았다.

그래서 인스턴스에 접속해보니 Docker 컨테이너를 조회해보니 어...?

비어있었다.(Milvus 벡터DB용도 목적)

그리고 이후 docker-compose up -d를 실행해보니 설치해야하는 라이브러리 종류가 많아서 작업이 중단 되었다.

 

용량이 부족하단 뜻이었다.

처음에는 30G로 시작했으나 결국 50G로 증설했고 과정에서 퍼티션 설정도 진행해주었다.

sudo fdisk -l
sudo parted /dev/퍼티션이름
(parted) sudo parted /dev/퍼티션이름
(parted) resizepart 1 100%
sudo resize2fs /dev/퍼티션이름

 

위 과정을 수행하면 증설한 만큼 해당 퍼티션을 확장시켜준다.

 

이후 다시 docker-compose up -d 를 수행하고pip install -r requirements.txt를 진행하였다.

 

그리고 main.py를 실행해주었다.

 

또한 Local에서는 miniforge3를 사용하여 conda를 실행하고 env를 생성하여 진행했으나Ubuntu 환경에서는

python3 -m (환경이름) venv
source (환경이름)/bin/activate

 

위 과정을 통해 진행해야한다.

 

 

헤헤 아주 잘 된다. 이렇게 하나의 인스턴스에 두 서버 안정화를 끝냈다....

 

그치만 sentence_transformers 라이브러리가 무거워서 인스턴스가 50G중 45G를 사용하고 있는것을 확인했다... sentence_transformers 자체는 괜찮은데 의존성을 가지는 추가 라이브러리가 있어서 설치되는 것들이 많았던 것 같다.

 

하지만 EC2 비용이 생각보다 괜찮아서 이대로 유지하고 경량화가 필요하면 추후 적당한 선을 찾아 개선할 생각이다.