2주차 토의내용_시스템 컴포넌트 구성

[ilpyoyang]

웹서버에 딥러닝 작업을 POST하려고 한다.

이 때, 고정 ip는 할당되지 않았지만 계산 작업이 가능한 gpu 가 탑재된 인스턴스가 여러 대가 있고,
고정 ip를 할당받았지만 gpu가 탑재되지 않은 인스턴스가 1대 있다.

위 상황에서 어떤 서버에 어느 컴포넌트가 필요하고, 시스템 구성을 어떻게 할 지 설명하시오.
(모호한 조건이 있다면, 직접 조건을 구체화하시면 됩니다.)

[ilpyoyang]

웹 서버:

이 역할을 담당하는 서버는 클라이언트로부터 요청을 받고, 딥러닝 작업을 처리하기 위해 필요한 정보를 수집하여 GPU가 탑재된 인스턴스 또는 GPU가 없는 인스턴스로 요청을 라우팅하는 역할을 합니다.
대표적인 웹 서버로는 Apache, Nginx, 또는 Gunicorn 등이 있습니다.

로드 밸런서:

웹 서버가 여러 대 존재하고, 각 웹 서버가 다른 리소스를 가지고 있으므로 로드 밸런서를 이용하여 트래픽을 분산시킵니다.
로드 밸런서는 요청을 받아 각 웹 서버에 고르게 분배하는 역할을 수행하며, 각 서버의 상태를 모니터링하여 장애가 발생한 서버는 제외하고 정상적인 서버에만 요청을 전달합니다.

딥러닝 서버:

GPU가 탑재된 인스턴스들 중에서 딥러닝 작업을 수행할 수 있는 서버를 선택합니다. 이 서버는 딥러닝 모델을 실행하고 결과를 반환하는 역할을 합니다.
딥러닝 프레임워크를 설치하여 모델의 추론을 효율적으로 수행할 수 있도록 준비합니다. 대표적인 딥러닝 프레임워크로는 TensorFlow, PyTorch, MXNet 등이 있습니다.

미들웨어:

웹 서버와 딥러닝 서버 사이에서 요청과 응답을 전달하고 처리하는 미들웨어가 필요합니다.
웹 서버에서 딥러닝 서버로의 요청 전송과 딥러닝 작업 결과를 웹 서버로 반환하는 역할을 합니다.
웹 프레임워크 내에 미들웨어를 포함시킬 수도 있으며, Django, Flask 등의 웹 프레임워크를 이용하면 구현이 용이합니다.

데이터베이스:

딥러닝 작업과 관련된 데이터를 저장하고 관리하기 위한 데이터베이스가 필요합니다.
사용자 정보, 모델 설정, 딥러닝 작업 결과 등을 저장하는 데 활용됩니다.
MySQL, PostgreSQL, MongoDB 등의 데이터베이스를 사용할 수 있습니다.

고정 IP:

GPU가 탑재되지 않은 인스턴스에 할당된 고정 IP는 웹 서버의 주소로 사용됩니다.
이를 통해 클라이언트가 서버에 접근하고, 요청을 전송할 수 있습니다.

보안 그룹 또는 방화벽:

서버들 간의 통신과 클라이언트와의 통신을 관리하는 데 사용됩니다.
특히 고정 IP를 할당받은 인스턴스는 외부에서 접근할 수 있는데, 이를 제어하기 위해 보안 그룹 또는 방화벽 설정이 필요합니다.

[Kimsihwan]

고정 IP 할당 받았지만 gpu가 탑재되지 않은 인스턴스를 Proxy 서버 기준으로 삼고
나머지 gpu 탑재 된 인스턴스들에게 로드밸런싱을 할거같아요
그래서 post 요청이 올 경우 먼저 proxy 서버가 받아서 적절하게 요청 배분을 하여 gpu 탑재된 인스턴스들이 딥러닝 작업을 처리할거같습니다.