[우아한테크세미나] - MLOps를 활용한 AI 서비스 개발 스토리 세미나 후기

이번에 우아한형제들에서 테크세미나의 주제를 AI와 MLOps로 정했다.

온라인으로도 열심히 들었고 내용을 기억해보고자 정리해보려한다. 

youtube.com/watch?v=MA5A7Xqb-7U

 

1. 우아한 형제들의 AI 서비스

1. 리뷰검수: 해당 이미지가 올바른 이미지인지 검수

2. 배달 예상시간 예측

3. 추천알고리즘

4. 이상거래탐지, 서비스 이상탐지

5. 메뉴명 분류

6. 메뉴명 어뷰징

---

2. AI 서비스를 적용할 때의 어려움

문제 - 개발환경에서 운영환경으로 배포가 어려움:

ML시스템의 복잡함과 다양한 개발환경에서 각각 다른 방식으로 개발하기 때문이다.

 

해결방법

1. MLOps를 도입하여 모델 개발, 서빙, 배포를 효율적으로 하게 함

2. 이를위해 MLOps Cycle과 AI Studio를 만듦

 

목표

1. 모델개발에서 운영배포까지 단계 줄이기

2. 새로운기능과 서비스 개발 확장이 가능하게 하기

 

3. 어려움을 해결하기 위한 MLOps 구축

ML Project, Pipline Builder, ML SDK로 구성하여 MLOps를 구축

3-1 ML Project

ML Project에서 AI를 개발하고 개발한 소스들은 container 환경에서 실행

ML Project는 코드저장소이고, 여러 프고젝트를 하나의 레퍼지토리에서 관리하는 Monorepo형식으로 구축

학습/서빙/데모 코드를 Monorepo로 관리하는 이유 : 코드를 재사용하기 위함

현재 모든 코드들은 쿠버네티스를 통해 container에서 실행되고 있으며 개발에 사용했던 환경 그대로 운영에 배포할 수 있었고 작업 소요 시간을 단축함.

3-2 Pipeline Builder

yaml파일로 정의를하고 Pipeline Builder를 통해서 airflow dag를 만드는 과정

DagFactory Kustomize 기반으로 설계함

공통이 되는 base.yaml을 작성하고 각 기능별로 yaml을 작성하여 연결하는 방법으로 사용하기 때문에 유연성과 확장성이 좋음

 

operator를 조정하여 cpu, gpu를 쉽게 바꿔가면서 사용할 수 있음.

3-3 ML SDF

AI 서비스 개발을 위한 기능을 제공하는 파이썬 라이브러리

장점 : ML Pipeline을 구성하는 과정에서 모델생성을 제외한 데이터 다운로드, 읽기, 실험결과 저장, 예측결과 내보내기등을 제공하여 모델 개발자는 모델 개발에만 신경 쓸 수 있도록 함.

 

4. MLOps Level

우아한형제들에서는 MLOps Level을 아래와 같이 정의했고, 본인들이 만들고 위에서 설명한 AI플랫폼은 현재 1.4~1.6레벨 사이에 있다고 함. 레벨2에 도달해 누구든지 AI서비스를 만들수 있는 플랫폼이 되도록 성장하는 중이다.

 

 

5. 앞으로 발전해야 하는 부분과 AI플랫폼 적용 사례

앞으로는 LLMOps,Vector DB등의 부분에서 발전을 이뤄야함.

5-1. 사례 : 알뜰배달 시간 예측 서비스

데이터: 요일,시간,날짜,거리,라이더 상태 등

모델: 딥러닝,실시간&준실시간 서빙 등

 

1. ML Project에 전처리,학습,추론,내보내기 등의 코드 개발

2. ML SDK의 kafka,redis 클라이언트로 실시간 피쳐 활용

3.실험 설정 - mlflow 연동

4.테스트 - docker기반, 운영환경과 동일하게 테스트

5.Pipeline Builder를 이용한 파이프라인 개발 - Airflow DAG 개발 -> Spark To S3 -> Tarin -> UploadModel -> Inference

6. Airflow 테스트 및 배포

7. 서빙/ 운영

8. 추론 결과분석 & 피드백