Promptflow 이해하기

Promptflow로 개발된 모델을 서비스 하기 위해서 몇달 고군분투 했다.
그 시간 동안 이해하게 된 Promptflow 에 대해 정리해본다.

 

Promptflow?

LLM 개발주기(프롬프트 엔지니어링, 테스트, 배포, 모니터링 등)를 간소화하도록 설계된 개발 도구
https://microsoft.github.io/promptflow/

Prompt flow — Prompt flow documentation

 

간소화..를 느낀 부분

Promptflow에서는 아래 그림과 같은 Flow로 LLM 모델을 활용한 어플리케이션을 개발 할 수 있다.
아래 설명에도 'visual editor' 클릭하면 플로우에 내가 원하는 값을 지정해서 완성 할 수 있다.

Microsoft에서 개발한 도구이다 보니
개발환경은 AzureML 뿐만 아니라 내 컴퓨터에 설치된 VS Code에 extension 설치하여 사용할 수도 있다.

 

build 명령에 output 옵션을 docker로 설정하면 Docker 배포 시 활용할 수 있는 Dockerfile도 작성해 준다.

cd chat-basic
pf flow build --source . --output ./docker --format docker

다음은 chat-basic 예제를 따라하면서 이해한 부분에 대해서 작성해 볼 예정