Azure Open AI로 GPT-4o모델 쓰면 비용이 얼마 나올까요?

써보기 전에는 이해가 안가는 AI 비용 정책

 

질문에 답을 찾는 자료 찾기

 

참고자료.

https://www.youtube.com/watch?v=SHB-qKxjooM

https://azure.microsoft.com/ko-kr/pricing/details/cognitive-services/openai-service/

Azure OpenAI 서비스 - 가격 책정 | Microsoft Azure

 

 

Azure OpenAI 서비스는 고객이 GenAI 애플리케이션을 구축할 수 있도록 다양한 배포(Deployment) 옵션을 제공합니다.

주요 배포 옵션은 Standard, Batch, Provisioned로 나뉩니다.

 

1. Standard : 쓴 만큼 낸다.

2. Batch

3. Provisioned : 약정으로 싸게 주세요.

 

처음 사용한다면 Standard 배포 옵션으로 사용한다고 보면 된다.

 

1. Standard 모델:
   중소규모의 비정기적인 트래픽에 적합하며, API 호출 시 사용한 토큰에 따라 비용을 지불하는 방식입니다. 글로벌 배포(전 세계 최적의 사용자 경험 제공) 또는 지역별 배포(데이터 처리 위치 제어 가능) 중 선택할 수 있습니다.
2. Batch 모델:
   대량 추론 작업에 적합하며, 비용을 Standard 모델 대비 최대 50% 절감할 수 있습니다. 글로벌 배치 모델로 배포한 후, 배치 파일을 업로드하고 비동기식으로 처리 진행 상황을 추적할 수 있습니다. 모든 작업은 24시간 내 완료됩니다.
3. Provisioned 모델:
   일관된 성능과 처리 용량이 필요한 대규모 AI 워크로드에 적합합니다. 이 모델은 예측 가능한 지연 시간과 낮은 변동성을 제공하며, 시간 단위, 월 단위 또는 연간 약정 시 할인 혜택을 받을 수 있습니다.

 

 

Azure에서 안내하는 가격정보를 보면

100만 토큰 기준 Input / Caced Input / Output 에 따라 비용이 발생한다.

쉽게 말하면 입력과 출력 모두 토큰 비용이 발생한다!!

 

Cached Input은 뭔가 해서 찾아보니 인간미 있는 정책이 있다니.

 

참고. Cached Input(캐시된 입력) 이란? 

**Cached Input(캐시된 입력)**이란 이전과 동일한 입력을 재사용할 때, 비용이 할인되는 모델의 비용 구조를 의미합니다.
Azure OpenAI 서비스에서 GPT-4o 모델은 동일한 입력이 다시 사용될 경우, 일반 입력 비용의 절반 수준으로 비용이 줄어듭니다.

 

 

 

참고.1M 토큰의 실제 텍스트 양

• 1M 토큰 = 100만 토큰을 의미합니다.
• 일반적인 영어 텍스트 기준으로, 750~800개의 단어가 약 1,000개 토큰에 해당합니다.
  • 1M 토큰 ≈ 약 750,000~800,000 단어 수준입니다.

참고.1M 토큰으로 처리할 수 있는 대략적인 텍스트 양

언어단어 수 기준 (약)텍스트 분량 예시

영어	약 750,000~800,000 단어	소설 1~2권 분량
한글	약 600,000~650,000 단어	블로그 글 1,000개 분량
코드 (프로그래밍)	약 500,000~600,000 단어	코드 주석 포함 프로젝트

 

 

(아래) GPT-4o Global Deployment 형태로 사용할 경우 가격 정책