LakeNote.dev

[IDEA] 데이터 라벨링 서비스 어떻게 쉽게 제공할 수 있을까 | Data Labeling

제이비;) — Thu, 19 Mar 2026 02:16:27 +0900

Label Studio라는 데이터 라벨링 솔루션에 대해 찾아보려고 컴퓨터를 켰다.

AWS에는 이미 서비스가 있구나. Amazon SageMaker Ground Truth 와우

먼저 데이터 라벨링의 개념부터 이해하고자 정리해 본 내용

데이터 라벨링이란 | Data Labeling

데이터 라벨링은 머신러닝 모델이 데이터를 학습할 수 있도록

원천 데이터(텍스트, 이미지, 오디오, 비디오 등)에 의미 있는 태그나 라벨을 붙이는 과정

작동 원리 | How it works

가공되지 않은 원천 데이터(Raw data) 그 자체로는 AI에게 아무런 쓸모가 없습니다.

AI는 사진을 볼 때 형체나 색깔을 이해하는 것이 아니라, 수만 개의 숫자 격자로만 인식하기 때문입니다.

이때 사람(또는 반자동 도구)이 데이터를 하나하나 검토하면서, 그 내용이나 의미를 설명하는 라벨(Label)을 붙여줍니다.

이 과정을 거쳐야 비로소 AI가 "아, 이런 숫자 패턴이 나타나면 이건 '무지개떡'이구나!"라고 학습할 수 있게 됩니다.

데이터 라벨링은 다루는 데이터의 형태(이미지, 텍스트, 음성 등)에 따라 그 방식이 달라집니다.

1. 텍스트 라벨링 (Text Labeling)

문장에 담긴 의도나 정보를 기계가 이해할 수 있는 형태로 추출합니다.

감성 분석 (Sentiment): 문장의 뉘앙스가 긍정인지 부정인지 판별합니다. (예: "떡이 쫄깃해요" → 긍정 / "너무 달아요" → 부정)
개체명 인식 (Named Entities): 문장에서 핵심 정보(장소, 시간, 품목)를 찾아냅니다. (예: "내일 아침 9시에 무지개떡 2되 배달" → [시간: 09:00], [품목: 무지개떡], [수량: 2되])
의도 파악 (Intent): 사용자가 질문한 목적을 분류합니다. (예: "주차 가능한가요?" → 주차 시설 문의)

2. 이미지 라벨링 (Image Labeling)

컴퓨터가 사진이나 영상 속의 물체를 식별하도록 만드는 작업입니다.

바운딩 박스 (Bounding Boxes): 이미지 내 특정 사물에 사각형 틀을 그려 위치와 이름을 지정합니다. (예: 진열대 사진에서 '인절미' 팩에 사각형 표시)
세그멘테이션 (Segmentation): 사물의 외곽선을 따라 픽셀 단위로 영역을 구분합니다. (예: 떡 단면 사진에서 '고물'과 '반죽' 영역을 정밀하게 분리)
이미지 분류 (Classification): 이미지 전체가 어떤 카테고리에 속하는지 정의합니다. (예: 매장 사진을 보고 '영업 중', '마감 직전' 등으로 분류)

3. 오디오 라벨링 (Audio Labeling)

음성 데이터의 내용을 분석하거나 소리의 특징을 잡아냅니다.

전사 (Transcribing): 음성을 텍스트로 변환합니다. (예: 전화 주문 녹음본을 텍스트 주문서로 변환)
소리 분류 (Tagging): 특정 소리의 종류를 식별합니다. (예: 주방 기계 소리를 분석해 '정상' 또는 '수리 필요'로 구분)

4. 비디오 라벨링 (Video Labeling)

시간의 흐름에 따른 움직임이나 사건을 추적합니다.

객체 추적 (Tracking): 영상 내 물체의 이동 경로를 기록합니다. (예: CCTV에서 손님이 매장에 들어와 나갈 때까지의 동선 파악)
이벤트 플래깅 (Event Flagging): 특정 행동이 시작되고 끝나는 시점을 표시합니다. (예: 손님이 제품을 집어 드는 순간을 기록)

데이터 라벨링이 중요한 이유 | Why it matters

Garbage in, Garbage out

인공지능 모델의 성능은 라벨링된 데이터의 품질에 의해 결정됩니다. 정확하고 다양한 라벨이 많을수록 더 똑똑하고 신뢰할 수 있는 모델이 만들어집니다.

정확성: "쉰 떡" 사진을 실수로 "정상"이라고 라벨링하면, AI는 상한 제품을 고객에게 판매하라고 지정하는 치명적인 실수를 범하게 됩니다.
다양성: 맑은 날 찍은 사진뿐만 아니라 흐린 날, 조명 아래, 비닐 포장이 된 상태 등 다양한 상황의 데이터를 라벨링해야 AI가 어떤 환경에서도 떡을 정확히 식별합니다.

누가 라벨링을 하는가? | Who does it?

데이터의 양과 난이도에 따라 작업을 수행하는 주체가 달라집니다.

1. 사람 어노테이터 (Human Annotators)

직접 사람의 눈으로 확인하고 라벨을 붙이는 방식입니다.

대상: 프리랜서나 전문 팀(Scale AI, Labelbox 등 전문 플랫폼 활용).
떡집 적용: 사장님이나 직원이 틈틈이 매장 사진에 정답을 기록하는 것이 가장 기초적인 형태입니다. 전문 지식이 필요한 '떡의 신선도 판별' 같은 작업은 숙련된 사람의 판단이 필수적입니다.

2. AI 보조 라벨링 (AI-assisted labeling)

AI 모델이 먼저 라벨을 추측해서 붙여두면, 사람이 이를 검토하고 수정하는 방식입니다. 이를 '휴먼 인 더 루프(Human-in-the-loop)'라고 부릅니다.

떡집 적용: AI가 1차적으로 "이것은 인절미입니까?"라고 물으면 사장님은 "맞음" 혹은 "아니오, 이건 콩떡임"이라고 수정만 해주는 방식입니다. 처음부터 직접 하는 것보다 속도가 훨씬 빠릅니다.

3. 자동 라벨링 (Automated labeling)

사람의 개입을 최소화하고 규칙(Rule)이나 기존 모델을 활용해 자동으로 라벨을 생성합니다.

떡집 적용: 포스(POS) 기기에 찍힌 판매 시각 데이터를 기반으로, 해당 시간대 CCTV 영상에 자동으로 "판매 발생" 태그를 붙이는 식의 규칙 기반 자동화가 가능합니다.

데이터 라벨링 서비스 설계 가이드 | Designing Interactive User Workflows for Seamless Data Labeling

1. 목적 선택 (Task Selection)

사용자가 복잡한 용어(분류, 세그멘테이션 등)를 몰라도 비즈니스 목적에 따라 선택하게 합니다.

템플릿 제공: "리뷰 긍정/부정 분류", "상품 이미지 카테고리화", "제조 공정 불량 탐지" 등 자주 쓰이는 목적을 카드 형태로 제시합니다.
데이터 타입 자동 인식: 사용자가 업로드한 파일이 이미지인지 텍스트인지에 따라 가능한 목적만 활성화하여 혼란을 줄입니다.

2. 예시 확인 (Onboarding & Guide)

라벨링의 일관성을 위해 '정답 기준'을 시각적으로 보여줍니다.

Good/Bad 사례: "이런 경우는 '불량'으로 간주합니다"와 같은 가이드라인을 사진과 함께 배치합니다.
미니 퀴즈: 실제 작업을 시작하기 전, 3~5개 정도의 샘플로 연습 게임을 하게 하여 숙련도를 확인합니다.

3. 라벨링 시작 (User Interface)

사용자가 피로를 느끼지 않도록 단순함에 집중합니다.

단축키 및 제스처: 텍스트는 숫자 키(1: 긍정, 2: 부정), 이미지는 스와이프나 클릭 한 번으로 처리가 가능해야 합니다.
게이미피케이션: "오늘 목표까지 10개 남았습니다"와 같은 진행률 표시로 성취감을 부여합니다.

4. AI 보조 (Human-in-the-Loop)

사람의 판단 속도를 높여주는 보조 장치를 활용합니다.

Pre-labeling: AI가 미리 예측한 값을 보여주고 사용자는 '승인' 또는 '수정'만 하게 합니다.
확신도 필터링: AI가 판별하기 어려워하는(확신도가 낮은) 데이터만 사람에게 집중적으로 보여주어 효율을 극대화합니다.

5. 결과 확인 및 다음 단계 (Insights & Next Step)

라벨링 이후의 가치를 즉시 체감하게 합니다.

실시간 통계: "현재 데이터의 70%가 긍정적입니다"와 같은 대시보드를 제공합니다.
모델 학습 연동: "라벨링된 데이터로 AI 모델을 만드시겠습니까?"라는 버튼을 통해 즉시 학습 파이프라인으로 연결합니다.

정리되는 아이디어

쉬운 UI로 라벨링. AI가 추천도 해줌 -> 라벨+원본데이터 저장 -> 자동학습(AutoGluon) -> 성능평가 -> 배포

AutoGluon이 핵심입니다. AWS가 직접 만든 오픈소스로, SageMaker Autopilot의 엔진과 거의 동일합니다. 정형 데이터(표/엑셀)와 이미지를 모두 지원하고, 비전문가용 플랫폼 백엔드로 쓰기에 가장 적합해요.

이미지 분석이 필요한 경우 GPU, 정형 데이터는 CPU로도 충분할 것으로 예상

구축 단계

1단계 (1~2주): AutoGluon + Streamlit으로 MVP 먼저 만들기. 파일 업로드 → 자동 학습 → 결과 확인까지만 동작하는 최소 버전.

2단계 (2~4주): MinIO 연동으로 데이터 저장 체계화, MLflow로 실험 이력 관리 추가.

3단계 (이후): FastAPI로 학습된 모델 API 배포, Grafana로 성능 모니터링.

Gemini Embedding 2: 구글의 첫 번째 네이티브 멀티모달 임베딩 모델

제이비;) — Tue, 17 Mar 2026 00:28:33 +0900

멀티모달 임베딩이라니

아래 원문을 읽고 이해해보는 Gemini Embedding 2 그리고 멀티모달 임베딩

원문: https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2/

Gemini Embedding 2: Our first natively multimodal embedding model

An overview of Gemini Embedding 2, our first fully multimodal embedding model that maps text, images, video, audio and documents into a single space.

blog.google

Gemini Embedding 2: Our first natively multimodal embedding model

Gemini Embedding 2: 구글의 첫 번째 네이티브 멀티모달 임베딩 모델

Gemini Embedding 2는 텍스트, 이미지, 비디오, 오디오 및 문서를 하나의 벡터 공간으로 매핑하는 구글 최초의 네이티브 멀티모달 임베딩 모델입니다. 이를 통해 서로 다른 유형의 미디어 간 멀티모달 검색과 분류가 가능해졌으며, 현재 퍼블릭 프리뷰로 이용할 수 있다.

26년 3월, Gemini Embedding 2 출시 소식

Gemini 아키텍처를 기반으로 구축된 구글 최초의 완전한 멀티모달 임베딩 모델인 Gemini Embedding 2를 Gemini API와 Vertex AI를 통해 퍼블릭 프리뷰(Public Preview)로 출시되었다.

기존의 텍스트 전용 기반 모델에서 확장된 Gemini Embedding 2는 텍스트, 이미지, 비디오, 오디오 및 문서를 단일화된 통합 임베딩 공간으로 매핑하며, 100개 이상의 언어에 걸쳐 의미론적 의도(semantic intent)를 포착합니다. 이를 통해 복잡한 파이프라인을 단순화하고, 검색 증강 생성(RAG)과 의미론적 검색부터 감성 분석, 데이터 클러스터링에 이르기까지 광범위한 멀티모달 다운스트림 작업의 성능을 강화한다.

새로운 모달리티와 유연한 출력 차원

이 모델은 Gemini를 기반으로 하며, 다음과 같은 다양한 영역에서 업계 최고 수준의 멀티모달 이해 능력을 활용해 고품질의 임베딩을 생성합니다.

텍스트(Text): 최대 8,192개의 입력 토큰에 달하는 방대한 컨텍스트를 지원
이미지(Images): 요청당 최대 6장의 이미지를 처리할 수 있으며, PNG 및 JPEG 형식을 지원
비디오(Videos): MP4 및 MOV 형식으로 최대 120초 분량의 비디오 입력을 지원
오디오(Audio): 중간 텍스트 변환(전사) 과정 없이 오디오 데이터를 네이티브 방식으로 직접 수용하고 임베딩
문서(Documents): 최대 6페이지 분량의 PDF를 직접 임베딩

단일 모달리티를 하나씩 처리하는 것을 넘어, 이 모델은 인터리브(Interleaved, 교차 배치) 입력을 네이티브하게 이해한다. 즉, 한 번의 요청에 여러 모달리티(예: 이미지 + 텍스트)를 함께 전달할 수 있다. 이를 통해 모델은 서로 다른 미디어 유형 간의 복잡하고 미묘한 관계를 포착하며, 복잡한 현실 세계 데이터에 대해 더욱 정확한 이해를 가능하게 한다.

마트료시카 표현 학습(MRL)과 유연한 출력 차원

이전 임베딩 모델들과 마찬가지로, Gemini Embedding 2에는 마트료시카 표현 학습(Matryoshka Representation Learning, MRL) 기술이 적용되었습니다. 이 기술은 차원을 동적으로 축소하면서도 정보를 효율적으로 "중첩(nesting)"하여 저장한다.

덕분에 개발자는 기본값인 3,072 차원에서 더 낮은 차원으로 유연하게 조절할 수 있으며, 이를 통해 성능과 저장 비용 사이의 균형을 맞출 수 있습니다. 구글은 최상의 품질을 위해 3,072, 1,536, 768 차원을 사용할 것을 권장한다.

데모

Gemini Embedding 2 - 마트료시카 방식 이해하기
이 모델은 숫자를 생성할 때 중요도 순서대로 줄을 세웁니다.
[숫자 1번 ~ 768번]: 핵심적인 특징 (예: "이것은 '강아지'이고 '갈색'이다")
[숫자 769번 ~ 1536번]: 중간 정도의 특징 (예: "푸들 종이고, 털이 곱슬거린다")
[숫자 1537번 ~ 3072번]: 아주 세밀한 특징 (예: "눈동자 색깔이 어떻고, 배경에 풀밭이 있다")

여기서 "앞부분만 저장해도 된다"는 말은, 내 컴퓨터 하드디스크(데이터베이스)에 숫자를 다 집어넣을 필요 없이 앞쪽 768개만 딱 잘라서 저장해도, 그 데이터가 '갈색 강아지'라는 핵심 의미를 완벽하게 간직하고 있다는 뜻이다.

최첨단 성능 (State-of-the-art performance)

Gemini Embedding 2는 단순히 기존 모델을 개선하는 수준을 넘어선다. 이 모델은 강력한 음성 처리 기능을 도입하고 텍스트, 이미지, 비디오 작업에서 주요 모델들을 앞지르며 멀티모달의 깊이에 대한 새로운 성능 기준을 정립했다. 이러한 측정 가능한 성능 향상과 독보적인 멀티모달 커버리지는 개발자가 필요로 하는 다양한 임베딩 요구사항에 완벽한 해답을 제공한다.

왜 기존 모델을 개선하는 수준을 넘어선다는 표현을 사용했을까?
1. 번역기가 필요 없는 진짜 멀티 모달
기존 모델들은 서로 다른 언어를 쓰는 사람들 사이에 통역사를 두는 방식이었다.
기존: 오디오를 들으면 먼저 **텍스트로 받아쓰기(STT)**를 한 뒤, 그 글자를 분석했다.
이 과정에서 목소리의 톤, 감정, 배경 소음 같은 중요한 정보가 다 사라졌다.
Gemini Embedding 2: 소리 그 자체를 직접 듣고 바로 이해한다.
통역사 없이 데이터를 날것 그대로 받아들이기 때문에 정보의 손실이 없고 훨씬 깊이 있는 분석이 가능하다.
2. 모든 데이터를 하나의 자(Ruler)로 측정한다.
세상의 모든 데이터(글, 사진, 영상, 소리)를 단 하나의 거대한 입체 지도 위에 배치했다.
덕분에 "이 노래(오디오)의 분위기와 가장 어울리는 영화 장면(비디오)을 찾아줘"라는 복잡한 명령도 아주 정확하게 수행할 수 있다. 이건 기존의 개별 모델들을 단순히 합치는 수준으로는 불가능했던 영역이다.
3. 압도적인 데이터 처리량과 정밀도
- 텍스트: 책 한 권 분량(8,192 토큰)을 한꺼번에 읽고 분석한다.
- 비디오: 2분짜리 영상을 통째로 보고 "어떤 사건이 일어났는지"를 정확한 숫자로 바꾼다.

데이터의 깊은 의미를 깨우다.

임베딩은 구글의 수많은 제품 내에서 사용자 경험을 구동하는 핵심 기술입니다. 임베딩이 컨텍스트 엔지니어링(context engineering)에서 결정적인 역할을 하는 검색 증강 생성(RAG)부터 대규모 데이터 관리, 그리고 전통적인 검색 및 분석에 이르기까지, 이미 여러 얼리 액세스 파트너들이 Gemini Embedding 2를 활용해 높은 가치를 지닌 멀티모달 애플리케이션을 구현하고 있습니다.

(PJT관리) WBS Task는 어떻게 작성해야 할까?

제이비;) — Fri, 20 Feb 2026 00:01:08 +0900

WBS 작성하다가 순삭된 하루

어떻게 해야 하는지 돌아보면서 작성해보는 글

프로젝트가 일정 지연되는 이유 중 상당수는 WBS가 모호하게 작성되었기 때문이다.
“기능 개발”, “테스트”, “개선” 같은 Task는 일정도 산정하기 어렵고 완료 여부도 불명확하다.

요구사항을 정의하여 방향을 정하고, Task를 통해 책임과 결과를 명확히 한다.

Task 작성 원칙

1. 동사 + 산출물 구조

"무엇을 만들어 낸다."로 작성

- ex. 요구사항 정의서 작성

2. 모호한 표현 대신 무엇을 어떻게 하는지 명확히 표현

- ex. JWT 토큰 만료 알림 기능 설계

3. 단위는 관리 가능한 수준으로

- 1~5일 단위 작업

- 담당자 1명이 책임 질 수 있는 작업

좋은 WBS Task의 기준

- 완료 기준이 명확하다.

- 산출물이 존재한다.

- 일정 산정이 가능하다.

- 책임자가 명확하다.

예시를 작성해봐야겠다.

단계별 WBS Task 작성 예시

'데이터 카탈로그 사용자 공유 권한 기능 구현'에 대해 Task를 작성해 보았다.

단계	Task	담당자	일정	산출물
1. 분석	1.1 현행 권한 구조 분석
	1.2 공유 기능 요구사항 정의
	1.3 영향도 분석 및 범위 확정
2. 설계	2.1 공유 권한 모델 설계
	2.2 DB 스키마 설계
	2.3 API 및 권한 검증 로직 설계
	2.4 화면 설계
3. 개발	3.1 공유 권한 관리 테이블 생성
	3.2 공유 등록/해제 API 개발
	3.3 권한 검증 로직 수정
	3.4 공유 설정 UI 구현
4. 테스트	4.1 권한 시나리오 테스트
	4.2 통합 테스트 수행
	4.3 운영 배포 및 가이드 반영

WBS를 잘 쪼개는 순간, 프로젝트 리스크의 절반은 이미 줄어든다.

Data Lake 이해하기

제이비;) — Thu, 12 Feb 2026 00:28:58 +0900

왜 Data Lake 인가

요즘 데이터가 쏟아지는 시대다.

정형 데이터뿐만 아니라 로그, 이미지, 파일 같은 비정형 데이터까지

이 모든 데이터를 미리 구조화해서 저장하는 것은 비효율적이니

일단 데이터를 원본 그대로 저장하고, 필요할 때 목적에 맞게 가공해서 사용하는 방식이다.

데이터를 어떻게 수집할까

1) 배치 수집: 일정 시간 마다 데이터를 모아서 저장

ETL 도구를 사용한다. (Airflow, Spark, Azure Data Factory)

2) 실시간 수집: 데이터가 발생하는 즉시 저장

메시지 큐나 스트리밍 플랫폼을 사용한다. (Kafka)

3) 파일 업로드 방식: 사용자가 직접 파일을 업로드

데이터는 어떻게 보관할까

Data Lake는 보통 Object Storage 기반으로 저장한다.

보관 방식의 특징

1) 원본 그대로 저장

1) 폴더 구조 기반 관리

1) 파일 포맷 표준화: 대용량 분석을 위해 Parquet 같은 커럼 기반 포맷을 사용하기도 한다.

Parquet 파일 어떻게 활용할까

Parquet 파일은 분석 최적화 형식이며, 압축 효율도 높다.

Parquet 파일은 직접 파일을 여는 방식이 아니라

분석 엔진을 통해 조회한다.

1) SQL 엔진을 통한 조회

- Spark SQL, Synapse, Trino, StarRocks, Databricks

데이터를 어떻게 탐색 할까

검색 뿐만 아니라 데이터 관리 체계의 중심 역할을 하는 Data Catlog

- 메타데이터 관리

- 데이터 소유자와 책임자 관리

- 데이터 품질 정보 관리

- 데이터 Lineage 관리

- 접근 권한 정책 연계

Apache Iceberg 이해하기

제이비;) — Tue, 10 Feb 2026 08:22:59 +0900

Iceberg?

Netflix에서 개발한 오픈소스 테이블 포맷

데이터레이크 위에서 마치 관계형 데이터베이스처럼 데이터의 일관성을 유지하고, SQL 쿼리를 실행하며, 트랜잭션을 지원하도록 돕는 계층

Iceberg의 논리적 구조 (계층 구조)

아이스버그는 크게 데이터 계층과 메타데이터 계층으로 나뉜다.

• 데이터 파일(Data Files): 실제 데이터가 저장되는 Parquet 파일들

• 매니페스트 파일(Manifest Files): 데이터 파일들의 목록과 통계(최대/최소값 등)를 포함하여 쿼리 최적화를 돕는다.
• 매니페스트 리스트(Manifest List): 여러 번의 인제스트(Ingest)로 생성된 매니페스트 파일들을 모아 관리

• 메타데이터 파일(Metadata File): 테이블의 스냅샷(Snapshot) 정보를 담고 있어, 데이터가 변하는 중에도 일관된 뷰를 제공하고 스키마 변경을 가능하게 한다.

• 카탈로그(Catalog): 테이블 이름을 실제 메타데이터 파일 경로로 연결해주는 최상위 관리 도구

https://youtu.be/TsmhRZElPvM?si=Z_J9Htl9RuE-DZQm

새해 일잘러가 되어보자. 업무가 바뀌고 일이 쏟아진다.

제이비;) — Fri, 16 Jan 2026 01:00:48 +0900

새로운 업무로 투입 되었다.

오픈한지 3개월 된 시스템인데 개선사항이 쏟아지고,

Frontend 개발자, Backend 개발자 그리고 유관 시스템 담당자, 현업, 동료들 이름도 아직 혼란스러운 상황

인수인계 내용, 회의 일정 및 회의록을 노트에 빼곡히 기록했는데,

그 다음 날 출근하면 기억이 하나도 안나고요.

무언가 쏟아진 일감을 정리 할 체계가 필요해 보였다.

출근 길에 찾아본 업무일지 관련 컨텐츠

요즘은 노션 템플릿을 활용해서 업무 일지를 작성하는 일잘러가 많아 보였다.

(많은 컨텐츠를 본 건 아니지만 '제인킴' 노션 사용법 영상 추천!!)

사무실은 노션 사용 불가이므로, 어떤 컨텐츠로 업무 일지를 관리하는지를 참고하는 용도로 보았다.

그날 할 일을 중요도와 함께 다이어리에 정리

급하게 적어야 하는 사항은 볼펜으로 메모

회의록은 요약해서 기록한다.

누가 어떻게 왜 무엇을 (언제 어디서)

회의록 작성 시 참고

주간 관리 양식 페이지를 작성한다.

주간 목표(reminder) 및 일정 관리

한 달이 끝나면 회고(Review Page)를 한다.

같은 실수를 반복하지 않으며, 목표를 달성한다.

<참고한 컨텐츠>

- https://youtu.be/HltyBUiyyN8?si=ulqn4gN7ILQFR2ty

- https://youtu.be/Nl16MDuok_Q?si=M3Y6BB3jWMm4VmQI

데이터 리니지 | 데이터 흐름 추적

제이비;) — Thu, 8 Jan 2026 09:11:22 +0900

데이터 리니지(Data Lineage)란?

데이터가 어디서 생성되어(Source) → 어떤 과정을 거쳐 변환되고 → 어디로 이동하여(Target) → 어떻게 활용되는지를
시간의 흐름과 변환 과정까지 포함해 추적·시각화한 정보입니다.

한 줄로 정의하면

데이터의 출처부터 최종 사용까지의 전체 흐름과 변환 이력을 보여주는 것

⸻

데이터 리니지가 왜 중요한가?

1. 데이터 신뢰성 확보
• 리포트·지표의 숫자가 어떤 원천 데이터에서 왔는지 설명 가능
• “이 데이터는 믿을 수 있는가?”에 답할 수 있음

2. 영향도 분석(Impact Analysis)
• 컬럼 하나 변경 시
→ 어떤 테이블, 리포트, 모델에 영향을 주는지 즉시 파악

3. 장애·오류 원인 추적
• 잘못된 데이터 발생 시
→ 어느 단계에서 오류가 생겼는지 빠르게 역추적

4. 규제·감사 대응
• 개인정보·민감 데이터가
→ 어디서 생성되고 어디로 흘러가는지 명확히 증빙

5. 데이터 거버넌스의 핵심 요소
• 데이터 오너십, 품질 관리, 표준 관리의 기반 정보
• 거버넌스를 “문서”가 아닌 “시스템”으로 만듦

⸻

데이터 리니지의 범위

데이터 리니지는 어디까지 추적하느냐에 따라 활용도가 크게 달라집니다.

1. 시스템 레벨 리니지
• DB → DWH → BI
• 시스템 간 데이터 이동 흐름 파악

2. 테이블 레벨 리니지
• source_table → target_table
• 테이블 간 의존성 분석

3. 컬럼 레벨 리니지 (가장 중요)
• A.col1 → B.col3
• SUM, JOIN, FILTER, CASE 등 변환 로직 포함
• 실제 영향도 분석에 필수

4. 파이프라인 레벨 리니지
• ETL / ELT / Spark / dbt / Airflow
• 작업(Job) 단위 흐름 추적

⸻

데이터 리니지 개념 예시

아래는 가장 단순한 리니지 흐름 예시입니다.

[원천 DB]
  주문.amount
      │
      ▼ (ETL: SUM, GROUP BY)
[DW]
  daily_sales.total_amount
      │
      ▼
[BI 리포트]
  일별 매출

이 흐름이 보이면,
• “일별 매출 수치가 왜 바뀌었는지”
• “원천 주문 데이터 변경 영향이 어디까지 미치는지”
를 즉시 설명할 수 있습니다.

⸻

데이터 리니지와 헷갈리기 쉬운 개념들

구분                설명
Metadata 데이터에 대한 설명 정보 (이름, 타입, 설명 등)
Lineage         데이터의 흐름과 변환 경로
Catalog         메타데이터를 검색·탐색하는 UI
Observability 데이터 품질, 신선도, 이상 탐지

리니지는 메타데이터의 한 종류이자, 데이터 거버넌스의 핵심 기능입니다.

⸻

데이터 리니지는 어떻게 수집할까?

1. 자동 수집
• SQL 파싱 (Query Log 기반)
• ETL 도구 연계
(Airflow, dbt, Spark 등)

2. 반자동 / 수동 수집
• 배치 스크립트, 파이프라인 정의 기반
• 자동 수집이 어려운 복잡한 로직 보완용

대표적인 데이터 리니지 도구
• OpenMetadata
• Apache Atlas
• Collibra
• Microsoft Purview (Azure Purview)

⸻

실무에서 꼭 알아야 할 핵심 포인트

• 컬럼 레벨 리니지가 있어야 ‘진짜’ 쓸모가 있다
• SQL 중심 조직일수록 Query Log 기반 자동 리니지가 중요
• 리니지는 단순한 “그림”이 아니라
변경 대응·의사결정을 위한 도구

Azure OpenAI API를 API Management에 등록하는 방법 | Named Value 설정 팁 포함

제이비;) — Mon, 17 Mar 2025 01:42:15 +0900

Azure API Management에서 Azure OpenAI를 API로 등록하는 방법

Azure OpenAI서비스를 Azure API Management에 등록하면, 효율적으로 OpenAI API를 관리하고 보호할 수 있다.

1. 사전 준비

아래 사항은 준비되어 있는 환경에서의 가이드

- APIM 생성

- Open AI 리소스 생성

2. Azure OpenAI API 를 APIM API로 등록하기

<<Azure 리소스에서 직접 가져오기>>

API 추가: 'API' 메뉴에서 '+ API 추가'를 클릭합니다.
Azure 리소스에서 만들기: 'Azure OpenAI Service'를 선택합니다.
기본 사항 설정:
- Azure OpenAI 리소스 선택
- API 버전 선택 : 자동으로 선택 된다.
- 표시 이름 및 설명 추가
- Base URL 설정 (예: https://jbtest.azure-api.net/jbtest-oai/openai)
  - Improve SDK compatibility 체크박스에 체크 표시하여 OpenAI SDK 호환성(/openai) 보장하도록 한다.
정책 설정: 'azure-openai-token-limit' 및 'azure-openai-emit-token-metric' 정책을 추가해 토큰 사용량을 관리할 수 있습니다.
검토 및 생성: 설정을 확인하고 '만들기'를 클릭

3. Named Value를 사용한 OpenAI Key 등록 및 사용

1. Named Value 생성

Azure Portal에서 API Management 인스턴스를 선택합니다.
왼쪽 메뉴에서 Named values를 선택합니다.
'+ 추가'를 클릭하여 새 Named Value를 생성합니다.
이름: OPENAI_API_KEY
값: OpenAI API Key를 입력합니다.
비밀값(Secret) 옵션을 활성화하여 키를 암호화된 상태로 저장합니다.
'확인'을 클릭하여 Named Value를 저장합니다.

2. 정책에서 Named Value 사용하기

API Management에서 OpenAI API를 선택합니다.
정책(Policies) 편집기로 이동합니다.
다음과 같이 set-header 정책을 추가합니다

4. API 테스트

API 선택: 생성한 API를 선택합니다.
테스트 탭 이동: 상단 '테스트' 탭을 클릭합니다.
작업 선택: 배포한 모델과 호환되는 작업을 선택합니다.
매개 변수 입력: deployment-id와 api-version을 입력합니다.
요청 전송: 필요한 매개변수를 입력한 후 '보내기'를 클릭하여 API를 테스트합니다.

나의 경우는 내부모드로 구성하여, 테스트 기능에서 테스트가 불가했다.

APIM과 동일한 vnet에 존재하는 VM을 생성하여 테스트 했다.

Azure DevOps에서 브랜치 커밋 시 자동 배포 설정하는 방법

제이비;) — Thu, 13 Mar 2025 10:04:50 +0900

Azure DevOps Pipeline 자동화로 반복 업무 개선하기

반복 업무의 문제점

소프트웨어 개발 과정에서 자주 반복되는 작업 중 하나는 브랜치 생성 후 변경된 소스를 개발 환경에 배포하고, 검증 후 main 브랜치에 병합하여 운영 환경에 배포하는 일입니다.

이 과정에서 가장 번거로운 부분은 소스 코드 수정 후 매번 파이프라인을 수동으로 실행해야 한다는 점이었습니다. 이러한 반복적인 작업을 줄이기 위해 Azure DevOps Pipeline의 trigger 설정을 활용하여 자동화를 구현했습니다.

자동화 목표

특정 브랜치(dev/0313)에 커밋하면 자동으로 개발 환경에 배포하도록 설정
dev 브랜치 하위의 모든 브랜치에서도 자동으로 배포하도록 구성

기존 문제점

초기 파이프라인 설정은 다음과 같았습니다:

trigger: none

이렇게 설정하면 파이프라인이 자동으로 실행되지 않으며, 매번 수동으로 트리거해야 하는 번거로움이 있었습니다.

개선된 Pipeline 설정

Azure DevOps 파이프라인 YAML 파일에 다음과 같이 trigger 설정을 추가하여 자동화를 구현했습니다:

trigger:
  branches:
    include:
      - dev/0313
      - dev/*

설정 설명

trigger: 파이프라인 자동 실행 설정
branches: 자동 실행을 설정할 브랜치를 지정
include: 자동화 대상 브랜치를 지정
- dev/0313 → 특정 브랜치 지정
- dev/* → dev 하위의 모든 브랜치 포함 (예: dev/feature1, dev/bugfix123 등)

이렇게 설정한 후에는 dev/0313 브랜치에 커밋이 발생하면 자동으로 파이프라인이 실행되고, 개발 환경에 배포되는 과정을 자동화할 수 있습니다.

결론

이 설정을 통해 다음과 같은 장점을 얻을 수 있었습니다: ✅ 반복적인 수동 작업 감소 ✅ 배포 자동화로 실수 방지 ✅ 개발 속도 향상 및 편의성 개선

Azure DevOps의 trigger 설정을 통해 자동화된 배포 프로세스를 구축하면 더 효율적으로 개발에 집중할 수 있습니다. 여러분의 개발 환경에서도 비슷한 문제를 겪고 있다면 이러한 설정을 적극 활용해 보시기 바랍니다.

Azure Open AI로 GPT-4o모델 쓰면 비용이 얼마 나올까요?

제이비;) — Thu, 9 Jan 2025 21:34:21 +0900

써보기 전에는 이해가 안가는 AI 비용 정책

질문에 답을 찾는 자료 찾기

참고자료.

https://www.youtube.com/watch?v=SHB-qKxjooM

https://azure.microsoft.com/ko-kr/pricing/details/cognitive-services/openai-service/

Azure OpenAI 서비스 - 가격 책정 | Microsoft Azure

Azure Open AI Service 가격 책정 정보입니다. 무료 Azure 계정으로 인기 서비스를 사용해 보고 선불 비용 없이 종량제로 결제하세요.

azure.microsoft.com

Azure OpenAI 서비스는 고객이 GenAI 애플리케이션을 구축할 수 있도록 다양한 배포(Deployment) 옵션을 제공합니다.

주요 배포 옵션은 Standard, Batch, Provisioned로 나뉩니다.

1. Standard : 쓴 만큼 낸다.

2. Batch

3. Provisioned : 약정으로 싸게 주세요.

처음 사용한다면 Standard 배포 옵션으로 사용한다고 보면 된다.

Standard 모델:
중소규모의 비정기적인 트래픽에 적합하며, API 호출 시 사용한 토큰에 따라 비용을 지불하는 방식입니다. 글로벌 배포(전 세계 최적의 사용자 경험 제공) 또는 지역별 배포(데이터 처리 위치 제어 가능) 중 선택할 수 있습니다.
Batch 모델:
대량 추론 작업에 적합하며, 비용을 Standard 모델 대비 최대 50% 절감할 수 있습니다. 글로벌 배치 모델로 배포한 후, 배치 파일을 업로드하고 비동기식으로 처리 진행 상황을 추적할 수 있습니다. 모든 작업은 24시간 내 완료됩니다.
Provisioned 모델:
일관된 성능과 처리 용량이 필요한 대규모 AI 워크로드에 적합합니다. 이 모델은 예측 가능한 지연 시간과 낮은 변동성을 제공하며, 시간 단위, 월 단위 또는 연간 약정 시 할인 혜택을 받을 수 있습니다.

Azure에서 안내하는 가격정보를 보면

100만 토큰 기준 Input / Caced Input / Output 에 따라 비용이 발생한다.

쉽게 말하면 입력과 출력 모두 토큰 비용이 발생한다!!

Cached Input은 뭔가 해서 찾아보니 인간미 있는 정책이 있다니.

참고. Cached Input(캐시된 입력) 이란?

**Cached Input(캐시된 입력)**이란 이전과 동일한 입력을 재사용할 때, 비용이 할인되는 모델의 비용 구조를 의미합니다.
Azure OpenAI 서비스에서 GPT-4o 모델은 동일한 입력이 다시 사용될 경우, 일반 입력 비용의 절반 수준으로 비용이 줄어듭니다.

참고.1M 토큰의 실제 텍스트 양

1M 토큰 = 100만 토큰을 의미합니다.
일반적인 영어 텍스트 기준으로, 750~800개의 단어가 약 1,000개 토큰에 해당합니다.
- 1M 토큰 ≈ 약 750,000~800,000 단어 수준입니다.

참고.1M 토큰으로 처리할 수 있는 대략적인 텍스트 양

언어단어 수 기준 (약)텍스트 분량 예시

영어	약 750,000~800,000 단어	소설 1~2권 분량
한글	약 600,000~650,000 단어	블로그 글 1,000개 분량
코드 (프로그래밍)	약 500,000~600,000 단어	코드 주석 포함 프로젝트

(아래) GPT-4o Global Deployment 형태로 사용할 경우 가격 정책