Data Projects: Managing Data Assets at Netflix Scale
Author: Netflix Technology Blog (Amer Hesson, Marcelo Mayworm, James Mulcahy, Brittany Truong) | Source: Netflix Tech Blog | Published: 2026-05-12
한 줄 요약
Netflix가 개별 에셋·개인 ID 단위의 데이터 접근 관리를 “Data Project”라는 내구적 컨테이너로 격상하여 조직 변화에 강건한 거버넌스를 구현한 사례.
핵심 주장/내용
- 개인 ID에 묶인 워크플로는 인원 변동(팀 이동·퇴사) 시 연쇄 장애 유발 — 수만 개의 스케줄 워크로드에서 지속 불가
- Data Project = (1) 관련 에셋의 논리적 컨테이너 + (2) 인간 수명주기와 무관한 합성 ID(Netflix app identity + IAM role)
- Gravity: 프로젝트 ID로 실행된 워크로드가 생성한 에셋이 자동으로 해당 프로젝트에 귀속
- Grant & Role 모델: User/Group/App/CI를 Contributor·Viewer 등 역할로 프로젝트 단위 접근 관리
- Maestro(워크플로 오케스트레이터)가 TWM으로서 프로젝트 ID 토큰을 발급하여 워크로드 실행
주요 수치 / 사실
- 일부 프로젝트가 이미 수만 개의 에셋을 프로덕션에서 관리
- 향후 비데이터 에셋(GitHub 리포, Docker 이미지 등)으로 확장 예정
- Rightsizing(실 사용 패턴 기반 권한 자동 축소) 개발 중
관련 위키
Source: 원문 보기