Data Eng Wiki

index

30 min read

Data Eng Wiki

Data Engineering Weekly 아티클에서 추출한 개념과 인사이트를 정리하는 위키

Topics

토픽설명
AI in Data EngineeringAI/LLM이 데이터 엔지니어링을 변화시키는 방식
Data Infrastructure Patterns대규모 데이터 시스템의 반복 아키텍처 패턴
Data Reliability and Trust파이프라인 전반의 데이터 정확성·일관성·신뢰 확보 전략
LLM in ProductionLLM 학습·서빙·평가·검색의 프로덕션 엔지니어링 패턴
Data Team Operations데이터 팀의 일상 운영, 도구 스프롤, 비즈니스 가치 연결
Data Engineering in 20262026년 DE 산업의 주요 전환점과 벤치마크 조감
ML Systems and Recommendations대규모 랭킹·추천·검색 ML 시스템의 아키텍처와 임베딩
Agentic AI EngineeringAI 에이전트의 정체성·보안·격리·컨텍스트 운영 인프라
Storage and Compute Architecture시스템·워크로드·스토리지 티어가 수렴하는 아키텍처
Semantic and Ontology Stack지표·엔티티·온톨로지·capability 다섯 아티팩트의 구분과 트레이드오프
Evaluation and Measurement”작동했는지 어떻게 아는가”와 측정 장치 자체의 검증
Cost and Efficiency비용 레버·비대칭 원칙과 튜닝으로 넘을 수 없는 선

개념 위키

페이지핵심 키워드한 줄 설명
AI AgentLLM, autonomous, tool calling, evalLLM 기반 자율 다단계 작업 수행 시스템
AI Self-Serve AnalyticsNL2SQL, self-serve, PM비기술 사용자가 AI로 직접 데이터를 질의하는 패턴
Ad Tech Data InfrastructureCTV, targeting, attribution광고 타겟팅·전달·측정 데이터 파이프라인
Change Data CaptureCDC, Debezium, WAL, binlog소스 DB 변경분만 감지하여 전파하는 패턴
Context Engineeringcontext window, anchoring, memoryLLM 컨텍스트 윈도우를 효율적으로 관리하는 기법
Data Scientist Role in AI Eraeval, experiment, data modelingLLM 시대에도 데이터 과학 기초가 핵심인 이유
DuckDBOLAP, embedded, transpilation로컬 실행 최적화된 임베디드 분석 DB
Feature StoreML feature, online/offline, servingML 피처를 중앙화하여 저장·제공·관리하는 인프라
LLM Evaluationeval, metrics, DSPy, pytestLLM 시스템 품질을 체계적으로 측정하는 프레임워크
LLM-as-Judgerelevance, scoring, automationLLM을 평가자로 활용하여 대규모 판정하는 기법
MCP (Model Context Protocol)protocol, tool calling, registryAI 에이전트의 외부 도구 접근 표준 프로토콜
Medallion ArchitectureBronze, Silver, Gold, lakehouse3계층으로 데이터를 점진적으로 정제하는 패턴
ML Ranking SystemsMMoE, Bayesian, multi-objective다중 목표를 최적화하는 ML 순위 시스템
Multimodal Searchvideo, HNSW, cross-modal여러 모달리티를 통합하여 검색하는 시스템
Query Optimizationquery plan, statistics, routing쿼리 비용 절감을 위한 계획 수립과 라우팅
Real-Time Stream Processingstreaming, watermark, Flink, Spark이벤트 스트림 실시간 처리 시스템
Semantic Layermetrics, business meaning, ECL데이터에 비즈니스 의미를 부여하는 계층
Spark at ScaleKubernetes, shuffle, FinOps대규모 Spark 운영 아키텍처와 최적화
Transactional Outbox Patternoutbox, exactly-once, SQLiteDB 트랜잭션과 메시지 발행의 원자성 보장 패턴
Knowledge Representationontology, taxonomy, context graph데이터에 구조화된 의미를 부여하는 체계
Data GovernancePII, compliance, LLM detection데이터 보안·프라이버시·컴플라이언스 관리 체계
Catalog-Managed TablesDelta Lake, Iceberg, Unity Catalog, lakehouse카탈로그를 테이블 ID·발견·접근 제어의 권위 있는 시스템으로 활용
Spot Instance ManagementSpot, Karpenter, Spark, cost, reliabilitySpot 인스턴스 비용 절감과 인터럽션 위험의 균형 패턴
Generative Recommender Systemsautoregressive, sequence, RoPE, negative sampling사용자 행동 시퀀스를 자기회귀 모델로 처리하는 추천 시스템
Columnar Execution EngineVelox, Gluten, SIMD, vectorized, C++JVM 오버헤드를 우회하는 C++ 기반 벡터화 실행 엔진
Database Concurrency ControlBlink-tree, B-tree, latch, SMO, PostgreSQL고동시성 DB 인덱스 운영을 위한 락 전략과 알고리즘
Semi-Structured DataParquet Variant, JSON, shredding, offset유연한 스키마 데이터를 효율적으로 저장·쿼리하는 패턴
Distributed Systems ReliabilityClickHouse, quota, silent failure, monitoring분산 시스템의 조용한 장애와 리소스 고갈 방지 패턴
RAGGraph RAG, LAD-RAG, hybrid searchLLM의 지식 한계를 외부 문서 검색으로 보완하는 패턴
LLM Fine-TuningSFT, LoRA, QLoRA, post-training사전 학습 LLM을 도메인 데이터로 추가 학습하는 기법
Data Quality and Validationcanary, layered validation, AI query데이터 파이프라인 각 단계의 정확성·일관성 검증 체계
Data Contractsschema, quality, SLA, semantic생산자-소비자 간 구조·품질·SLA를 명시하는 합의
Object Storage EvolutionS3, Files, Tables, Vectors, stage-and-commitS3의 멀티모달 데이터 플랫폼 진화
A-B Testing and ExperimentationA/B test, power, pre-registration, quality대규모 실험의 설계·실행·의사결정 품질 확보
Data Engineering FinOpsSpot, S3 shuffle, DuckDB, cost attribution데이터 인프라 컴퓨트·스토리지 비용 최적화 전략
Silent Failures and Data Integritysilent failure, canary, exactly-once, monitoring에러 없이 데이터가 유실되는 조용한 장애 탐지·방지
Data Mesh and Federationfederation, domain ownership, pointer, ACL모놀리식 DWH를 도메인별로 분리하는 아키텍처
Schema EvolutionDDL, versioning, backward compatibility, Iceberg프로덕션 스키마를 안전하게 변경하는 패턴
Distributed SQL Engine OperationsTrino, Gateway, routing, workload isolation멀티클러스터 SQL 엔진 라우팅과 운영 관리
Data Pipeline Fundamentalspipeline, backfill, full refresh, incremental, WAP파이프라인 유형·로딩 전략·구축 요소·운영 현실
AI-Ready DataAI-ready, analytics-ready, maturity, context, completeness모델/에이전트가 효과적으로 추론할 수 있도록 최적화된 데이터 상태
LLM Platform Engineeringvelocity, reliability, trust, tool registry, MCPLLM 프로덕션 시스템의 반복·안정성·품질 인프라
Data SketchesHyperLogLog, Theta, KLL, probabilistic, cardinality대규모 스트림에서 근사 통계를 추출하는 확률적 자료구조
Self-Healing Pipelinesauto-recovery, CDC, OOM, cascading, Halodoc파이프라인 장애를 자동 감지·복구하는 6-레이어 시스템
ML Metadata and DiscoveryNetflix, AIP URI, Datomic, lineage, graphML 자산 메타데이터 통합·발견·영향 분석 인프라
Query ProxygRPC, federation, Parquet, guardrail, cache서비스·에이전트의 분석 백엔드 통합 프록시
Large-Scale Data Migrationshadow, reverse-shadow, CDC, rollback, Meta대규모 데이터 시스템 마이그레이션 전략과 패턴
Knowledge Graph InfrastructureJanusGraph, Gremlin, graph-aware transformer, fanout엔티티 관계를 대규모로 저장·질의하는 그래프 인프라
Causal InferenceDoubleML, ATE, CATE, confounding, placebo testA/B 불가 시 관찰 데이터로 인과효과를 추정
Multimodal Data Processing EngineRay Data, Daft, GPU, Lance, batch inference멀티모달 데이터를 CPU+GPU 파이프라인으로 배치 처리
Data Pipeline Testingshift-left, workflow simulator, DAG, assertion풀스택 없이 통합 로직을 조기 검증하는 전략
AI Agent Identity and SecuritySPIRE, STS, JWT, actor chain, provenanceAI 에이전트에 검증 가능한 정체성·감사 추적 부여
World Modelsrenderer, simulator, planner, POMDP, spatial공간·시간을 렌더·시뮬레이트·계획하는 모델 분류
Partition Sizing and Managementwide partition, chunk, part count, repartition파티션·청크 크기가 성능을 좌우, 동적 관리 필요
Workflow OrchestrationAirflow, DAG, fault isolation, EMR sensor파이프라인 스케줄링·의존성·재시도·관측성 관리
Data Modelingseparate vs monolithic, dimensional, namespace비즈니스를 테이블·관계로 구조화하는 설계
Analytics Engineeringdbt, slim CI, contract, model health, mesh변환 코드를 SW 엔지니어링 규율로 관리
Entity Resolutionblocking, pairwise, survivorship, golden record이종 소스의 같은 엔티티를 단일 레코드로 통합
IdempotencyMERGE, deterministic key, exactly-once, retry-safe몇 번 실행해도 같은 최종 상태를 보장하는 성질
Semantic IDsRQ-VAE, codeword, contrastive, generative retrieval임베딩을 계층적 정수 코드로 압축한 아이템 vocabulary
Storage-Workload Architecture TaxonomyOLTP, OLAP, HTAP, LTAP, tiering, materializing시스템·워크로드·스토리지 티어로 아키텍처를 분류
Customer Data Platformsegment, consent, Theta sketch, hash, DynamoDB흩어진 고객 데이터를 세그먼트화해 저지연 서빙
Disaggregated OLTP ArchitectureLakebase, SafeKeeper, PageServer, WAL 분리OLTP를 로그·페이지·컴퓨트로 쪼개 독립 확장
Durable Executionworkflow, checkpoint, pg_durable, Temporal실패·재시작을 넘어 살아남는 실행 상태
Loop Engineeringagent harness, prompt, self-correct, tool에이전트를 프롬프트하는 시스템을 설계하는 규율
AI Training StorageTectonic, checkpoint, GPU, exabyte, MetaGPU를 굶기지 않는 AI 학습용 스토리지 설계
Replay Testingshadow, production traffic, Spark, diff실제 트래픽을 재생해 신구 시스템을 비교 검증
Tokenization Economicstoken, language tax, cost, tokenizer언어·표현에 따라 달라지는 토큰 비용 구조
Agentic Data VisualizationFlint, grammar, LLM, chart spec에이전트가 생성·수정하는 시각화 언어
Direct Lake and VertiPaqframing, fallback, row group, V-Order, encoding_statsDirect Lake의 조용한 폴백과 VertiPaq 친화 Parquet
Recommendation Impact Measurementpropensity score, ATE, diversion ratio, exposure추천의 진짜 증분 효과를 분해해 측정
Incremental Materializationindex, graph, refresh, Razorpay전체 재계산 없이 변경분만 갱신
Puffin-Backed Derived DataPuffin, sidecar, vector index, Iceberg테이블 포맷 사이드카에 파생 데이터를 두는 패턴
Enterprise Knowledge SearchCerebras, connector, permission, freshness사내 지식을 권한 인지 검색으로 통합
Human-in-the-Loop Labelingcrowdsource, rater, rationale, threshold사람 판단을 시스템에 구조적으로 엮는 방법
Spatial Data EngineeringPostGIS, geometry, spatial ETL, index지리 데이터의 파이프라인·인덱싱·조인
Knowledge Spineontology, single source of truth, semantic backbone조직의 의미를 잇는 지식 척추
Agent-Native Data Exchangeagent, per-agent DB, protocol, exchange에이전트가 일급 소비자인 데이터 교환 설계
Open Source Data StackOSS, modern data stack, tool landscape오픈소스만으로 구성하는 데이터 스택 지형
Agent Skills and Paved Pathsskill, paved path, Kafka, platform반복 워크플로를 에이전트 skill로 포장하기
Lake Point Query Indexingpoint lookup, secondary index, Hudi, lake레이크 위 저지연 단건 조회를 위한 인덱싱
Crowdsourced Graph Verificationtaxonomy, crowdsource, graph, verification지식 그래프를 군중 검증으로 유지하는 패턴
Semantic Control Planesemantic layer, control plane, governance, agent시맨틱을 레이어가 아닌 control plane으로
Ontology-Backed Knowledge GraphsTBox, ABox, discover-then-formalize, Ossie온톨로지가 뒷받침하는 지식 그래프 구축
Declarative Data Engineeringimperative→declarative, Spark pipelines, intent무엇을 원하는지 선언하고 실행은 엔진에
Multiagent Coordinationmultiagent, failure mode, orchestration, context다중 에이전트가 실패하는 지점과 조율 패턴
Object-Storage-Native WALwal3, conditional write, setsum, lock-free, S3오브젝트 스토리지 위 lock-free WAL과 자기 검증
Vector Database Selectionrecall@k, filtered a-KNN, P99, benchmark ownership벡터 DB를 프로덕션 형태로 직접 평가하기
Stream AutoscalingTPR, busy time, Flink autoscaler, stabilization스트리밍 잡의 오토스케일링과 스케일다운 비대칭
Compaction Conflict Resolutioncompaction map, position delete, rebase, Iceberg재실행 없이 레이아웃 충돌을 remap으로 수리
Privacy-Preserving Analyticsk-anonymity, p-sensitive, Mondrian, RILM, NMIv1익명화와 그 품질을 함께 게이트하는 체계
AI Accelerator Architecturememory wall, GEMM/GEMV, TPU, WSE, LPU, HBMAI 칩 여섯 아키텍처와 워크로드 shape
Consensus Engineeringconsensus divergence rate, llms.txt, trace, agent-agnostic희소 자원이 된 합의를 측정·엔지니어링하기
Data Incident OperationsDPI, triage, Data Health API, auto-heal, MTTRcontract 위반을 인시던트 워크플로로 운영
Agentic ML Modelinghypothesis space, leakage, cheating, multiple testing에이전트가 모델링하는 루프와 새 실패 모드
Control Plane Cardinalitysegment group, Helix, IdealState, coordination unit저장 단위와 조율 단위를 분리해 확장
Designing for Source Driftlog vs mirror, fingerprint, JSON overflow, bronze계약 없는 messy 소스를 전제로 설계
Resources - Data Engineering Newslettersnewsletter, blog, source list참고하는 뉴스레터·블로그 출처 모음

아티클 인덱스

아티클 요약 308건. 이슈별 _index.md에 제목·출처·한 줄 요약 표가 있다.

Data Engineering Weekly

  • [[Articles/data_engineering_weekly/dew_286/_index|#286]] (10) · [[Articles/data_engineering_weekly/dew_285/_index|#285]] (9) · [[Articles/data_engineering_weekly/dew_284/_index|#284]] (10) · [[Articles/data_engineering_weekly/dew_283/_index|#283]] (9) · [[Articles/data_engineering_weekly/dew_282/_index|#282]] (9) · [[Articles/data_engineering_weekly/dew_281/_index|#281]] (10)
  • [[Articles/data_engineering_weekly/dew_280/_index|#280]] (10) · [[Articles/data_engineering_weekly/dew_279/_index|#279]] (10) · [[Articles/data_engineering_weekly/dew_278/_index|#278]] (8) · [[Articles/data_engineering_weekly/dew_277/_index|#277]] (10) · [[Articles/data_engineering_weekly/dew_276/_index|#276]] (10) · [[Articles/data_engineering_weekly/dew_275/_index|#275]] (9)
  • [[Articles/data_engineering_weekly/dew_274/_index|#274]] (9) · [[Articles/data_engineering_weekly/dew_273/_index|#273]] (9) · [[Articles/data_engineering_weekly/dew_272/_index|#272]] (9) · [[Articles/data_engineering_weekly/dew_271/_index|#271]] (9) · [[Articles/data_engineering_weekly/dew_270/_index|#270]] (10) · [[Articles/data_engineering_weekly/dew_269/_index|#269]] (9)
  • [[Articles/data_engineering_weekly/dew_268/_index|#268]] (9) · [[Articles/data_engineering_weekly/dew_267/_index|#267]] (9) · [[Articles/data_engineering_weekly/dew_266/_index|#266]] (9) · [[Articles/data_engineering_weekly/dew_265/_index|#265]] (8) · [[Articles/data_engineering_weekly/dew_264/_index|#264]] (10) · [[Articles/data_engineering_weekly/dew_263/_index|#263]] (10)
  • [[Articles/data_engineering_weekly/dew_262/_index|#262]] (10) · [[Articles/data_engineering_weekly/dew_261/_index|#261]] (9) · [[Articles/data_engineering_weekly/dew_260/_index|#260]] (9) · [[Articles/data_engineering_weekly/dew_259/_index|#259]] (10) · [[Articles/data_engineering_weekly/dew_258/_index|#258]] (9) · [[Articles/data_engineering_weekly/dew_257/_index|#257]] (9)
  • [[Articles/data_engineering_weekly/dew_256/_index|#256]] (9)

기타 출처

키워드 역인덱스

찾는 주제의 키워드로 관련 개념 페이지를 바로 고른다. 페이지는 관련도 순.

스토리지 · 테이블 포맷

스트리밍 · 인제스천

컴퓨트 · 쿼리 엔진

OLTP · DB 내부

AI · 에이전트

시맨틱 · 지식

품질 · 신뢰성

측정 · 실험

운영 · 비용 · 조직

Concept Map

AI Agent ──── MCP (Model Context Protocol)
  │  │
  │  └── Context Engineering ──── Semantic Layer
  │         │
  │         └── Data Scientist Role in AI Era
  │
  ├── LLM-as-Judge ──── LLM Evaluation
  │
  └── AI Self-Serve Analytics ──── Semantic Layer (Context Layer)

Real-Time Stream Processing ──── Change Data Capture
  │                                    │
  ├── Feature Store              Transactional Outbox Pattern
  │
  └── Spark at Scale ──── Query Optimization ──── DuckDB

Medallion Architecture ──── Semantic Layer ──── Knowledge Representation
                                                      │
                                               Context Engineering

ML Ranking Systems ──── Ad Tech Data Infrastructure
  │
  └── Generative Recommender Systems

Multimodal Search ──── ML Ranking Systems
  │
  └── Generative Recommender Systems

Data Governance ──── Data Contracts
  │                      │
  └── Data Mesh and Federation
                         │
                   Catalog-Managed Tables ──── Semi-Structured Data ──── Schema Evolution
                     │
                     └── Distributed Systems Reliability

Columnar Execution Engine ──── Spark at Scale

Database Concurrency Control ──── Query Optimization

Spot Instance Management ──── Distributed Systems Reliability
  │
  └── Data Engineering FinOps ──── DuckDB

Silent Failures and Data Integrity ──── Distributed Systems Reliability
  │
  └── Data Quality and Validation

Distributed SQL Engine Operations ──── Query Optimization

RAG ──── AI Agent
  │         │
  └── Knowledge Representation
            │
      Context Engineering

LLM Fine-Tuning ──── LLM Evaluation
  │
  ├── Generative Recommender Systems
  │
  └── AI Agent (Shopify Flow agent fine-tuning)

Data Quality and Validation ──── Data Contracts
  │                                    │
  ├── Distributed Systems Reliability  └── Semantic Layer
  │
  └── A-B Testing and Experimentation

Object Storage Evolution ──── Catalog-Managed Tables
                                │
                          Spark at Scale

Data Pipeline Fundamentals ──── Change Data Capture
  │                                │
  ├── Data Quality and Validation  Medallion Architecture
  │
  ├── Data Engineering FinOps
  │
  ├── Schema Evolution ──── Silent Failures and Data Integrity
  │
  └── Data Scientist Role in AI Era

AI-Ready Data ──── AI Self-Serve Analytics
  │                      │
  ├── Semantic Layer     Data Governance
  │
  └── Context Engineering

LLM Platform Engineering ──── AI Agent
  │                              │
  ├── LLM Evaluation       MCP (Model Context Protocol)
  │
  └── LLM-as-Judge

Data Sketches ──── Query Optimization
  │
  └── Real-Time Stream Processing

Self-Healing Pipelines ──── Data Pipeline Fundamentals
  │                              │
  ├── Data Quality and Validation  Change Data Capture
  │
  └── Spark at Scale

ML Metadata and Discovery ──── Feature Store
  │
  ├── Data Governance
  │
  └── Data Mesh and Federation

Query Proxy ──── Query Optimization
  │                    │
  ├── DuckDB           Distributed SQL Engine Operations
  │
  └── Data Pipeline Fundamentals

Large-Scale Data Migration ──── Data Pipeline Fundamentals
  │                                  │
  ├── Change Data Capture        Data Quality and Validation
  │
  ├── Silent Failures and Data Integrity
  │
  └── Catalog-Managed Tables (Netflix Cassandra→Iceberg, Decider 패턴)

Knowledge Graph Infrastructure ──── Knowledge Representation
  │                                       │
  ├── ML Ranking Systems (graph-aware transformer)
  │
  ├── Distributed Systems Reliability (high-fanout, long-tail)
  │
  └── Data Governance (identity graph, Trust & Safety)

Causal Inference ──── A-B Testing and Experimentation
  │                          │
  ├── ML Ranking Systems     LLM Evaluation (Bradley-Terry)
  │
  └── Data Scientist Role in AI Era

Multimodal Data Processing Engine ──── Multimodal Search
  │                                          │
  ├── Spark at Scale                   Feature Store
  │
  └── Catalog-Managed Tables (Iceberg + Lance)

AI Agent Identity and Security ──── AI Agent
  │                                     │
  ├── MCP (Model Context Protocol)   Data Governance (Least-Privilege Gateway)
  │
  └── LLM Platform Engineering

Data Pipeline Testing ──── Data Pipeline Fundamentals
  │                              │
  ├── Data Quality and Validation  Large-Scale Data Migration (shadow 철학 공유)
  │
  └── Real-Time Stream Processing (Flink Shadow Testing)

World Models ──── AI Agent (planner = 의사결정)
  │                   │
  ├── Multimodal Data Processing Engine
  │
  └── Knowledge Representation

Partition Sizing and Management ──── Query Optimization
  │                                       │
  ├── Distributed Systems Reliability  Database Concurrency Control (lock contention)
  │
  └── Knowledge Graph Infrastructure (Netflix TimeSeries)

Workflow Orchestration ──── Data Pipeline Fundamentals
  │                              │
  ├── Large-Scale Data Migration  Data Mesh and Federation (멀티팀 DAG)
  │
  └── Self-Healing Pipelines

Data Modeling ──── Semantic Layer
  │                   │
  ├── Medallion Architecture
  │
  ├── Analytics Engineering (dbt 구현)
  │
  └── AI Self-Serve Analytics (canonical 모델 전제)

AI Self-Serve Analytics ──── Semantic Layer
  │                              │
  ├── Entity Resolution      Data Governance
  │       │
  │       └── AI-Ready Data
  │
  ├── Analytics Engineering (governed 모델 enforce)
  │
  └── LLM Evaluation (offline/online eval)

Idempotency ──── Silent Failures and Data Integrity
  │                   │
  ├── Medallion Architecture (레이어별 보장)
  │
  ├── Change Data Capture (at-least-once)
  │
  └── Data Pipeline Fundamentals (백필·재실행 안전)

Semantic IDs ──── Generative Recommender Systems
  │                    │
  ├── Multimodal Search  ML Ranking Systems
  │
  └── Knowledge Representation (taxonomy supervision)

Storage-Workload Architecture Taxonomy ──── Real-Time Stream Processing
  │                                              │
  ├── Catalog-Managed Tables               Database Concurrency Control
  │
  ├── Data Modeling (3NF vs Kimball)
  │
  └── DuckDB

Customer Data Platform ──── Entity Resolution
  │                              │
  ├── Data Sketches (Theta 추정)  Data Governance (consent)
  │
  ├── Ad Tech Data Infrastructure
  │
  └── Workflow Orchestration

AI Agent Identity and Security ──── AI Agent
  │ (Uber STS provenance + Grab Palana 격리)
  ├── MCP (Model Context Protocol)
  │
  └── Data Governance

── dew_277~286 클러스터 ──────────────────────────────

[의미·컨텍스트 스택]
Knowledge Spine ──── Semantic Control Plane ──── Semantic Layer
  │                        │
  ├── Ontology-Backed Knowledge Graphs ──── Knowledge Graph Infrastructure
  │        │                                      │
  │        └── Knowledge Representation      Crowdsourced Graph Verification
  │
  ├── Enterprise Knowledge Search ──── RAG
  │
  └── AI-Ready Data ──── Data Contracts
           │ (Trusted/Contextual/Traceable/Governed/Operational)
           ├── Medallion Architecture (Adaptive Gold)
           │
           ├── MCP (Model Context Protocol) (capability model)
           │
           └── AI Agent Identity and Security (lethal trifecta)

Consensus Engineering ──── Semantic Layer
  │ (consensus divergence rate)
  ├── LLM Evaluation ──── LLM-as-Judge (RART, 드리프트 밴드)
  │                            │
  │                      Human-in-the-Loop Labeling
  ├── Agent-Native Data Exchange ──── Agent Skills and Paved Paths
  │
  ├── AI Self-Serve Analytics
  │
  └── Multimodal Data Processing Engine (의미의 pre-modeling)

[에이전트 실행]
Loop Engineering ──── AI Agent
  │
  ├── Multiagent Coordination ──── Agentic ML Modeling
  │                                     │
  ├── Durable Execution                LLM Evaluation (leakage·cheating·다중검정)
  │        │
  │        └── Stream Autoscaling (workflow-per-job)
  │
  └── Large-Scale Data Migration (supervised agentic migration)

[스토리지·테이블 포맷]
Compaction Conflict Resolution ──── Catalog-Managed Tables
  │                                       │
  ├── Partition Sizing and Management  Puffin-Backed Derived Data
  │                                       │
  ├── Control Plane Cardinality      Lake Point Query Indexing
  │        │
  │        └── Distributed SQL Engine Operations
  │
  └── Incremental Materialization

Object-Storage-Native WAL ──── Object Storage Evolution
  │
  ├── Database Concurrency Control (CAS, lock-free)
  │
  ├── Silent Failures and Data Integrity (setsum 자기 검증)
  │
  └── Disaggregated OLTP Architecture ──── Storage-Workload Architecture Taxonomy

Direct Lake and VertiPaq ──── Partition Sizing and Management
  │ (row group 2~6M, encoding_stats, V-Order)
  ├── Query Optimization        DuckDB
  │
  └── Silent Failures and Data Integrity (조용한 폴백)

[스트리밍·운영]
Stream Autoscaling ──── Real-Time Stream Processing
  │
  ├── Data Engineering FinOps ──── Spot Instance Management
  │
  └── Self-Healing Pipelines ──── Data Incident Operations
                                       │
                                 Data Contracts ──── Data Mesh and Federation

Designing for Source Drift ──── Schema Evolution
  │
  ├── Medallion Architecture (bronze = 절대 실패 안 함)
  │
  ├── Idempotency (행 fingerprint)
  │
  └── Data Pipeline Fundamentals

Declarative Data Engineering ──── Data Pipeline Fundamentals
  │
  └── Workflow Orchestration

[AI 인프라·측정]
AI Accelerator Architecture ──── AI Training Storage
  │
  ├── Tokenization Economics ──── LLM Platform Engineering
  │
  └── Columnar Execution Engine (컴파일러 주도 실행)

Vector Database Selection ──── Multimodal Search
  │
  ├── RAG                    Query Proxy (백엔드 전환 추상화)
  │
  └── Puffin-Backed Derived Data (대안 저장 위치)

Recommendation Impact Measurement ──── A-B Testing and Experimentation
  │
  ├── Causal Inference        ML Ranking Systems
  │
  └── Generative Recommender Systems

Privacy-Preserving Analytics ──── Data Governance
  │
  ├── Data Quality and Validation (임계 게이트)
  │
  └── Causal Inference

[기타]
Agentic Data Visualization ──── AI Self-Serve Analytics
Spatial Data Engineering ──── Data Modeling
Open Source Data Stack ──── Data Engineering FinOps
Replay Testing ──── Data Pipeline Testing ──── Large-Scale Data Migration

최종 업데이트: 2026-09-09 | 아티클 308개 | 위키 98개 | 토픽 12개 | 키워드 77개

그래프 뷰

백링크