Data Engineering Weekly #285
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| AI Chip Architectures | jepeake.com | Hennessy·Patterson이 2018년에 예언한 “컴퓨터 아키텍처의 캄브리아기 대폭발” 이 현실이 되었고, 실제로 배포에 성공한 여섯 아키텍처(NVIDIA/AMD GPU, TPU, Tra… |
| Beyond the Dashboard - Accelerating Real-Time Intelligence in the Age of AI | Kostiantyn Okhrimenko (Booking.com) · medium.com | LLM을 raw 데이터 레이크에 겨누는 것으로는 안 되고 Snowflake Semantic View(시맨틱 레이어) + Agent + Git-flow 거버넌스를 결합해야 “Talk to your… |
| Compaction Maps | Chris Douglas · cdouglas.github.io | Compaction은 논리적으로 noop인데도 옛 레이아웃을 참조하는 동시 트랜잭션을 무효화해 재실행을 강요하는데, 옛 레이아웃 → 새 레이아웃 position 매핑을 기록한 작은 자료구조(co… |
| Data Mesh at Grab Part III - Operationalizing Data Reliability with Automated DPIs | Harvey Li (Grab) · engineering.grab.com | 인증(certification)은 런타임 실패를 제거하지 않으므로, contract 위반을 구조화된 Data Production Issue(DPI) 로 전환해 triage → RCA → 오너 할… |
| Making Your Data Ready for Agentic AI | Pramod Sadalage, Prem Chandrasekaran (Thoughtworks) · martin | 인간은 이상해 보이는 데이터에서 멈추지만 에이전트는 그냥 행동한다 — 30년간 인간을 위해 만든 데이터 아키텍처를 전혀 다른 소비자에게 넘기는 지금, 사람이 공짜로 해주던 다섯 가지 일(신뢰·맥… |
| Project Lighthouse Part 3 - project-lighthouse-anonymize | Adam Bloomston (Airbnb) · medium.com | Airbnb가 플랫폼 차별을 측정하기 위해 쓰는 k-익명화 파이프라인을 오픈소스로 공개하고, 확장 가능한 알고리즘(Core Mondrian)과 “익명화된 데이터가 분석에 충분히 좋은가”를 판정하… |
| The Shape and Feel of the Post-AI Data Stack | Ian Macomber (Ramp) · iandmacomber.com | AI는 분석 생산을 싸게 만들지만 현실에 합의하는 것을 싸게 만들지 않는다 — 데이터 스택 진화의 매 단계가 데이터 사이언티스트의 blast radius를 넓혀왔고, post-AI 시대의 희소… |
| The Small-File Problem Gets Worse with CDC | streambed.dev | CDC는 “작은 배치 → 커밋”의 반복이라 커밋당 메타데이터 비용이 지배적인데, DuckDB가 이미 쿼리 엔진이라면 카탈로그 메타데이터를 오브젝트 스토어 파일이 아니라 DB에 두는 DuckLak… |
| Writing Parquet That VertiPaq Likes | mim (datamonkeysite) · datamonkeysite.com | Direct Lake는 Parquet을 컬럼 단위로 on-demand transcode하므로 쿼리 레이턴시와 용량 소비가 “Parquet을 어떻게 썼는가”의 속성이 되고, 핵심은 row grou… |
상위: index