Data Engineering Weekly #274
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Building an AI Database for Agentic GTM Operations at Rippling | John Kutay (Rippling) · Medium | Rippling이 GTM 데이터를 단일 lakehouse로 재구축해 ML 기반 entity resolution·실시간 자연어 인터페이스(Genie)·시맨틱 검색을 결합하고, “DRY(E)” 원칙… |
| DataAgents - 9 Months of Analysis into 10 Days at Capital One | Capital One Tech · Medium (Capital One Tech) | 권위 있는 데이터 프로덕트 + AI 에이전트 + human 검증 루프(DataAgent)로 350개 클라우드 리소스 타입의 dormancy 탐지 로직을 6~9개월에서 10일로 단축한 재사용 가능… |
| How Anthropic Enables Self-Service Data Analytics with Claude | Anthropic Data Science/Engineering team · claude.com | Anthropic이 비즈니스 분석 쿼리의 95%를 Claude로 ~95% 정확도로 자동화한 비결은, 정확성을 “코드 생성”이 아닌 컨텍스트·검증 문제로 보고 data foundations → s… |
| MUSE - Semantic Search for LinkedIn Hiring Assistant | LinkedIn Engineering · LinkedIn Engineering Blog | LinkedIn이 자연어 채용 쿼리를 13억+ 프로필과 매칭하기 위해, LLM-as-Judge teacher의 qualification 판정을 dual-tower Matryoshka 임베딩(MU… |
| Scaling Airbnb Data Architecture for a Multi-Product World | Patrick Lam, Namrata Lamba, Jamie Stober (Airbnb) · Medium ( | Airbnb가 Homes 단일 제품에서 Homes·Experiences·Services 3제품으로 확장하며, “separate vs monolithic 데이터 모델” 딜레마를 중앙 원칙 + 분권… |
| Ship Fast Break Nothing - dbt CICD and Model Health | Kiran Pothina · Medium | PR마다 전체 웨어하우스를 재빌드(45분)하는 dbt CI를 변경분만 빌드하는 slim CI(3-8분)로 바꾸는 4단계 패턴과, 모든 모델을 5개 health 차원으로 채점하는 scorecard… |
| Simplifying Integrations with a Data Abstraction Layer at Uber | Daniel Musgrave, James Yang, Narendra Kumar (Uber) · Uber En | Uber가 쿼리를 데이터셋 구조·토폴로지에서 분리하기 위해 logical table(무엇을)과 physical table(어떻게)을 분리하는 Data Abstraction Layer(DAL)를… |
| Why DBLog Is Snapshot-Equivalent | Andreas Andreakis (DBLog 저자) · aandreakis.com | Netflix DBLog(CDC 프레임워크)가 테이블을 락 없이·동결 없이 chunk로 백필하면서도, 결과가 단일 시점에 찍은 스냅샷과 동일함(“snapshot-equivalent”)을 Isab… |
| Why We Moved from Hive-Style Data Lakes to Apache Iceberg | Naidu Rongali · Medium | Hive-style 데이터 레이크(디렉토리 기반 파티션)에서 Apache Iceberg(메타데이터 아키텍처)로 이전한 이유를 7가지 문제와 그 해결로 정리 — Iceberg는 Parquet 대체… |
상위: index