Data Engineering Weekly #270
이슈 내 아티클 10건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| A Query Proxy for Analytical and Fast Data | Eric Sun · Medium | 서비스 팀이 다양한 분석 백엔드(Snowflake, StarRocks, Iceberg 등)에 통일된 gRPC 인터페이스로 접근할 수 있도록 하는 Query Proxy 아키텍처 패턴. |
| Aurora DSQL Meet Coupler | Marc Bowes · marc-bowes.com | Aurora DSQL이 저널 아키텍처를 활용하여 데이터베이스에 부하를 주지 않는 CDC 스트리밍 서비스 “Coupler”를 구축한 방법. |
| Catalog Commits GA | Benjamin Mathew, Michelle Leon, Lukas Rupprecht, Ryan Johnso | Databricks가 Catalog Commits를 GA로 출시하여 Unity Catalog가 Delta 테이블의 커밋을 중재하고 split-brain 문제, 멀티엔진 접근 스프롤, 멀티테이블… |
| Data Projects - Managing Data Assets at Netflix Scale | Netflix Technology Blog (Amer Hesson, Marcelo Mayworm, James | Netflix가 개별 에셋·개인 ID 단위의 데이터 접근 관리를 “Data Project”라는 내구적 컨테이너로 격상하여 조직 변화에 강건한 거버넌스를 구현한 사례. |
| Full-Text Search with DuckDB | Pete Doherty · peterdohertys.website | DuckDB의 FTS 확장을 활용하여 비정형 텍스트 데이터(이메일 등)에 대한 전문 검색을 빠르게 구축하는 실습 가이드. |
| How We Rebuilt Search Ranking at Faire with Deep Learning | Yin Ki Ng · Faire Engineering Blog | Faire가 XGBoost 기반 검색 랭킹을 딥러닝(DCN)으로 2년에 걸쳐 전환하며 멀티태스크 학습, 크로스서피스 파인튜닝을 통해 주문량 +2.14% 향상을 달성한 여정. |
| Migrating Data Ingestion Systems at Meta Scale | Meta Engineering · engineering.fb.com | Meta가 레거시 CDC 기반 데이터 인제스천 시스템을 새 아키텍처로 100% 마이그레이션하면서 사용한 Shadow/Reverse-Shadow 전략과 자동화 도구. |
| Unified Context-Intent Embeddings for Scalable Text-to-SQL | Pinterest Engineering (Keqiang Li, Bin Yang) · Pinterest Eng | Pinterest가 10만+ 테이블 환경에서 과거 SQL 쿼리를 의미 기반 임베딩으로 변환하고 거버넌스 인지 랭킹을 결합하여, 분석가의 기관 지식을 검색 가능한 라이브러리로 만든 Analytic… |
| Viaduct 1.0 and Airbnb Data Mesh | Ryan Tanner, Raymie Stata, Adam Miskiewicz · Airbnb Engineer | Airbnb가 GraphQL 기반 데이터 지향 서비스 메시인 Viaduct 1.0을 오픈소스 커뮤니티 프로젝트로 정식 출시하며 멀티테넌트 모듈 방식의 중앙 스키마 분산 개발 패턴을 제시. |
| When MySQL Meets DuckDB - AliSQL Columnar Engine | AliSQL Community · Alibaba Cloud Blog | AliSQL이 MySQL의 플러그형 스토리지 엔진 아키텍처를 활용하여 DuckDB를 분석용 엔진으로 통합, InnoDB 대비 최대 200배 분석 쿼리 성능 향상을 달성. |
상위: index