Data Engineering Weekly #259
이슈 내 아티클 10건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Alibaba - PostgreSQL Blink-tree Implementation | ApsaraDB (Alibaba Cloud) · Alibaba Cloud Blog | PostgreSQL의 Blink-tree 구현은 링크 포인터와 하이 키(high key)를 통해 검색 중 락 커플링 없이 고동시성 B-tree 인덱스 운영을 가능하게 하며, 이는 MySQL In… |
| Apache Iceberg - Introducing the File Format API | Apache Iceberg · Apache Iceberg Blog | Apache Iceberg가 플러그인 가능한 File Format API를 도입하여 스토리지 포맷(Parquet, ORC, Avro 등)을 테이블 포맷 레이어에서 추상화하고 교체 가능하게 만들었다. |
| Benoit Pimpaud - Specs Should Be Equations, Not Essays | Benoit Pimpaud · From an Engineer’s Sight (Substack) | AI 코드 생성에서 자연어 명세는 LLM이 해결할 수 없는 모호성을 내포하므로, 수학적 표기법을 일차 명세 언어로 삼아 명시성·조합성·반증 가능성을 확보해야 한다. |
| Delta Lake - The Next Evolution - Catalog-Managed Tables | Benjamin Mathew, Scott Sandre, Scott Haines · Delta Lake Blo | Delta Lake 4.1.0의 카탈로그 관리 테이블은 카탈로그를 테이블 ID·발견·접근 제어의 권위 있는 시스템으로 전환하여 파일시스템 경로 의존성과 거버넌스 단편화를 해소한다. |
| LinkedIn - Engineering LinkedIn’s Job Ingestion System at Scale | LinkedIn Engineering · LinkedIn Engineering Blog | LinkedIn은 잡 수집 추출 로직을 하드코딩에서 Sitemap 설정 파일로 전환하여 AI 도구가 엔지니어링 배포 없이 소스를 온보딩하고, 온보딩 기간을 수 주에서 수 시간으로 단축했다. |
| Microsoft Fabric - Under the Hood - Native Execution Engine | Ankita Victor-Levi · Microsoft Fabric Blog | Microsoft Fabric의 Native Execution Engine은 Velox(C++ 벡터화 엔진)와 Apache Gluten(Spark-Velox 브릿지)을 결합하여 코드 변경 없이… |
| Netflix - DataJunction as Netflix’s Answer to the Missing Piece of the Modern Data Stack | Netflix Tech Blog · Netflix Tech Blog (Medium) | Netflix가 팀 간 메트릭 정의 불일치 문제를 해결하기 위해 만든 오픈소스 시맨틱 레이어 DataJunction은 그래프 기반 메타데이터 모델과 SQL 생성 엔진으로 메트릭을 컴퓨테이션에서… |
| Notion - Balancing Cost and Reliability for Spark on Kubernetes | Justin Lee (Notion) · Notion Engineering Blog | Notion이 AWS와 협력해 오픈소스 Spot Balancer를 개발하여 Spark on Kubernetes에서 Spot 인스턴스를 안전하게 활용, 비용을 최대 90% 절감하면서 안정성을 유지… |
| Pinterest - Piqama Pinterest Quota Management Ecosystem | Pinterest Engineering · Pinterest Engineering Blog (Medium) | Pinterest의 Piqama는 Apache Iceberg에 저장된 이력 데이터를 기반으로 리소스 한도를 동적으로 조정하고, 배치 스케줄러와 온라인 서비스 전반에 맞춤형 시행 전략을 적용하는… |
| Shopify - The Generative Recommender Behind Shopify’s Commerce Engine | Yang Liu, Ali Khanafer · Shopify Engineering Blog | Shopify는 구매자 여정(검색·조회·장바구니·구매)을 시퀀스로 처리하는 자기회귀 모델로 추천 시스템을 구축하여 Shop 주문 0.94%, CTR 5% 향상을 달성했다. |
상위: index