Data Engineering Weekly #284
이슈 내 아티클 10건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| A Preview of DuckDB v2.0 | Mark Raasveldt, Hannes Mühleisen · duckdb.org | ”작년이 레이크하우스의 해였다면 이번 릴리스는 DuckDB as a server의 해를 연다” — in-process DB로 시작한 DuckDB가 client/server 모드, 트리거, 비동기… |
| A Tale of Two Flink Autoscalers | Samuel Yeboah, Francesco Di Chiara, Mingliang Liu (Netflix) | 컨테이너 지표를 밖에서 보는 사내 오토스케일러는 클러스터 전체를 하나의 손잡이로만 조절할 수 있어 stateful 다중 연산자 DAG를 다루지 못했고, 각 연산자의 true processing… |
| Data Architecture Patterns - Decisions for the AI Era | guldmann.blog | Lambda·Kappa·Medallion·Data Mesh·Data Lakehouse·Semantic Architecture는 서로 대안이 아니라 각자 다른 차원에서 1차 결정을 내리는 조합 가… |
| Evolving Netflixs Ads Event Pipeline for Live - Part II | Netflix Technology Blog · netflixtechblog.medium.com | 광고 서빙의 hot path에서 must-succeed 데이터베이스 쓰기를 걷어내고 실시간 스트리밍 조인으로 대체한 것 — 가장 큰 승리는 raw 성능이 아니라 blast radius였다. |
| [[Articles/data_engineering_weekly/dew_284/How We Cut Our CDC Bill from 150 a Month|How We Cut Our CDC Bill from 150 a Month]] | Sarthak Tripathy (Jimdo) · jimdoverse.com | 70개 샤드 MySQL에 단일 스트림 CDC 모델을 적용하니 인프라가 부하가 아니라 샤드 수에 따라 증가했고, CDC를 데이터베이스를 소유한 팀에 되돌려준 것이 도구 선택만큼이나 큰 개선이었다. |
| How We Selected the Next Vector Database at Booking.com | Başak Tuğçe Eskili, Klaus Schaefers (Booking.com) · booking. | 공개 벤치마크는 작은 데이터셋·합성 워크로드·낮은 동시성을 쓰므로 신뢰하지 않고 프로덕션을 최대한 닮은 자체 평가를 설계했고, 그 과정에서 가장 중요한 교훈은 특정 벤더가 아니라 평가 자체의 소… |
| Streaming for the AI Age (duplicate) | streamfusion.tech | Spark에는 Photon·Gluten·Comet 같은 가속기가 넘치는데 Flink에는 인기 있는 오픈소스 가속기가 없다 — Flink의 플래닝·체크포인팅·오토스케일링은 그대로 두고 실행 레이어… |
| The Evolution of Ontology | Fanghua (Joshua) Yu · Medium | 여러 팀이 모두 “온톨로지를 만든다”고 말하면서 매우 다른 워크로드를 최적화하고 있고, 그 진화를 Meaning → Traversal → Reasoning → Action으로 보면 왜 하나의 완… |
| Xonai FuseCore Benchmarks against Gluten and Comet | Leandro Vaz (Xonai) · Medium | Spark 가속기 확산의 가장 큰 장벽은 성능이 아니라 SQL 호환성이었고, MLIR 기반 컴파일러 엔진을 만들되 Parquet 리더는 경쟁 프로젝트(Comet)의 것을 가져다 쓰는 선택이 Gl… |
| wal3 - A Write-Ahead Log for Chroma Built on Object Storage | Chroma Engineering · trychroma.com | S3의 conditional write가 30년 된 lock-free 큐 알고리즘을 오브젝트 스토리지에서 가능하게 했고, 여기에 order-agnostic 체크섬(setsum)을 더해 시스템을… |
상위: index