Data Engineering Weekly #273
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| A Functional Taxonomy of World Models | Fei-Fei Li (World Labs) · drfeifei.substack.com | ”world model”이라는 과부하된 용어를 POMDP 루프(agent-action-state-observation) 위에서 Renderer(픽셀)·Simulator(상태)·Planner(액션… |
| Broker-Visible vs Client-Local Parallelism | Jack Vanlightly · jack-vanlightly.com | 병렬성은 어딘가에서 회계되어야 하며, 그 단위가 broker-visible(파티션·컨슈머)이면 고병렬 워크로드에서 자원이 폭발하므로 client-local(가상 스레드·async task)로 옮… |
| Building Billing on Apache Flink - Event Time Lessons at Gorgias | Matthieu Bonneviot (Gorgias) · Medium (Gorgias Engineering) | Gorgias가 Flink 72시간 consolidation window billing을 event-time으로 구축하며, watermark alignment가 source 레벨에만 적용되어 k… |
| CLEPR - Criteo Two-Tower Semantic Model | Paul Coursaux (Criteo) · Medium (Criteo Engineering) | Criteo가 retail media의 sponsored product 정확성을 위해, 검색 키워드와 상품을 contrastive learning으로 공유 임베딩 공간에 매핑하는 two-towe… |
| ClickHouse Query Plan Lock Contention at Cloudflare | Cloudflare · Cloudflare Blog | Cloudflare가 ClickHouse 파티셔닝 키를 (day)에서 (namespace, day)로 바꾼 뒤 billing 잡이 느려진 원인이 part 개수 증가로 인한 query planne… |
| Distilling Long-Tail User Behavior into Embeddings at Indeed | Marsan Ma 외 (Indeed) · Indeed Engineering Blog | 무거운 시퀀스 모델링을 오프라인에서 한 번 수행해 사용자 장기 행동을 고정 길이 임베딩(UBM)으로 증류하고, 다수의 경량 온라인 모델이 일반 dense feature로 재사용하는 “one pr… |
| Dynamic Repartitioning for Time Series Workloads at Netflix | Rajiv Shringi, Kaidan Fullerton, Oleksii Tkachuk, Kartik Sat | Netflix TimeSeries Abstraction이 Cassandra의 wide partition으로 인한 초 단위 tail latency를 해소하기 위해, 테이블 단위 재파티셔닝과 ID… |
| Migrating from a Monolithic Orchestrator to Apache Airflow | Poorva Patil (Helpshift) · Medium (Helpshift Engineering) | Clojure 기반 모놀리식 스케줄러(한 step 실패 시 전체 잡 종료, 스텝별 모니터링 부재)를 Apache Airflow로 마이그레이션해, 오케스트레이션과 비즈니스 로직을 분리하고 관측성·… |
| Why We Shrank TimescaleDB Chunks from 30 Days to 7 | Yask Srivastava (WMG Lab) · tech.wmg.com | ingest 증가로 30일 chunk가 메모리·압축·백필을 압박하자 TimescaleDB hypertable의 chunk 간격을 7일로 줄여(미래 chunk만 영향, 무중단·가역) 압축 lag·… |
상위: index