Data Engineering Weekly #272
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Arrow UDFs in PySpark | Ruifeng Zheng, Yicong Huang (Databricks) · Databricks Blog | Pandas/Arrow 데이터 변환을 제거하고 Arrow 데이터 위에서 직접 동작하는 Native Arrow UDF(Databricks Runtime 18.0)로, Pandas UDF 대비 ~1… |
| Enrichment Strategies for Apache Flink | Rion Williams · rion.io | Flink 잡 시작 전 상태에 참조 데이터를 채워야 하는 enrichment/bootstrapping 문제를, 외부 호출·점진적·2단계 부트스트랩·게이팅 4가지 전략과 트레이드오프로 정리. |
| High-Throughput Graph Abstraction at Netflix Part I | Oleksii Tkachuk, Kartik Sathyanarayanan, Rajiv Shringi · Net | Netflix가 기존 KV·TimeSeries 추상화 위에 “더 높이 쌓아” 초당 1천만 연산·650TB 규모의 OLTP 그래프 순회를 단일 밀리초 지연으로 서빙하는 Graph Abstracti… |
| How Agoda Simulates Booking Flows to Test Flight Integrations | Agoda Engineering · Medium (Agoda Engineering) | 전체 E2E 스택을 띄우지 않고 공급사 커넥터 주변 생태계를 시뮬레이션(상류 호출자 모델링 + 다단계 시나리오 + 상태 보존 + 워크플로 단위 검증)해, 통합 이슈를 개발 초기에 잡는 shift… |
| Ray Data vs Daft for Multimodal Data Lake | Mehul Batra · Medium | KubeRay 위에서 Ray Data 2.55.1과 Daft 0.7.13을 동일 하드웨어·데이터·모델로 8개 멀티모달 배치 추론 use case에 돌려 비교한 실전 기록 — 안정성이 결정적이어서… |
| Routing Multiple Query Engines with Iceberg | Rob M (LakeOps) · lakeops.dev | 공유 Iceberg 테이블 위에서 Trino·Spark·DuckDB·Athena·Snowflake 등 여러 엔진을 쿼리 셰이프·비용·지연·엔진 헬스에 따라 라우팅하는 SQL 프록시(QueryFl… |
| Slack AI The Path to Multi-Cloud | Shaurya Kethireddy (Slack) · Slack Engineering Blog | Slack AI가 3년에 걸쳐 SageMaker → Bedrock(Provisioned) → Bedrock(On-Demand) → 멀티클라우드(AWS + GCP Vertex)로 진화하며, 추상화… |
| Solving the Identity Crisis for AI Agents at Uber | Matt Mathew, Prasad Borole, Meng Huang 외 · Uber Engineering | Uber가 AI 에이전트에 검증 가능한 암호학적 정체성을 부여하고 “누가·무엇을·왜” 했는지 actor chain을 end-to-end로 전파하기 위해, SPIRE + STS(per-hop 단명… |
| When Tables Became the Language of Time | Giannis Polyzos · ipolyzos.substack.com | batch vs streaming은 거짓 이분법이며, “테이블 = 스트림의 materialization, 스트림 = 테이블의 history”라는 stream-table duality로 추상화를… |
상위: index