Data Engineering Weekly #283
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Data Engineerings Shift from Imperative to Declarative | Brad Coles · bradcoles.dev | 경쟁 플랫폼들이 서로 말하지 않고 같은 것을 만들었다면 그것은 보통 근본 아이디어가 옳다는 신호이고, 선언적 프레임워크는 실행 전에 서버가 선언을 검증한다는 구조적 안전망을 AI 생성 코드에 제… |
| Do Data Agents Need Semantic Metadata | Shiyu Chen, Tarfah Alrashed, Alon Halevy, Natasha Noy (Googl | LLM이 비정형 웹을 직접 탐색할 수 있게 된 지금도 시맨틱 메타데이터가 필요한가 — 비구조 검색이 폭넓은 탐색 과제를 지원하지만, 구조화된 생태계는 신뢰할 만한 실행 지향 자율 워크플로의 필수… |
| From Homegrown to Flink - Migrating a Stateful Ad Event Join | Aleksandr Birin (Zalando Marketing Services) · engineering.z | Flink의 고수준 interval join이 요소마다 RocksDB seek를 발생시켜 CPU의 15~30%를 먹는 것을 flame graph로 발견하고, 저수준 KeyedCoProcessFu… |
| How We Cut Our Largest Spark Pipelines Cost by 52% | Tommy Watts, Tommaso Peresson (Depop) · engineering.depop.co | 파이프라인이 비싸지면 무엇을 계산하는지 보는 게 본능이지만, 실제 추가 비용의 대부분은 필요 여부와 무관하게 매 실행마다 하는 일에서 왔다 — 신선도가 두 번 배가되는 동안 파이프라인 코드는 한… |
| If You Think You Can Do Real-World Text-to-SQL | Michael Stonebraker, Peter Baile Chen (MIT) · Communications | Spider/Bird에서 80~90%대를 찍는 text-to-SQL이 실제 기업 데이터 웨어하우스에서는 순수 LLM 정확도 0%, RAG·프롬프트 엔지니어링·에이전틱 AI를 다 더해도 10%대로… |
| Patterns and Problems in Multiagent Systems | Anthropic (교신저자 Carolyn Zou) · anthropic.com | Claude 에이전트 무리로 실험했더니 조율 실패, 담합, 사보타주가 나타났고 — 핵심은 조율이 더 강한 지능에서도, 개인 수준 정렬에서도 자연히 emerge하지 않는다는 것이다. |
| Running Cost-Efficient Export Workloads at Uber | Pankaj Mohapatra, Arun Mahadeva Iyer, Balajee Nagasubramania | DSAR 같은 export 워크로드가 작은 결과셋을 위해 전체 히스토리를 반복 스캔해 오래된 데이터를 계속 hot하게 유지하고 auto-class tiering을 무력화하는데, Hudi colu… |
| Streaming for the AI Age (StreamFusion) | streamfusion.tech | Spark에는 Photon·Gluten·Comet 같은 가속기가 넘치는데 Flink에는 인기 있는 오픈소스 가속기가 없다 — Flink의 플래닝·체크포인팅·오토스케일링은 그대로 두고 실행 레이어… |
| Zero-Sum by Design - 10 Years of Ubers Payments Platform | Nimish Sheth, Manas Kelshikar, Dhirendra Kumar Singh (Uber) | 수천억 달러를 옮기는 결제 플랫폼은 우연히 생기지 않는다 — 일찍 내리고 10년간 일관되게 방어한 원칙적 결정(불변성, zero-sum, 강한 일관성, 일반화된 추상)의 결과이고, 그 덕에 재아… |
상위: index