Data Engineering Weekly #267
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| A Meshy Approach to Data at Monzo | Antonia, Irina, Massimo · Monzo Blog | Monzo가 100개 이상 팀의 분산 데이터 소유권을 표준 아키텍처, 인터페이스, CI 자동화로 관리하는 방법. |
| Airflow DAG Bundles | ZeroToOne Platform · ZeroToOne Blog | Airflow 3.x의 DAG Bundle 기능과 S3 사이드카 패턴으로 Helm 업그레이드 없이 팀별 셀프서비스 DAG 배포를 구현한다. |
| Context Management in Agent Harnesses | @aparnadhinak (Arize AI) · X (Twitter) | Pi, OpenClaw, Claude Code, Letta 4개 에이전트 하니스의 컨텍스트 관리 전략을 비교 분석한 결과, 50년 컴퓨팅 메모리 관리 패턴과 동일한 수렴을 발견했다. |
| Data Agents When Enterprise Analytics Learns to Reason | Pratish Yadava · Data Science at Microsoft (Medium) | 데이터 에이전트는 대시보드의 수동적 보고를 넘어 의도를 해석하고, 변화를 모니터링하며, 가드레일 내에서 제한된 행동을 취하는 능동적 분석 시스템이다. |
| Doing More With Less - Entity-Level Sentiment at Scale | Engineers at Meltwater · Meltwater Engineering Blog | 문서를 엔티티마다 반복 처리하던 O(n) 감성분석을 단일 패스로 전환하여 추론 비용 45.5% 절감과 정확도 3.02% 향상을 동시에 달성했다. |
| Flow Generation Through Natural Language at Shopify | Ted Chaiwachirasak · Shopify Engineering | Shopify가 Qwen3-32B를 파인튜닝하여 자연어로 Flow 자동화를 생성하는 도구 호출 에이전트를 구축하고, 주간 재학습 플라이휠로 지속 개선하는 과정. |
| Implementing Apache Yunikorn on EMR on EKS at Halodoc | Firda Ramadhan Putra · Halodoc Engineering Blog | Kubernetes 기본 스케줄러의 조정 부재로 발생하는 Spark 데드락, 리소스 경쟁, 비용 급등을 Apache YuniKorn의 gang scheduling, 계층 큐, bin packin… |
| Scaling Camera File Processing at Netflix | Eric Reinecke, Bhanu Srikanth · Netflix Technology Blog | Netflix의 Media Production Suite(MPS)가 FilmLight API를 클라우드 서버리스 함수로 통합하여 카메라 원본 미디어를 대규모로 처리하는 아키텍처. |
| Smarter URL Normalization at Scale at Pinterest | Pinterest Engineering · Pinterest Engineering Blog (Medium) | Pinterest가 URL 파라미터의 콘텐츠 영향도를 자동 학습하는 MIQPS 알고리즘으로 대규모 URL 정규화와 콘텐츠 중복 제거를 수행한다. |
상위: index