Data Engineering Weekly #262
이슈 내 아티클 10건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Breaking the Microbatch Barrier | Databricks · www.databricks.com | Apache Spark 4.1의 Real-Time Mode는 장시간 에포크, 경계 체크포인팅, 비차단 연산자를 도입하여 마이크로배치 한계를 극복하고 단일 엔진으로 대용량 ETL과 저지연 처리를… |
| Building an MCP Ecosystem at Pinterest | Tan Wang · medium.com | Pinterest는 도메인별 MCP 서버, 중앙 레지스트리, 2계층 인증 체계를 갖춘 프로덕션 MCP 생태계를 구축하여 월 66,000건 호출과 7,000시간 절감을 달성했다. |
| Context Anchoring | Rahul Garg · martinfowler.com | AI 코딩 세션 간 의사결정 컨텍스트를 외부 문서(feature document)로 외재화하여, 긴 대화에 의존하는 악순환을 끊고 세션 간 지속 가능한 공유 멘탈 모델을 구축하는 방법론이다. |
| Lower Warehouse Costs via DuckDB Transpilation | Max Halford · maxhalford.github.io | SQLGlot 기반 SQL 트랜스파일레이션으로 BigQuery 등 웨어하우스 쿼리를 DuckDB에서 로컬 실행하고, DuckLake로 결과를 관리하여 웨어하우스 컴퓨트 비용을 극적으로 절감하는… |
| Making Ads Count | Etsy Engineering · www.etsy.com | Etsy는 MMoE(Multi-gate Mixture-of-Experts) 아키텍처와 보조 태스크(add-to-cart)를 활용하여 클릭과 구매 간 지표 충돌을 해결하고 광고 랭킹 정확도를 크게… |
| Optimizing Dropbox Dash Relevance Judge with DSPy | Eric Wang, Dmitriy Meyerzon · dropbox.tech | Dropbox는 DSPy 프레임워크를 활용하여 LLM 기반 관련성 판정(relevance judge)의 프롬프트를 체계적으로 최적화함으로써, 인간 평가와의 오차를 45% 줄이고 모델 전환 기간을… |
| Ranking Engineer Agent REA | Ashwin Kumar, Erwin Gao, Matan Levi, Sheela Yadawad, Sherman | Meta의 REA(Ranking Engineer Agent)는 hibernate-and-wake 메커니즘으로 수일~수주에 걸친 ML 실험 라이프사이클을 자율 수행하며, 모델 정확도 2배와 엔지니… |
| Search Quality Assurance with LLM Judge | Tao Ruangyam · engineering.zalando.com | Zalando는 LLM-as-Judge 기반 검색 품질 보증 프레임워크를 구축하여, 신규 국가 런칭 전 1,500개 검색 세그먼트를 $250 비용으로 다국어 자동 평가하고 사전에 검색 이슈를 식… |
| Still Missing Critical Pieces | Julien Simon · julsimon.medium.com | MCP가 표준 전쟁에서 승리했지만, 수평 확장, 토큰 오버헤드, 인증, 엔터프라이즈 거버넌스 등 프로덕션 핵심 문제는 여전히 미해결 상태이며 Perplexity와 Cloudflare의 사례가 이… |
| Volga - A Rust Rewrite of a Real-Time ML Engine | Andrey Novitskiy · volgaai.substack.com | Volga는 Apache DataFusion, Arrow, SlateDB를 기반으로 한 Rust 네이티브 실시간 ML 피처 엔진으로, 스트리밍/배치/요청 시점 실행을 단일 런타임에서 통합하고 M… |
상위: index