Data Engineering Weekly #260
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Apache Parquet - Variant Type for Semi-Structured Data | Aihua Xu, Andrew Lamb · Apache Parquet Blog | Apache Parquet의 새 Variant 논리 타입은 JSON 같은 반정형 데이터를 오프셋 기반 이진 포맷으로 저장하여 전체 역직렬화 없이 필드에 직접 접근하는 고성능 반정형 데이터 처리를… |
| Dropbox - Using LLMs to Amplify Human Labeling and Improve Search Relevance | Dmitriy Meyerzon · Dropbox Tech Blog | Dropbox Dash는 소규모 인간 레이블을 앵커로 LLM이 수십만~수백만 개의 관련성 레이블을 생성하는 하이브리드 접근으로, 인간 판단을 일관성 있게 대규모로 증폭한다. |
| Francesca Lazzeri - AI Evals Platforms Comparative Guide | Francesca Lazzeri · Data Science at Microsoft (Medium) | LLM 시스템이 실제로 잘 동작하는지 검증하기 위한 자동화 평가(evals) 플랫폼들을 비교 분석한 실용적 가이드. |
| Nabin Debnath - Building a Least-Privilege AI Agent Gateway | Nabin Debnath · InfoQ | AI 에이전트가 인프라를 자동화할 때 발생하는 권한 남용·감사 공백 문제를, MCP 게이트웨이 + OPA 정책 엔진 + 에페머럴 실행 환경의 3단 아키텍처로 해결한다. |
| Netflix - MediaFM The Multimodal AI Foundation for Media Understanding | Netflix Tech Blog · Netflix Tech Blog | Netflix의 MediaFM은 비디오 프레임·오디오·자막을 통합한 트라이-모달 트랜스포머로 샷 레벨 임베딩을 생성하여 광고 배치, 클립 랭킹, 태깅, 콜드스타트 추천 등 여러 다운스트림 태스크… |
| Pinterest - Unified Context-Intent Embeddings for Scalable Text-to-SQL | Pinterest Engineering · Pinterest Engineering Blog (Medium) | Pinterest의 Analytics Agent는 과거 SQL 쿼리를 시맨틱 시그니처로 임베딩하고 비즈니스 용어집을 주입하는 asset-first 패턴으로 2개월 만에 내부 채택률 40%를 달성… |
| Pranav Mehta - Silent Data Loss in ClickHouse | Pranav Mehta · Medium | ClickHouse 분산 삽입에서 조용하게 발생하는 3가지 실패 모드 — Keeper 다운타임, 실행 타임아웃, 동시성 한도 소진 — 를 분석하고 분산 큐 파일 모니터링으로 예방하는 방법을 설명… |
| Vinoth Govindarajan - OpenClaw Architecture | Vinoth Govindarajan · The Agent Stack (Substack) | OpenClaw는 격리된 실행 컨텍스트와 불변성(invariant) 강제를 통해 상태 누수를 방지하고 비동기 일시정지/재개를 지원하는 프로덕션 AI 에이전트 아키텍처 패턴이다. |
| Zalando - Why We Ditched Flink Table API Joins - Cutting State by 75% | Maryna Kryvko · Zalando Engineering Blog | Zalando는 Flink Table API의 조인 체이닝이 상태를 기하급수적으로 증가시킨다는 사실을 발견하고, DataStream API의 단일 KeyedProcessFunction으로 마이그… |
상위: index