Data Engineering Weekly #265
이슈 내 아티클 8건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| From Zero to a RAG System | Andros Fenollosa · andros.dev | 1TB 기술 문서를 대상으로 로컬 RAG 시스템을 구축한 실전 경험기 — Ollama, LlamaIndex, ChromaDB 조합과 6가지 엔지니어링 문제의 해결 과정. |
| How Meta Used AI to Map Tribal Knowledge | Krishna Ganeriwal, Plawan Rath, Ashwini Verma · Meta Enginee | Meta가 50+ 특화 AI 에이전트를 다단계 오케스트레이션하여 4,100+ 파일의 데이터 파이프라인 암묵지를 59개 구조화된 컨텍스트 파일로 문서화했다. |
| Introducing Metrics SQL | Nishant Bangarwa · Rill Data | Rill의 Metrics SQL은 비즈니스 메트릭을 일급 SQL 프리미티브로 취급하여 시맨틱 레이어를 표준 SQL 문법으로 쿼리할 수 있게 한다. |
| KIP-848 Next Generation Consumer Rebalance Protocol | Apache Kafka Community · Apache Kafka Wiki | Kafka의 차세대 컨슈머 리밸런스 프로토콜이 복잡성을 클라이언트에서 브로커로 이동시켜 점진적·무중단 파티션 재할당을 가능하게 한다. |
| S3 Files and the Changing Face of S3 | Andy Warfield · All Things Distributed | AWS S3가 오브젝트 스토리지에서 멀티모달 데이터 플랫폼(Tables, Vectors, Files)으로 진화하며, S3 Files는 “stage and commit” 모델로 파일시스템과 오브젝… |
| Scaling Experimentation Quality at Booking.com | Booking.com · Booking.com AI | Booking.com이 실험 품질 저하 문제를 데이터 사이언스 앰배서더, 피어 리뷰, Quality Tab 도구로 설계-실행-의사결정 전 단계에 걸쳐 체계적으로 해결했다. |
| Semantic Layer vs Text-to-SQL 2026 Benchmark | Jason Ganz, Benoit Perigaud · dbt Labs | 시맨틱 레이어가 Text-to-SQL 대비 거의 완벽한 정확도(98-100%)를 달성하지만, Text-to-SQL도 2023년 대비 2배 성장하여 유연한 탐색에 적합하다. |
| Stop Answering the Same Question Twice | Netflix Tech Blog · Netflix Tech Blog | Netflix가 롤링 윈도우 대시보드의 반복 쿼리 문제를 interval-aware 캐싱 프록시로 해결하여 Druid 쿼리 볼륨 33% 감소 및 P90 레이턴시 66% 개선을 달성했다. |
상위: index