Data Engineering Weekly #258
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| AutoMQ Shared Storage Architecture Deep Dive | Anton Borisov · Medium (Fresha Data Engineering) | AutoMQ는 Kafka의 로컬 디스크 복제를 S3 기반 공유 스토리지로 대체하여 무상태 브로커, 제로카피 페일오버, 컴퓨트-스토리지 독립 스케일링을 실현하는 Kafka 호환 스트리밍 플랫폼이다. |
| Consistent Scalable Compaction for Real-Time Upserts in Apache Pinot | Krishan Goyal (StarTree) · startree.ai | StarTree의 SegmentRefreshTask가 bitmap 기반 일관성 제어와 SequenceId 순서 관리를 통해 Apache Pinot의 실시간 upsert 컴팩션을 쿼리 무중단으로… |
| Database Federation - Decentralized and ACL-Compliant Hive Databases | Uber Engineering · uber.com | Uber가 16,000개 이상의 데이터셋과 10PB를 포함하는 모놀리식 Hive 데이터 웨어하우스를 도메인별 연합(federation) 데이터베이스로 분리하여 장애 격리, 거버넌스, 최소 권한… |
| Debezium at Scale - An Open Source CDC Story from Zepto | Zepto Engineering · blog.zeptonow.com | Zepto가 인메모리 리덕션 버퍼로 중복 CDC 업데이트를 병합하고 PostgreSQL UNNEST 기반 배치 전략으로 파싱 오버헤드를 줄여 고처리량 Debezium CDC 파이프라인을 최적화했다. |
| Drastically Reducing Out-of-Memory Errors in Apache Spark at Pinterest | Felix Loesing · Medium (Pinterest Engineering) | Pinterest가 “Auto Memory Retries” 기능으로 OOM 발생 시 CPU 코어를 먼저 증가시키고 그래도 실패하면 메모리를 확대하는 점진적 재시도 전략을 도입하여 Spark OO… |
| Half the AI Agent Market Is One Category | Garry Tan · garryslist.org | AI 에이전트 시장의 약 50%는 소프트웨어 엔지니어링이 차지하고 있으며, 헬스케어·법률·금융 등 나머지 버티컬은 각각 5% 미만으로 300개의 유니콘 기회가 열려 있다. |
| How to Use Memory in Agent Builder | Jacob Talbot (LangChain) · blog.langchain.com | LangChain Agent Builder에서 단기/장기 메모리와 스킬 시스템을 활용하여 에이전트가 피드백을 학습하고 지속적으로 개선되도록 하는 세 가지 실전 전략을 소개한다. |
| Our Multi-Agent Architecture for Smarter Advertising | Spotify Engineering · engineering.atspotify.com | Spotify가 광고 캠페인 생성을 멀티 에이전트 아키텍처로 자동화하여 캠페인 생성 시간을 15-30분에서 5-10초로 단축하고, 과거 캠페인 데이터 기반의 최적화를 실현했다. |
| Scaling LLM-Based Ranking Systems with SGLang at LinkedIn | LinkedIn Engineering · linkedin.com | LinkedIn이 SGLang의 prefill-only 랭킹 워크로드를 4단계에 걸쳐 최적화하여 처리량을 최대 3배 향상시키고, AI 검색 기능을 프로덕션 규모로 운영하는 과정을 설명한다. |
상위: index