Data Engineering Weekly #266
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| AI-Ready Data vs Analytics-Ready Data | Modern Data 101 · Medium | Analytics-ready data와 AI-ready data는 같은 성숙도 경로의 두 단계가 아니라, 각기 다른 소비자(인간 vs 모델)를 위해 독립적으로 발전시켜야 하는 별개 시스템이다. |
| Daedalus and the Data Labyrinth | Aleksandr Klein · Just Eat Takeaway-tech | 데이터 거버넌스의 본질은 Business Glossary→Data Catalog→Semantic Layer→Data Quality→Lineage→API의 계층적 네비게이션 시스템이며, AI 에이… |
| Engineering the Forge Billing Platform for Reliability and Scale | Puneet Patwari · Atlassian Engineering | Atlassian Forge의 사용량 기반 과금 플랫폼은 일 3억 이벤트를 StreamHub→UTS→Plato(cold/hot tier)→Commerce 파이프라인으로 처리하며, exactly-… |
| From Events To Real-Time Profiles On Apache Fluss | Giannis Polyzos · Substack | Apache Fluss의 Aggregation Merge Engine은 프로파일 상태를 스트리밍 스토리지 레이어에 직접 유지하여, 별도 OLAP 엔진 없이 실시간 엔티티 프로파일을 구축한다. |
| Managing Context in Long-Run Agentic Applications | Dominic Marks (Staff Software Engineer, Slack) · Slack Engin | 장기 실행 멀티에이전트 시스템에서 메시지 히스토리 대신 Director’s Journal, Critic’s Review, Critic’s Timeline 세 가지 보완적 컨텍스트 채널로 일관성과… |
| Scaling Recommendation Systems with Request-Level Deduplication | Matt Lawhon, Filip Ryzner, Kousik Rajesh, Chen Yang, Saurabh | Pinterest는 request-level deduplication으로 스토리지 10-50x 압축, 학습 4x 속도 향상, 서빙 7x 처리량 증가를 달성하여 100x 규모 Foundation… |
| The Journey to Agentic BI | Thiago Baldim · Medium | SafetyCulture는 데이터 모델링·테스트·문서화·소유권이라는 기본기를 바로잡은 결과, AI BI(Hex) 도입 한 달 만에 직원 ~50%가 자연어 질의를 사용하게 되었다. |
| The Model is the Easy Part - LLM Platform at Whatnot | Stas Sajin, Faithful Alabi, Peiyun Zhang, Peicheng Yu · What | LLM 프로덕션 플랫폼의 핵심은 모델 호출이 아닌 velocity(빠른 반복), trust(품질 측정), reliability(안정성) 세 축을 강화하는 인프라 구축이다. |
| We Let AI Agents Orchestrate Our ML Experiments | Gauthier Perrod · Teads Engineering | Teads는 ML 실험 플랫폼 Datakinator에 MCP를 통해 AI 에이전트를 연결, 48시간 내 200+ 실험을 실행하여 ~$1M 직접 마진 증가를 달성했다. |
상위: index