Data Engineering Weekly #269
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| AI Second Brain at Meta | Analytics at Meta · Medium (Analytics at Meta) | Meta가 PARA 방법론 기반의 구조화된 영속 컨텍스트를 활용해 6만 명의 지식 노동자를 위한 AI 에이전트(“Second Brain”)를 구축한 사례. |
| Contextual Sequential Ads at Pinterest | Pinterest Engineering · Pinterest Engineering Blog (Medium) | Pinterest는 사용자의 오프사이트 전환 이력에 현재 핀의 실시간 컨텍스트를 결합하는 Contextual Sequential Two Tower 모델을 도입하여 Recall@K를 3-10배,… |
| Data Sketches Guide | luminousmen · luminousmen.com | 확률적 데이터 구조(Data Sketches)의 핵심 원리, 주요 패밀리(카디널리티/분위수/빈도/샘플링), 트레이드오프를 체계적으로 정리한 종합 가이드. |
| Flink Shadow Testing at Grab | Grab Engineering (Coban team) · Grab Engineering Blog | Grab은 Flink 신규 버전을 프로덕션과 병렬로 실행하는 Shadow Testing을 배포 파이프라인에 통합하여, 프로덕션 영향 없이 검증하고 실패 시 약 10분의 다운타임을 제거했다. |
| Informatica Multi-Agent AI System | Neha Awasthi (Salesforce/Informatica) · Salesforce Engineeri | Informatica는 단일 에이전트의 한계(잘못된 도구 선택, 컨텍스트 초과, 비일관적 출력)를 극복하기 위해 오케스트레이션 에이전트가 전문 에이전트를 라우팅하는 CLAIRE 멀티 에이전트 시… |
| ML Feature Pipeline That Got Slower at Whatnot | Whatnot Engineering · Medium (Whatnot Engineering) | Whatnot의 라이브스트림 랭킹용 ML 피처 파이프라인이 점진적으로 느려졌지만 TTL 버퍼와 거짓 알람으로 인해 아무도 인지하지 못한 장애 사례와 교훈. |
| Netflix Model Lifecycle Graph | Netflix Technology Blog · Netflix Tech Blog | Netflix는 파편화된 ML 생태계의 모델, 피처, 파이프라인, 실험, 데이터셋을 연결된 그래프로 통합하는 Metadata Service(MDS)를 구축하여 “이 모델을 사용하는 A/B 테스트… |
| Self-Healing Data Pipelines at Halodoc | Dana Rabba · Halodoc Blog | Halodoc은 CDC 복구부터 종속성 캐스케이딩까지 6개 계층의 자가 치유 메커니즘을 도입하여 CDC 복구 시간을 45분에서 5분 미만으로, 온콜 알림을 주 5회에서 1회로 줄였다. |
| Stream Processing vs Real-Time OLAP | Manveer Chawla (Confluent) · Confluent Blog | 스트림 처리(Flink)는 연속적 push 기반 사전 계산이고 실시간 OLAP(ClickHouse/Pinot)는 인터랙티브 pull 기반 탐색이며, 두 접근의 선택 기준과 조합 아키텍처를 명확히… |
상위: index