Data Engineering Weekly #275
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Centralized Alerting Framework for Data Quality at Helpshift | Manav Mehta (Helpshift) · Medium (Helpshift Engineering) | 모니터링 로직이 이미 Snowflake에 있으므로 알림 프레임워크도 Snowflake 네이티브로 구축해, Detection·Notification·Escalation을 느슨하게 결합하고 컨텍스트… |
| How Data 360 Segmentation Processes a Quadrillion Records | Deepak Pushpakar (Salesforce) · Salesforce Engineering Blog | Salesforce Data 360 세그멘테이션이 임의의 고객 스키마·관계 그래프 위에서 월 1천조 레코드를 처리하며 99.95% 신뢰성을 유지하는 비결은, 워크로드 인텔리전스(사이즈 추정·적응… |
| How We Cut Kafka Consumer Deployment Costs by 83 Percent | ZhongLi Shen (trivago) · tech.trivago.com | PSE-kafka의 만성적 consumer lag·19건 P1 사고가 단일 원인이 아닌 여러 문제의 동시 작용(느린 poll·delayElement 천장·gRPC 풀 병목)임을 계층적 디버깅으로… |
| Idempotency in Data Engineering | Mohammed Benaissa · Medium | 분산 시스템은 by design 재시도하므로 모든 write에 “키가 무엇이고, 두 번 실행되면 어떻게 되나?”를 물어 멱등성을 설계해야 하며, exactly-once를 강제하는 대신 write… |
| Metric Semantic Layer at Lyft | Rohit Channe, Simran Mirchandani (Lyft) · Lyft Engineering B | Lyft가 메트릭 정의 분산(팀마다 다른 “Metric ABC” 정의)을 해결하기 위해, 메트릭의 plain-English 설명 + SQL 정의를 YAML/Jinja로 코드화한 중앙 Python… |
| Predicting Risk in Content Launches at Netflix | Emily Gill (Netflix) · Netflix Tech Blog | Netflix가 콘텐츠 launch 일정 슬립 위험을 예측하기 위해, 일별 스냅샷 production 신호로 미디어 에셋(Locked Cut/IMF) 납기까지의 “days until”을 예측하는… |
| Semantic IDs - Product Understanding at Scale at Instacart | Shrikar Archak 외 (Instacart) · tech.instacart.com | Instacart가 카테고리 트리의 “cross-category blindness”를 극복하기 위해, 상품 임베딩을 RQ-VAE로 압축한 계층적 정수 코드(Semantic ID)를 만들고 cat… |
| Teaching Sidekick to Say No - LLM Judge Consensus at Shopify | Shuang Xie (Shopify) · shopify.engineering | 프로덕션 로그는 성공 쿼리만 담아 모델이 “거절”을 배우지 못하는 blind spot을, 작은 seed 데이터셋으로 calibrate한 4개 frontier LLM judge의 만장일치 cons… |
| The Case for a Semantic Layer | Lefebvre, Wixom, Legner, Vandermeulen, Beath · MIT CISR Rese | GenAI 시대에 데이터가 생성된 애플리케이션에서 분리되면 비즈니스 의미·관계·규칙을 잃으므로, 인간과 기계 모두 해석 가능한 통합 표현(semantic layer)에 투자해야 신뢰할 수 있는… |
상위: index