Data Engineering Weekly #276
이슈 내 아티클 10건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Automated Schema Evolution at Pinterest | Pinterest Engineering · Medium (Pinterest Engineering) | 스키마를 ingestion·transformation·storage·backfill을 아우르는 cross-system contract로 보고, additive 변경에 한해 Kafka·Flink·… |
| Can We Agree on a Storage-Workload Architecture Taxonomy | Jack Vanlightly · jack-vanlightly.com | OLTP·OLAP·HTAP·LTAP의 경계가 흐려지는 가운데, 시스템·워크로드·스토리지 티어·가시성·durable copy 수로 아키텍처를 기술하는 작은 taxonomy를 제안. |
| Computational Synapses - Notebooks as Stateful Reasoning Systems | Tejas Sridhar · Medium | 프로덕션 의존성이 된 노트북을 선형 스크립트가 아닌 stateful “computational nervous system”으로 보고, 각 transformation이 입력·출력·검증·캐시·의존성… |
| How Ads Ranking Works | DataStrata · Medium | 광고 랭킹은 100ms 내 수백만 후보를 selection → light ranking → heavy ranking + auction의 3-stage funnel로 좁히고, quality mul… |
| How Razorpay Built Its Customer Data Platform | Varun Meka (Razorpay) · Razorpay Engineering Blog | 5억+ 사용자 프로필에서 audience segment를 30ms 미만으로 서빙하는 consent-native CDP — segment 재사용(deterministic hash), privacy… |
| Palana Part 1 - Why Grab Built a Secure Platform for AI Agents | Grab CyberSecurity team · Grab Engineering Blog | AI 에이전트가 챗 인터페이스에서 네트워크·자격증명·도구·메모리를 가진 자율 workload로 진화하며 리스크 모델이 바뀌자, Grab이 “isolation을 trust의 단위”로 삼는 Kube… |
| Palana Part 2 - Architecting Isolation Identity and Auditability | Grab Engineering · Grab Engineering Blog | Palana의 under-the-hood 아키텍처 — operator가 사용자 요청을 namespace·RBAC·storage·network policy로 변환하고, proxy-mediated… |
| Six SQL Patterns to Catch Transaction Fraud | Fixel Smith · analytics.fixelsmith.com | 사기 탐지의 대부분은 ML·그래프 DB가 아니라 올바른 조인·shape를 노리는 SQL이며, velocity·impossible travel·amount anomaly·suspicious mer… |
| Zone-Failure-Resilient OpenSearch at Uber | Smit Patel (Uber) · Uber Engineering Blog | Uber가 OpenSearch의 native shard allocation awareness와 사내 isolation group 인프라(Odin 기반)를 결합해, zone 전체 장애 + 추가 노… |
| the-stats-duck v0.6.0 - Statistics in SQL | Massimo Meneghello · kolistat.com | DuckDB가 SQL을 떠나지 않고 실제 통계(분포·검정·회귀·플롯)를 수행하게 하는 오픈소스 확장 the-stats-duck의 v0.6.0 — one-shot 프로파일러, R-style 회귀,… |
상위: index