Data Engineering Weekly #264
이슈 내 아티클 10건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Beyond ETL - The Case for Context | Michel Tricot · agentblueprint.substack.com | ETL은 데이터 이동 문제를 해결했지만 의미(meaning) 문제는 해결하지 못했으며, AI 에이전트 시대에는 Context Store를 통해 시맨틱 정의를 사전 구축하고 버전 관리하는 것이 필… |
| Building LinkedIns CTV Ads | Albert Hwang, Gaurav Sharma, Hassan Khan, Chris Thorne, Neer | LinkedIn은 CTV(Connected TV) 광고 플랫폼을 구축하면서, 크로스디바이스 ID 그래프 기반 프로페셔널 타겟팅, PMP(Private Marketplace) 딜 기반 프리미엄 인… |
| Inside Informaticas Spark-Based Data Integration Platform | Shivangi Srivastava · engineering.salesforce.com | Informatica의 Cloud Data Integration(CDI)은 단일 노드 엔진에서 Kubernetes 기반 분산 Spark++(확장 Spark) 플랫폼으로 전환하여, 5,500개 기… |
| Inside Metas Home-Grown AI Analytics Agent | Analytics at Meta · medium.com | Meta는 개인화된 쿼리 히스토리와 커뮤니티 기반 지식 체계(Cookbook/Recipe/Ingredient)를 결합한 AI 분석 에이전트를 구축하여, 데이터 과학자의 반복 분석 업무를 자율적으… |
| Lessons from Using the Outbox Pattern at Scale | Sugat Mahanti · zapier.com | Zapier는 Kafka 장애 시에도 이벤트를 계속 수신하기 위해 SQLite 기반 Transactional Outbox 패턴을 도입하고, WAL 모드 전환과 50개 샤드 분할로 초당 15,00… |
| Medallion Architecture Isnt As New As You Think | Chris Gambill · gambilldataengineering.substack.com | Medallion Architecture(Bronze/Silver/Gold)는 Kimball 시대의 staging/production/reporting 패턴을 더 명확한 경계와 운영 규율로 재정… |
| Predicting Rider Conversion in Sparse Data Environments with Bayesian Trees | Lyft Engineering · eng.lyft.com | Lyft는 위치/시간/수요의 희소한 long-tail 조합에서 표준 ML 모델의 과적합 문제를 해결하기 위해, Gaussian prior와 L2 정규화를 적용한 Bayesian Tree 기반 승… |
| Production Query Plans Without Production Data | Radim Marek · boringsql.com | PostgreSQL 18의 portable statistics 기능(pg_restore_relation_stats, pg_restore_attribute_stats, pg_dump —stati… |
| Synchronizing the Senses - Powering Multimodal Intelligence for Video Search | Netflix Engineering · netflixtechblog.com | Netflix는 대규모 프로덕션 영상의 멀티모달 검색을 위해, 다수 ML 모델의 출력을 Cassandra/Kafka/Elasticsearch로 초 단위 시간 버킷팅하여 캐릭터/씬/대사 신호를 통… |
| Taming S3 Shuffle at Scale | Manoj Babu Katragadda, Meghanath Macha · blog.platform.zerot | S3 shuffle 플러그인을 대규모로 운영할 때 발생하는 GET 요청 폭발(O(M x R)), S3 prefix 스로틀링, 스레딩 데드락 문제를 설정 튜닝과 프로덕션 패치로 해결하여 S3 AP… |
상위: index