Data Engineering Weekly #271
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Crosscheck - Benchmarking AI Models in the Real World | LinkedIn Labs · LinkedIn Engineering Blog | LinkedIn의 직업 정체성과 통계적 혁신(시간 감쇠, 정규화, 신뢰구간 티어링)을 결합해, “직무·산업별로 어떤 AI 모델이 가장 좋은가”를 크라우드소싱 쌍대 비교로 측정하는 벤치마킹 플랫폼. |
| Dimster - Performance Benchmarking Tool for Apache Kafka | Jack Vanlightly · jack-vanlightly.com | ”차원 테스트(Dimensional Testing)“를 핵심으로, 재현 가능하고 공유 가능한 결과물과 Kubernetes 표준 런타임을 갖춘 Apache Kafka 전용 성능 벤치마킹 도구(DI… |
| Making User-Sequence Data Cheaper and Faster at Pinterest | Pinterest Engineering · Medium (Pinterest Engineering) | “하나의 정의, 여러 런타임” 원칙으로 user sequence(사용자 행동 시퀀스) 플랫폼을 재설계해, 설정-as-code·공유 실행 엔진·람다 아키텍처·컬럼나 저장으로 비용·온보딩 속도·디버… |
| Meta - Valuing Content with DoubleML When AB Tests Are Not an Option | Asher Zafar, Anuj Kapoor (Meta Reality Labs) · Medium (Analy | A/B 테스트가 불가능한 상황에서 Quest VR 콘텐츠의 인과적 리텐션 기여도를 측정하기 위해, Double Machine Learning(DoubleML) 기반 관찰적 인과추론 5단계 블루프… |
| Partition Access Visualizations Cut S3 Cost 33 Percent at Yelp | Nick Del Nano (Yelp Data Streaming) · Yelp Engineering Blog | S3 서버 액세스 로그로 파티션·엔티티별 접근 패턴을 시각화해 데이터 소유자가 누가·어떻게 데이터를 쓰는지 파악하게 함으로써, Iceberg 마이그레이션 우선순위와 스토리지 클래스 최적화로 데이… |
| Scaling Airbnb Identity Graph with Unified Knowledge Graph Infrastructure | Lucen Zhao, Shukun Yang, Ashish Jain · Medium (Airbnb Engine | Airbnb가 서드파티 SaaS 그래프 DB의 long-tail 지연·운영 불안정을 벗어나, JanusGraph + DynamoDB 기반 사내 멀티테넌트 knowledge graph 인프라로 7… |
| The Evolution of Cassandra Data Movement at Netflix | Guil Pires, Jennifer Prince, Jose Camacho, Ken Kurzweil, Pha | Netflix가 모놀리식 Casspactor(Cassandra→Iceberg 커넥터)를 S3 백업에서 직접 읽어 Spark DataFrame을 생성하는 계층형 “Connector Factory”… |
| The Hugo Evolution - Grab One-Click Data Ingestion with Apache Flink | Grab Engineering · Grab Engineering Blog | Grab이 Kafka Connect·Sprinkler·Spark로 파편화됐던 데이터 인제스천을 Apache Flink CDC 기반 단일 control plane으로 통합해, 파이프라인 온보딩을… |
| Uber DeepETT - Real-Time Traffic Forecasting with Graph-Aware Transformer | Olcay Cirit, Yogesh Luthra, Niru Agrawal · Uber Engineering | Uber가 GNN의 표현력을 살리되 고정 크기 입력으로 상수 시간 추론을 유지하는 graph-aware Transformer(DeepETT)로 실시간 교통 예측을 재구축해, 장거리 도착시간 정확… |
상위: index