Data Engineering Weekly #282
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Apache Spark Troubleshooting Agent for Amazon EMR on EKS | AWS Big Data Blog · aws.amazon.com | Spark driver/executor pod 로그, Spark 이벤트 로그, 컨테이너 종료 신호를 사람이 수동으로 상관지어야 했던 디버깅을, 관리형 MCP 서버로 노출된 read-only 에이… |
| Correlation Lied to Us - Rethinking Product Impact with Causal Inference | Enderson Santos (OLX) · tech.olx.com | 프리미엄 패키지 광고가 저가 패키지보다 성과가 나빠 보였던 것은 노출의 가치가 없어서가 아니라 비교 대상이 애초에 비교 가능하지 않았기 때문이었고, propensity score matching… |
| From Unstructured Chaos to Queryable Knowledge | Dhilip Kumar · Medium | 도메인을 모를 때는 스키마 우선이 추측일 뿐이므로 discover-then-formalize로 온톨로지를 데이터에서 얻어내되, 이것은 프로젝트가 아니라 서로 다른 템포로 도는 두 개의 루프(bu… |
| LLMs for Relevance at Flipkart Search | Amey Patil, Shreya Malani (Flipkart) · blog.flipkart.tech | 관련성 라벨링을 SFT로 어떻게 추론하는지 가르치고 GRPO로 그 추론을 일관되고 견고하게 만드는 2단계 레시피로, 사람 어노테이터 수준을 넘으면서 비용의 일부로 몇 배 규모를 처리했다. |
| Netflix Real-Time Distributed Graph Part 3 - Querying with gRPC | Nilesh Mishra, Ajit Koti (Netflix) · netflixtechblog.com | 80억 노드·1,500억 엣지 위에서 sub-100ms 응답을 내기 위해 breadth-first 순회 + async-first 실행 + 선택적 캐싱 + opt-in enrichment를 택했고… |
| Scaling a Stateful Exactly-Once Flink Job to 300M+ RPM | Mohamed Moataz El Zein · mohamedelzein.hashnode.dev | ”문제 발생 → 해결하는 config 발견 → 활성화 → 그 config에서 바로 다음 문제 발생”이라는 Flink 특유의 패턴을 겪으며 얻은 13가지 실전 튜닝 — 문서화되지 않은 것들이 가장… |
| The Semantic Layer Is Not a Layer Anymore | Substack | 시맨틱 레이어는 웨어하우스와 대시보드 사이의 얇은 추상이 아니라 비즈니스 의미·실행·거버넌스·지식·성능을 함께 붙드는 semantic control plane이 되어가고 있고, 소비자가 사람에서… |
| TimeSeries Tiered Storage - Kafka Flink to Native Cassandra Cold Reads | Netflix Technology Blog · netflixtechblog.medium.com | Kafka/Flink로 S3에 스트리밍하는 cold tier가 실제 절감을 만들었지만 스트리밍 인프라 자체가 비쌌고, “이미 있는 Cassandra 백업에서 직접 읽으면 어떨까” 라는 급진적 질… |
| What Is a Converged Database | Oracle Developers Blog | ”여러 모델을 지원한다”는 것은 제품 스토리지 레이어의 속성이고, 수렴(convergence)은 보증(guarantee)의 속성이다 — 다섯 가지 테스트가 둘을 가른다. |
상위: index