Data Engineering Weekly #286
이슈 내 아티클 10건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| 5 Billion Records 10 Terabytes Four Weeks - A Real Data Migration Playbook | Avraham Rosenzweig, Roy Noyman (Wix Engineering) · wix.engin | 마이그레이션이 2년에서 4주로 줄어든 차이는 툴링이 아니라 — 툴링은 거의 바뀌지 않았다 — 모든 마이그레이션에서 나타나는 문제가 무엇인지 마침내 배우고 그것을 도중이 아니라 시작 전에 다루기… |
| Agentic Machine Learning Modeling at Instacart | Tilman Drerup, Moe Moazzami, Shih-Ting Lin, Greg Reda 외 (Ins | MLE는 문제 정의와 감독을 맡고 에이전트가 가설 수립·코딩·평가를 담당하는 human-in-the-loop 루프로 수년간 다듬어진 성숙한 프로덕션 모델조차 오프라인 3~5% 개선을 얻었지만,… |
| Rebuilding LinkedIns Follows Recommendations with LLM-Based Semantic Retrieval and Ranking | linkedin.com | 휴리스틱 후보 생성 + 인기도 기반 랭킹은 인기 없지만 강한 매치를 놓치고 신규 회원에게 쓸 것이 거의 없었는데, 프로필을 서술형 프롬프트로 바꿔 LLM 임베딩을 만들고 retrieval과 ra… |
| Rerouting the Stream - How Lyft Moved to the Apache Flink Operator | Maheep Myneni, Arda Kuyumcu, Prem Santosh Udaya Shankar (Lyf | 2020년에는 커뮤니티에 없어서 직접 만든 Flink Kubernetes operator가 유지보수 부담·기능 격차·의존성 고착으로 무너지자, CRD를 다시 쓰는 대신 deploy API 경계에… |
| Running Apache Spark Experiments in My Sleep (and on a Plane) | netflixtechblog.medium.com (Netflix) | 전환점은 “단일 실행을 빠르게 만들려는 것”에서 “여러 테스트를 동시에 돌리고 모니터하고 모든 결과를 추적하는 방법을 만드는 것”으로 목표를 바꾼 것이었고, branch = 실험 하나 격리 +… |
| Scaling Apache Pinot Beyond Millions of Segments | Krishan Goyal (StarTree) · startree.ai | 병목은 Pinot이 담을 수 있는 데이터 양이 아니라 기억해야 하는 것의 개수였고, Segment Group은 물리 세그먼트를 병합하지 않고 컨트롤 플레인의 표현만 크게 만들어 — 즉 저장 단위… |
| The Lifecycle of LLM-as-a-Judge - Building Aligning and Monitoring at Scale | Emma Yanyang Kong, JJ Tan, Ishan Gupta 외 (Netflix) · netflix | judge가 라벨은 맞히면서 틀린 이유로 맞히면 대시보드에는 완벽히 정렬된 것으로 보이지만 self-refinement에 잘못된 피드백을 준다 — 그래서 라벨 불일치뿐 아니라 rationale… |
| The Roadmap of Mathematics for Machine Learning | Tivadar Danka (The Palindrome) · thepalindrome.org | 머신러닝은 세 기둥 — 선형대수, 미적분, 확률론 위에 서 있고, 역할 분담이 명확하다: 선형대수는 모델을 기술하고, 미적분은 모델을 데이터에 맞추고, 확률론은 불확실성 하에서 예측하는 이론적… |
| The Semantic Layer and Data Modeling Dilemma in AI Analytics | Timothy Wong · linkedin.com | AI 애널리틱스를 확장하면서 드러난 반복적 트레이드오프 — 모델링을 너무 적게 하면 AI가 틀린 지표·grain·조인으로 설득력 있는 답을 내고, 너무 많이 하면 새 질문마다 데이터 엔지니어링… |
| When the Source of Truth Is a Google Sheet | Danish Mohammed (WMG Lab, Warner Music Group) · tech.wmg.com | 비즈니스가 좋아하고 실제로 잘 작동하는 스프레드시트를 뺏지 않으면서 그 위에 거버넌스된 쿼리 가능한 데이터셋을 짓는 방법 — 보여준 스키마가 아니라 drift를 위해 설계하고, 방어를 인제스션… |
상위: index