Data Engineering Weekly #280
이슈 내 아티클 10건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Guide to Data Tools Landscape for Developers | sinja.io · sinja.io | 데이터 배경 없이 데이터 회사에 합류한 소프트웨어 엔지니어를 위해 데이터 라이프사이클 전체(어디서 오고, 어떻게 처리되고, 어디 저장되고, 어떻게 소비되는지)와 각 도구가 어느 단계에 속하는지를… |
| How MVCC and Transactions Work in RocksDB | Artem Krylysov · artem.krylysov.com | LSM-tree가 MVCC의 절반(제자리 수정을 하지 않아 자연히 여러 버전이 생김)을 공짜로 주지만, 나머지 절반인 스냅샷·원자적 배치·충돌 탐지는 모두 시퀀스 번호 비교라는 같은 프리미티브로… |
| In-House LLM Serving at Netflix | Netflix AI Platform (Model Runtime & Inference 팀) · netflixt | LLM 모델은 special snowflake가 되어서는 안 된다 — XGBoost 앙상블이든 대규모 LLM이든 같은 gRPC 호출로 스코어링되어 같은 클라이언트 라이브러리·헬스체크·배포 파이프… |
| Journey of an Ad Request | Ayush Kumar (JioHotstar) · blog.hotstar.com | 30초 광고 브레이크 하나가 relevance 필터링 → frequency cap → pacing → tiered waterfall 우선순위 결정을 거쳐 100ms 안에 수천 개 후보에서 2~3… |
| Personalizing Airbnb Search by Learning from the Guest Journey | Daochen Zha 외 (Airbnb) · Medium (Airbnb Engineering) | 수백 개까지 늘어난 손수 만든 집계 피처의 확장성·표현력 한계를 넘기 위해, 게스트 여정을 7년치 long-term 시퀀스와 21일치 short-term 뷰 시퀀스로 분리해 Transformer… |
| The Knowledge Spine | Bojan Ciric · LinkedIn Pulse | 온톨로지가 PowerPoint·PDF 용어집·아무도 질의하지 않는 모델링 도구 안에 살고 있으면 의미를 기술할 뿐 전달하지는 못한다 — 프로덕션에서 쿼리 가능한 인프라로 배포되어야 knowled… |
| The Life and Times of a Data Team in the AI Era | Katie Bauer (Head of Data, Hex) · hex.tech | 데이터 팀의 임무(데이터를 사람들 손에 쥐여주기)는 그대로지만 이제 대부분의 데이터 접근이 에이전트에 의해 매개되고, 그 결과 예전에는 훨씬 큰 회사에서나 보던 문제들(지표 거버넌스 붕괴, 비용… |
| The Modern Data Stack - Open-source edition | Gleb Mezhanskiy (Datafold) · datafold.com | 50개 이상의 오픈소스 데이터 도구를 데이터 가치 사슬 단계별로 비교한 서베이 — 에이전틱 AI가 오픈소스 인프라의 확장성 논거를 처음으로 실질적인 것으로 만들었고, 동시에 오픈소스 우선 벤더의… |
| To Every Agent Its Own Database | Joe Reis · joereis.substack.com | ”데이터 웨어하우스를 에이전트에 맞게 준비한다”는 접근이 아키텍처의 틀린 끝에서 시작한다고 보고 문제를 뒤집어, 각 에이전트에 임베디드 분석 엔진을 주고 immutable slice를 P2P로… |
| Why Most Single Source of Truth Initiatives Fail | Deepika Saini (Housing.com) · Medium (Engineering @ Housing) | 데이터가 여러 곳에 사는 게 문제가 아니라 여러 팀이 같은 비즈니스 지표를 다르게 정의하는 것이 문제이고, 테이블은 그것을 풀 수 없다 — 거버넌스만이 풀 수 있다. |
상위: index