Data Engineering Weekly #277
이슈 내 아티클 10건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Databricks LTAP and the Unfinished Problem of Unified Data | Boaz Palgi (RegattaDB) · regatta.dev | LTAP은 스토리지 레이어만 통합했을 뿐 concurrency 모델·엔진·벡터 워크로드는 여전히 분리되어 있어, 에이전트 워크로드가 요구하는 진짜 통합은 미완이라는 벤더 관점의 비판. |
| From monolith to Lakebase to LTAP | Reynold Xin (Databricks) · databricks.com | 모놀리식 DB의 거의 모든 문제는 “WAL과 데이터 파일이 한 머신 안에 있다”에서 나오므로, WAL을 SafeKeeper·데이터 파일을 PageServer로 외부화하면 Postgres 컴퓨트가… |
| Introducing Durable Functions in PostgreSQL | Abe Omorogbe, Pino De Candia, TJ Green (Microsoft) · Microso | Postgres에 없던 프리미티브 — 데이터가 있는 곳에서 도는 durable·비동기 백그라운드 작업 — 을 background worker + DSL 확장으로 채워, 외부 오케스트레이터 없이… |
| Loop Engineering - Designing Systems That Prompt Agents | Addy Osmani · addyosmani.com | 프롬프트를 잘 쓰는 사람이 되는 대신 에이전트를 프롬프트하는 시스템(루프)을 설계하는 쪽으로 레버리지 포인트가 이동했고, 그 루프는 automation·worktree·skill·connecto… |
| Metas AI Storage Blueprint at Scale | Sidharth Bajaj, Venkatraghavan Srinivasan (Meta) · engineeri | AI 컴퓨트는 2년마다 3배 빨라졌지만 스토리지는 그러지 못해 GPU stall의 주범이 되었고, Meta는 메타데이터 서브시스템 재작성 + 데이터플레인 프록시 제거 + 계층형 캐시/프리페치로… |
| Re-architecting Affirms Upfunnel Platform | Sidharth Pardeshi (Affirm) · Medium (Affirm Engineering) | 수억 row짜리 정적 설정 테이블을 룰 엔진으로 바꾸고 shadow-validation + CDN 리라이트로 트래픽을 옮겨, 머천트가 아무것도 바꾸지 않은 채 실험 셋업을 2개월에서 4일로 줄인… |
| Scaling Marketing Campaign Forecasting with Generative AI | Target AI/ML (Personalized Offers) · tech.target.com | ”이 캠페인이 어떻게 될까”를 규칙 기반 매칭 대신 semantic retrieval + LLM 재랭킹(RAG)으로 과거 유사 캠페인을 찾아 예측하고, 근거(rationale)를 함께 반환해 감… |
| Scaling up your microservice testing with Apache Spark (Part 1) | Stripe Engineering · stripe.dev | 입력 분포의 롱테일이 행동을 결정하는 서비스는 손으로 만든 테스트로 검증할 수 없으므로, 결정 로직을 요청 경로에서 분리해 Spark로 수개월~수년치 프로덕션 히스토리를 replay하면 프로덕션… |
| Scaling up your microservice testing with Apache Spark (Part 2) | Stripe Engineering · stripe.dev | replay harness의 핵심은 “서비스의 두 번째 구현을 만들지 않는 것” — 의존성 상태를 데이터셋으로 표현하고 Spark 잡은 데이터 로드·조인·객체 구성·출력만 담당하며 결정 로직은… |
| Using LLMs to Analyze Spark SQL Plans | Sagi Bhuvana (Expedia Group) · Medium (Expedia Group Tech) | 자유 형식 프롬프트 대신 엄격한 판정 기준을 가진 anti-pattern 목록을 주고 모든 발견에 stage/task/node ID 근거를 강제하니, LLM이 300+ 노드짜리 Spark 물리… |
상위: index