Data Engineering Weekly #268
이슈 내 아티클 9건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| 5NF and Database Design | Alexey Makhotkin · Database Design Book | 논리적 모델에서 올바르게 설계하면 5NF 분해를 별도로 고민할 필요가 없다. |
| Can Agents Replace the Search Stack | Doug Turnbull · Software Doug Blog | LLM 에이전트는 상품 검색(agentic search)에서는 효과적이지만, LLM이 모르는 정보를 찾는 딥 리서치에서는 임베딩 대비 개선이 없다. |
| Data Mesh at Grab Part II | Grab Engineering · Grab Engineering Blog | Grab은 메타데이터 이벤트 기반의 자동화된 인증 시스템으로 데이터 메시를 운영하며, 수동 체크리스트 없이 데이터 품질을 지속적으로 보장한다. |
| Feature Trimmer at Pinterest | Pinterest Engineering · Medium (Pinterest Engineering Blog) | Pinterest는 ML 서빙의 네트워크 병목을 해결하기 위해 모델이 실제 사용하는 피처만 전송하는 Feature Trimmer를 도입하여 연간 400만 달러 이상을 절감했다. |
| Materialized Tables in Apache Flink | Robin Moffatt · rmoff.net | Flink 1.20+의 Materialized Table은 DDL과 DML을 통합하여 라이프사이클 관리, 스키마 진화, 중단/재개를 자동화하는 새로운 테이블 추상화다. |
| SQLGlot mypyc Compilation | Evangelos Danias (Fivetran) · Fivetran Blog | SQLGlot을 mypyc로 C 확장 모듈로 컴파일하여 파싱 5배, 생성 2.5배, 옵티마이저 2~2.5배 속도 향상을 달성했다. |
| SQLite in Production | Ultrathink · ultrathink.art | SQLite로 실제 이커머스를 운영하며 WAL 모드의 동시성 이점과 배포 시 쓰기 손실이라는 치명적 한계를 동시에 경험한 실전 사례다. |
| Shopping Conversion CG at Pinterest | Pinterest Engineering · Pinterest Engineering Blog | Pinterest는 병렬 DCN v2 + MLP 아키텍처와 통합 멀티태스크 모델을 통해 전환 최적화 광고 리트리벌 성능을 대폭 개선했다. |
| Spark Executor Tuning | Capital One Tech · Medium (Capital One Tech Blog) | Spark executor 크기를 fat/thin 극단이 아닌 코어 3~5개 기준으로 최적화하면 병렬성과 장애 허용성의 균형을 맞출 수 있다. |
상위: index