Data Engineering Weekly #279
이슈 내 아티클 10건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Accelerating Spark Queries with Apache DataFusion Comet | Apache Iceberg / DataFusion 커뮤니티 · iceberg.apache.org | Comet이 Iceberg Java의 플래닝을 그대로 두고 실행만 Rust로 바꾸는 구조 덕분에, 같은 통합이 Iceberg Java의 1만 개 Spark 테스트를 Iceberg Rust를 위한… |
| Apache Ossie - The New Name for Open Semantic Interchange | Josh Klahr, Khushboo Bhatia, Nick El-Rayess (Snowflake) · sn | 시맨틱 레이어와 온톨로지를 위한 벤더 중립 오픈 스펙 OSI가 Apache Incubator에 들어가며 Apache Ossie로 개명 — 스펙과 YAML 포맷은 그대로이고 거버넌스만 단일 통제… |
| Data Management in the Age of AI | William (Bill) Inmon, with Jamie Knowles · williaminmon.subs | 구조화 환경의 데이터 관리자는 문제를 보면 직접 가서 고치는 직접 통제를 했지만, 생성형 AI 환경의 데이터 관리자는 LLM에 어떤 텍스트를 먹일지를 관리하는 간접 통제만 가진다 — 꼭두각시를… |
| Designing Apache Pinot for High Availability in the Cloud | James Dilworth, Amol Mathur (StarTree) · startree.ai | 고가용성은 복제본을 갖는 것이 아니라 복제본들이 함께 죽지 않게 만드는 것이고, 그러려면 클라우드(장애 도메인 정의)·Kubernetes(배치)·Pinot(복제와 라우팅) 세 레이어가 같은 장애… |
| Designing a Spatial ETL Pipeline in PostGIS | Konstantinos Chantsaris · Medium | 서로 다른 정부기관이 그린 지도를 융합해 그리스를 수천 개의 도시 micro-fragment로 쪼개는 과정에서, CRS 불일치·spatial sliver·누락된 함수 인덱스·잘못된 분모라는 공간… |
| How Cerebras Built Its Enterprise Knowledge Base | Isaac Tai, Daniel Kim, Mike Gao (Cerebras) · cerebras.ai | ”모든 걸 한 플랫폼에 기록하자”는 단일 진실 공급원의 꿈 대신 데이터가 이미 사는 곳에서 만나되, 모든 소스를 하나의 embeddings 테이블 인터페이스로 정규화하고 full-text·벡터·… |
| How We Refresh Razorpays Data Warehouse 10x Faster with Graphs and Indexes | Amit Prabhu, Utkarsh Koppikar, Rohan (Razorpay) · engineerin | Fact는 테이블이 아니라 그래프다 — fact config를 순회 가능한 의존성 그래프로 모델링하고 lake 위에 secondary index를 두면 전체 재생성 대신 변경 이벤트만 증분 처리… |
| Puffin-Backed Vector Indexes | Artur Borycki (Teradata Advanced Research) · arXiv:2606.0419 | Iceberg가 통계·deletion vector용으로 만든 Puffin sidecar 파일이 십억 규모 DiskANN 그래프를 담기에 충분하고, snapshot summary로 바인딩하면 AN… |
| Stop Building Models Start Building Systems | Anish Kumar (Scribd) · tech.scribd.com | 모델도 프롬프트 품질도 비용도 시간이 지나면 변한다 — 그래서 지속되는 자산은 특정 프롬프트나 모델이 아니라 Fast Model → Judge Model → SME Review → Ingest… |
| Transforming How We Run Kafka at Honeycomb | Josh Parsons (Honeycomb) · honeycomb.io | Kafka 마이그레이션 성공의 기술적 요건은 롤백 안전성이지만, 진짜 성과는 마이그레이션 실행 자체를 반복 연습으로 삼아 Kafka 지식이 한 사람 머릿속에 있던 상태를 팀 전체의 자신감으로 바… |
상위: index