Data Engineering Weekly #281
이슈 내 아티클 10건
| 아티클 | 출처 | 한 줄 요약 |
|---|---|---|
| Agent Harness vs Loop vs Graph Engineering | @beamnxw · X (Twitter) thread | 세 용어가 같은 모델 주위에 있고 모두 “loop”를 포함할 수 있어 혼동되지만, 환경 → 피드백 → 흐름이라는 서로 다른 엔지니어링 결정을 기술하며 실패 증상으로 어느 레이어를 손볼지 진단할… |
| All You Need Is PostgreSQL | Eduardo Bellani · ebellani.github.io | ”감사 추적이 필요하니 event sourcing DBMS를 쓰자”, “앱이 느리니 in-memory KV로 캐시하자” 같은 아키텍처 cargo culting에 맞서, 흔한 반대 논거 5가지를… |
| Claude Artifact (marketing analytics) | claude.ai | 클리핑 실패 — 렌더링된 아티팩트 내용이 iframe 안에 있어 캡처되지 않았다. |
| Closing the Context Gap - Ontology plus LLM for Data Modernization | Zichuan Xiong (Thoughtworks) · thoughtworks.com | 온톨로지 없는 LLM은 빠르지만 신뢰할 수 없고, AI 없는 온톨로지는 몇 달의 수작업 분석이 드는 모델링 연습이다 — 둘을 결합하면 전략가가 의도와 공급을 구조로 표현하고 에이전트가 그 사이의… |
| Crowdsourced Taxonomy Verification | Junpeng Niu (Grab) · engineering.grab.com | LLM이 만든 지식 그래프 엣지를 진실이 아니라 가설로 취급하고 검색 인터페이스 자체를 검증 환경으로 삼아 라이브 트래픽에 주입해, 사용자 참여 신호로 승격하거나 pruning한다. |
| Eval-driven Development at Airbnb | Rohit Girme 외 (Airbnb) · Medium (Airbnb Engineering) | “의심스러우면 데이터를 봐라” — 프로토타입을 100개 예시에 돌리고 출력과 trace를 직접 읽어 실수를 분류하고 eval을 만드는 이 한 가지 습관이 어떤 프레임워크나 도구보다 제품 품질에… |
| GenRec - Towards LLM-Native Recommendation at Netflix | Ying Li, Arjun Rao, Shradha Sehgal (Netflix) · netflixtechbl | 수천 개의 손수 만든 피처 대신 사용자 이력·아이템 메타데이터를 텍스트로 verbalize하고 카탈로그 인지 스코어링 헤드를 붙인 LLM 랭커가, 40배 적은 라벨 데이터로 10년 넘게 다듬은… |
| Indexing the Data Lake for Online Point Queries | Will Edwards (Spotify) · engineering.atspotify.com | 병목은 이제 스토리지가 아니라 그 위의 쿼리 엔진이다 — 외부 인덱스가 키를 파일 위치에 직접 매핑하고 정밀한 ranged read로 필요한 바이트만 가져오면, 같은 Parquet 파일이 배치… |
| Kafka App - Theres a Skill for That | Isobel Scott (Etsy) · etsy.com | Kafka 스트리밍 앱 생성을 Agent Skill로 만들었더니 잘 동작했지만 아무도 쓰지 않았다 — 개발자들은 존재를 몰랐고, 에이전트가 그것을 제안하지 않았기 때문이었다. |
| Scaling StreamHub - Kinesis to Kafka for 145 Billion Daily Events | Prakash Kava (Atlassian) · atlassian.com | Managed는 unlimited를 뜻하지 않는다 — 브로커·네트워크·EBS·S3·control plane 한계가 여전히 중요하고, 특히 관리형 control plane이 불건강할 때 복구 경로… |
상위: index