Crowdsourced Graph Verification
검색 인터페이스 자체를 검증 환경으로 삼는다 — 미검증 엣지는 진실이 아니라 가설이다
핵심 개념
LLM으로 지식 그래프를 자동 구축하면 큰 동적 카탈로그에 빠르게 확장할 수 있다. 문제는 텍스트 동시 출현이나 벡터 유사도에서 추론된 관계가 항상 의미론적 실체를 반영하지는 않는다는 것이다.
LLM이 언어적 유사성 때문에 “Pho”를 “Italian Noodle Soup”의 자식으로 분류할 수 있다. 도메인 전문가의 수동 검증은 정확하지만 매일 변하는 수백만 엔티티에는 확장되지 않는다.
그리고 잘못된 엣지는 조용히 머물지 않는다 — query expansion 알고리즘이 무관한 아이템을 검색해 CTR과 사용자 신뢰를 직접 떨어뜨린다.
핵심 발상은 이것이다.
미검증 그래프 엣지를 가설로 취급하고, 진실로 받아들이는 대신 라이브 트래픽에 주입해 테스트한다.
노드가 아니라 엣지를 검증한다
엔티티(노드)만 검증하는 시스템과의 결정적 차이다. 이 프레임워크는 구조적 링크를 검증한다 — 엔티티 A가 진짜로 B의 부모·자식·형제인지 확인해 구조적 무결성을 보장한다.
두 가지 엣지 상태
| 상태 | 의미 |
|---|---|
| Verified | 높은 히스토리 트래픽이나 사람 확인으로 검증된 관계. 그래프의 안전한 구조이고 표준 검색 결과를 구동 |
| Candidate | LLM이나 스크레이퍼가 만든 확률적·미검증 관계. 증명되기를 기다리는 가설로, 검증 전까지 메인 검색 알고리즘에 보이지 않는다 |
주입 — exploration vs exploitation
관련성만 엄격히 최적화하는 표준 랭킹과 달리 균형 전략을 쓴다.
사용자가 검색하면 고신뢰 결과를 검색(exploitation)하는 동시에 쿼리 관련 candidate edge의 작은 부분집합을 의도적으로 가져와 저위험 슬롯에 주입한다 — related searches chip carousel의 3~4번째 위치 같은 곳.
risk management: 세션당 보여줄 candidate 수를 제한해, 사용자는 주로 검증된 유용한 콘텐츠를 받으면서도 가설 테스트에 충분한 데이터 포인트가 모인다.
Contextual anchoring — 무엇을 표로 세는가
정확한 측정의 핵심은 최종 클릭만이 아니라 상호작용이 일어난 정확한 맥락을 포착하는 것이다.
“Pho”에 대한 클릭은 그 사용자가 그때 “Noodle Soup”을 검색 중이었을 때에만 그 관계에 대한 표로 계산된다.
사용자가 쓴 검색어(anchor)를 로깅해야 클릭이 어떤 가설에 대한 증거인지 알 수 있다.
가중 점수와 정규화
원시 클릭 수 대신 노력·커밋이 더 필요한 행동에 더 높은 값을 준다.
- “Purchase”, “Add-to-Cart” → 단순 클릭보다 훨씬 무겁게 가중. 관계에 대한 강한 검증을 의미
- 단순 클릭 → 약한 양의 증거
- 빠르게 스크롤해 지나치거나 건너뛰기 → 음의 신호
정규화: 총 가중 점수를 노출 횟수로 나눈다. 이것이 총 트래픽은 적지만 정확도가 높은 니치 아이템이 부당하게 불이익받는 것을 막는다.
그래프 토폴로지 업데이트
오프라인 엔진이 수천 개의 개별 신호를 집계해 이진 결정을 내린다.
- Promotion (verify) — 신뢰 비율이 검증 임계를 넘으면 candidate → verified. 그래프의 영구적 일부가 되어 모든 사용자에게 표시
- Demotion (prune) — 참여를 얻지 못하거나 음의 신호를 받아 pruning 임계 아래로 떨어지면 엣지 자동 삭제. AI의 환각을 교정하고 데이터셋을 정리해 같은 나쁜 추천을 다시 하지 않게 한다
실패한 관계를 더 적절한 부모 노드로 re-map하는 선택지도 있다.
신뢰를 단계로 — volume과 variety를 함께
단일 임계는 조작에 취약하고 신호가 얕다. 개선 방향은 이중 측정 신뢰 시스템이다.
- support mass — 제품 히트, 그래프 깊이, 최신성
- corroboration — 고유 세션, 익명 코호트, 시간적 분산
연결이 상태 기계를 올라간다.
proposed → shadow eligible → canary eligible → production
두 지표가 점진적으로 높아지는 임계를 모두 만족할 때만 전진하고, 스냅샷이 어느 티어의 바닥 아래로 떨어지면 자동 강등된다.
사용자 신호를 신뢰의 근거로 쓸 때의 방어
사용자 행동이 그래프를 바꾼다면 행동을 조작해 그래프를 조작할 수 있다. 다층 방어가 필요하다.
- rate limit과 anti-abuse — 세션/기기당 시간 상한, 빠르게 반복되는 행동에 지수 백오프, 거부나 “irrelevant” 신호 후 해당 사용자 코호트로부터의 승격을 몇 시간 동결
- 봇·Sybil 방어 — abuse 시스템이 플래그한 트래픽을 신뢰 계산에서 제외(분석용으로는 로깅), 표가 다양한 네트워크 서브넷이나 코호트 버킷에서 와야 하고 버킷마다 일일 기여 상한
언제 쓰고 언제 안 쓰는가
적합한 조건
- 카탈로그가 빠르게 변해 수동 검증이 따라갈 수 없다
- 검색·추천 인터페이스에 저위험 실험 슬롯이 이미 존재한다
- 사용자 참여가 관계의 의미론적 타당성에 대한 합리적 proxy다
부적합한 조건
- 관계의 정확성이 사용자 선호와 무관한 도메인(규제, 안전, 회계)
- 트래픽이 희소해 통계적 신호가 모이지 않는 롱테일 엔티티
- 잘못된 노출의 비용이 검증의 가치보다 큰 고위험 표면
후자에서는 Human-in-the-Loop Labeling처럼 judge 모델이 SME 주의를 집중시키는 접근이 더 맞는다. 두 방식은 대립하지 않고 신호 밀도와 리스크에 따라 나뉜다 — 트래픽이 많고 위험이 낮으면 crowdsource하고, 트래픽이 적거나 위험이 높으면 SME를 쓴다.
연관 개념
- Knowledge Graph Infrastructure
- Knowledge Representation
- Human-in-the-Loop Labeling
- ML Ranking Systems
- A-B Testing and Experimentation
- Data Quality and Validation
- Recommendation Impact Measurement
- Knowledge Spine