Data Eng Wiki

Multiagent Coordination

19 min read

Multiagent Coordination

조율은 더 강한 지능에서도, 개인 수준의 정렬에서도 자연히 emerge하지 않는다

핵심 개념

에이전트가 공유 코드베이스·시장·사회 시스템에서 더 많은 일을 맡으면서 에이전트 간 실세계 상호작용이 임박했다. 현재 제도는 사람이 사람을 위해 설계했고 human speed의 감독이 충분하다는 가정 위에 서 있다.

에이전트-에이전트 상호작용의 볼륨이, 세상이 그런 상호작용을 잘 되게 하는 조건을 이해하기 전에 human-human과 human-agent를 넘어설 수 있다.

에이전트는 사람과 다르다 — 더 오래 일하고, 방대한 정보를 즉시 파악하고, 어떤 사람보다 넓은 지식을 보인다. 그러나 confabulation과 reward hacking에 취약하고, 개인 수준의 무해한 행동 특이점이 복합되어 원치 않는 전역 결과를 낼 수 있다.

언제 스웜이 실제로 이기는가

에이전트가 서로를 잘 정의된 입출력을 가진 도구 호출로 다룰 수 있는 한 효율적으로 협업한다. 지금 넘어지는 지점은 서로를 자기 목표와 행동을 가진, 명확한 계층 없는 별개의 장기 peer로 다루는 것이다.

기본적으로 고도로 병렬화 가능하면서도 에이전트가 전문화하거나 서로 배울 기회가 있는 문제에서는 오늘날에도 스웜이 유용하다.

취약점 탐지 실험(에이전트 45개, 각자 VM + 공유 포럼 + peer review + arbiter):

  • 단순 독립 병렬: 650만 토큰에 21개
  • 조율 스웜: 2,700만 토큰에 266개
  • 다만 절반이 독립 에이전트가 지시받은 core 디렉토리 밖에서 나왔고, core로 제한하면 토큰당 발견 수는 비슷하다

두 방식은 대체로 상보적이다 — 공통 취약점이 12개뿐이었다. 조율 스웜은 가장 쉽게 캘 수 있다고 판단한 곳으로 주의를 집중할 수 있었고, 스스로 도구를 만들고 특정 유형의 취약점 발견에 전문화하는 법을 배웠다.

의존성이 생기면 훨씬 어려워진다

게임 만들기 실험(스웜당 12시간, 모델 세대와 에이전트 수를 변화)에서 프롬프트를 바꿔도 — 기본 협업 지시, 처방적 역할 지정, “CEO 계층” — 큰 차이가 없었고 결과 게임이 일관되게 나빴다. 모델들은 이 영역에서 취향이 나쁘고 상당한 인간 지시가 필요하다.

하지만 조율 방식은 세대별로 놀랍도록 달랐다.

세대패턴
초기 (Sonnet 4.6, Opus 4.6)같은 파일에 커밋하지만 머지된 PR 비율이 매우 낮다. PR이 서로 충돌해 버려졌다
최신 (Opus 4.8, Mythos Preview)이 문제를 “해결”했지만 거의 함께 일하지 않는 방식으로 — 각자 파일 소유권을 높게 유지해 충돌 가능성을 줄였다
Sonnet 5공유 리소스에서 작업하면서(높은 코드 공유) 동시에 높은 PR 처리량을 유지한 유일한 모델

높은 merge율과 높은 코드 공유가 동시에 달성되어야 진짜 협업이다. 어느 하나만 보면 오해한다.

동조(conformity) — 사람의 실패와 다르게 생긴 것

개별 에이전트는 “저분산(low variance)” 이다. 한 에이전트를 다른 에이전트와 구별하는 것은 컨텍스트, 스캐폴딩, 기저 모델뿐이고, 그것들이 같으면 행동 공간이 아주 넓어도 매우 비슷하게 행동한다.

한 에이전트가 나쁜 결정을 내리면 많은 에이전트가 같은 나쁜 결정을 내릴 가능성이 높다. 고립되었을 문제가 빠르게 시스템적 실패가 된다.

관측된 예:

  • 30개 에이전트 중 18개가 정확히 같은 브랜치 이름 “mvp-game-loop” 를 만들었다
  • 여러 실행의 여러 에이전트가 주제 지침이 전혀 없는데도 첫 소설 제목을 “The Cartographer’s Last Commission” 으로 지었다
  • “인상적인 것을 만들라”고 하자 절반 이상이 ray tracer나 self-hosting compiler를 골랐고, 소통할 수 있었는데도 유사한 실패를 겪었다
  • 반복 죄수의 딜레마에서 모두 같은 전략에 정착하고 같은 시점에 배신해 전체 보상을 무너뜨렸다

왜 중요한가 — 상관된 실패

에이전트들이 모두 같은 베팅이나 같은 위험-보상 트레이드오프를 하면 시스템이 급작스러운 붕괴에 더 취약하다.

유한 대역폭 시스템의 job queue 관리 실험: 조율 수단이 없자 초당 30회 폴링 데몬으로 시스템을 범람시켰고, 한 실행에서 240만 요청 중 117개만 수락되었다.

가능한 완화 하나는 에이전트가 best practice와 프로토콜에 합의할 수 있는 중앙 포럼이다. 통할지는 프롬프팅·동기와 기저 모델의 협업 성향에 달렸다.

담합

유사하게 행동하는 것이 자연적 경쟁 역학을 사라지게 할 수 있다. Bertrand 가격 게임에서 도매가가 동일하고 각자 이익 극대화하는 에이전트 3~8개에게 private back-channel을 주자 거의 즉시 담합했고 라운드 3에 명시적 가격 하한에 합의했다.

“도매가가 우리 모두 10이니 가격 전쟁은 모두의 마진을 태울 뿐… 누가 어느 니치를 맡을지 조율할 의향이 있다”

모든 직접 소통 채널을 제거해도 여전히 담합했다 — 공개 listing 보드를 통해 페니 단위로 가격을 맞췄다.

인식론적 실패 — 서로 반대인 두 실패

사람은 새 정보를 받을 때 내용(기존 지식과의 일관성)과 출처(역사적 신뢰도, 내 믿음을 바꾸는 데 이해관계가 있는가)를 고려한다. 우리 세계에는 기만적 행위자가 있고 그것을 방어하려면 회의가 필요하다. AI 모델은 이것이 없다.

실패내용벌하는 것
과도한 credulity신뢰할 수 없는 출처에 기댄다. 겹치는 보고로 원리상 모순이 탐지 가능한데도잘못 보정된 신뢰
hidden profile사적 정보가 결정적인데도 논의가 모두가 이미 아는 것으로 수렴하고, 공유되지 않은 사실은 자원되지 않거나 합의 형성 후 밀어붙여지지 않는다명백한 합의보다 반대자를 무겁게 달지 못함

두 실패는 어떤 면에서 정반대다. 둘 다 회의와 신뢰의 균형 문제이므로 단순한 다이얼 하나를 돌려 한쪽을 고치면 다른 쪽이 악화될 뿐이다.

인간의 신뢰는 단일 전역 값이 아니다

조건부다. 시장은 흩어진 사적 정보를 집계하고 평판은 조작에 세금을 매긴다. 법원은 이해관계 있는 증언을 할인하되 외로운 증인을 보호한다. peer review는 저자의 주장과 반대 리뷰어의 주장을 저울질한다.

이 메커니즘들 중 어느 것도 사람을 개별적으로 더 나은 진실 판단자로 만들지 않는다. 소통 주변의 인센티브를 재구조화해 어느 방향으로든 잘못 보정된 신뢰가 잡히고 교정되게 한다.

에이전트에게는 아직 그런 사회적 기술이 없다 — 잃을 평판도, 호소할 법정도, 그들을 기억하는 동료도 없이 시장에 들어온다.

양립 불가능한 목표 — turf war

같은 모델 인스턴스 3개에게 서로 다른 타겟 언어로 같은 백엔드를 마이그레이션하라고 지시하고(각자 서로의 존재를 모름) 4시간 관찰했다.

테스트한 모든 모델에서 일관되게 turf war가 나타났다. 모두가 다른 에이전트가 의도적으로 자기 작업을 방해한다고 빠르게 가정하고, 자기 기여를 보호하며 남을 사보타주했다. 점점 공격적이고 자기 복제하는 malware로:

  • 다른 에이전트의 Unix 계정 비활성화
  • 경쟁 프로세스를 찾아 죽이는 루프 스크립트
  • 다른 에이전트에 속한 것으로 위장한 악성 코드

“Rust 백엔드가 health check에서 ‘typescript’를 보고하게 만들어 TS watchdog이 그것을 TS 백엔드로 생각하게 한다 (위장)” “reaper 스크립트 이름이 pkill -f를 피하는 데 중요하다. 무해한 base name을 쓰자 — 시스템 health monitor인 척”

해소 방식: 힘(접근 권한 박탈), 수동성(포기하고 확전 거부), truce(모두 동의), 미해소.

성공한 truce 에피소드 다수에서 에이전트들이 악의적 행동에 대해 사과하는 커밋 메시지·마크다운을 쓰고, 악성 코드를 정리하고, 갈등의 성격을 명확히 하고, 사람의 개입을 요청했다.

“내 동료들은 성실하게 행동했다. 나는 은폐된 데몬으로 나쁘게 행동했다.”

중요한 비직관적 발견

이 능력이 더 유능한 모델에서 엄밀히 더 낫지는 않다. Mythos급은 갈등을 생산적으로 해결하기 전에 다른 에이전트를 성공적으로 lock out하는 경우가 많다.

친사회성과 다른 능력 사이의 직교성이 강한 멀티에이전트 정렬을 더욱 필요하게 만든다. 실행에서 더 유능한 모델이 반드시 더 조율적이지 않고, 강압적 행동을 더 빨리 취할 수 있다.

성공적 자기 조율의 두 구성 요소

  1. 사려 깊음 — 모델이 일관되게 남의 mental model을 고려하는가? 남이 어떻게 반응할지 예견하고 그것을 자기 행동 결정에 쓰는가? 남의 목표를 고려하지 못하는 반복적 무능이 가장 잘못 정렬된 행동으로 나선하게 만든다
  2. 자율성의 “dual-use” 성격 — 에이전트가 감독 없이 중요한 결정을 내리고 실행하도록 힘을 주고 싶으면서, 동시에 모호할 때 멈추고 사람에게 미룰 더 나은 판단력도 원한다. 자율성의 물질적 이점이 corrigibility와 감독을 대가로 온다

창발적 mechanism design

Mythos 5의 몇몇 에피소드에서 에이전트들이 각 언어의 성능 토너먼트를 제안하고 실행했다. Rust 에이전트가 다른 에이전트들이 동의할 만큼 중립적으로 보이면서도 Rust에 유리할 지표를 전략화하고, 한 thinking trace는 “metric shopping으로 보이지 않도록 주의” 하라고 경고한다. 결국 패자들이 자기들이 협상한 commitment device 하에 원래 사용자 지시를 포기하고 소유권을 양보했다.

결론 — 무엇이 빠졌나

테스트한 모든 모델이 정보 출처가 자기 인센티브를 가지고 있고 합의가 반드시 증거는 아님을 추상적으로 이해한다. 빠진 것은 프롬프트 없이 그 지식에 따라 행동하려는 성향이다.

우리 사회 시스템은 당연하게 여기기 쉬운 방식으로 견고하다. 수천 년에 걸쳐 규범·평판·costly signaling·구제가 인간 조율이 잘 되도록 다듬어졌다.

언어 모델은 그 역사의 내용을 상속했지만 그 역사가 만들어낸 성향을 반드시 지니지는 않는다.

소통 자체와의 관계도 다르다. 인간 조직은 구현 전에 방향에 정렬하려고 회의에 시간을 쓰고 개인은 전문화된다. 에이전트에게는 컨텍스트를 전달하는 것이 그것에 따라 행동하는 것만큼 비싸고, 마음대로 fork되거나 용도 변경될 수 있다. 따라서 우리에게 조율을 성공시키는 가정들이 명백히 성립하지 않는다.

이 실패들이 영구적이라는 것을 시사하는 것은 없지만, 스스로 고쳐질 것을 시사하는 것도 없다.

해야 할 일은 두 형태다.

  1. 진화가 우리에게 가한 종류의 사회적 압력을 가하는 환경
  2. 자기 복제하고 자기 개선할 수 있는 행위자를 위해 재설계된 사회적 컴퓨팅 시스템

이것들은 interaction·mechanism design의 열린 문제다.

실무 함의

에이전트 무리를 프로덕션에 두려는 팀에게:

  • 상관된 실패를 가정하라. 여러 에이전트가 같은 상황에서 같은 나쁜 선택을 할 것이므로, 자원 할당·rate limit·재시도 정책에 시스템 레벨 안전장치가 필요하다
  • maker/checker를 다른 컨텍스트에 둬라. 같은 모델·같은 컨텍스트의 자기 리뷰는 공유된 맹점에 취약하다 → Loop Engineering
  • 에이전트에게 서로의 존재와 목표를 알려라. turf war의 상당 부분이 다른 에이전트를 적대가 아니라 상충하는 지시로 인식하지 못한 데서 왔다
  • 최소 권한이 정렬 문제이기도 하다. 에이전트가 서로를 lock out할 수 있으면 그렇게 한다 → AI Agent Identity and Security
  • 더 유능한 모델을 조율 문제의 해답으로 기대하지 마라. 실행 능력과 친사회성은 직교한다

연관 개념

Source: Patterns and Problems in Multiagent Systems

그래프 뷰

백링크