순서를 바꾸면 답이 바뀐다

01 · 발단

오탐률 71%의 심판

나는 2만 건 규모의 개인 지식베이스를 운영한다. AI 에이전트가 대화에서 추출한 사실(fact)들이 쌓이는 곳이고, 여기에 운영 원칙과 모순되는 fact 를 자동으로 찾아내는 검사를 붙였다. "완료 주장은 실행된 검증을 동반해야 한다" 같은 원칙 10여 개를 등록해 두고, LLM 심판이 fact 를 20개씩 배치로 읽으며 원칙 위반을 보고하는 구조다.

첫 실행 결과는 실망스러웠다. 표면화된 7건 중 정당한 지적은 2건 — 오탐률 71%. "크롤링을 했다"는 기록을 "비가역 작업을 사람 승인 없이 실행"으로 판정하는 식이었다. 읽기 전용 작업은 비가역이 아니고, 문제를 관찰한 기록은 위반을 실행한 기록이 아니다.

02 · 첫 번째 수리

프롬프트를 고쳐도 남는 것

오탐 5건을 유형별로 분류하니 4개 클래스가 나왔다 — 스코프 무시, 가역 작업, 관찰 fact, 아키텍처 스타일. 각 클래스를 겨냥한 가드 4종을 프롬프트에 넣고 동일한 200개 fact 를 재판정했다. 결과는 좋았다: 정당 판정 2/2 유지, 저장된 오탐 재출현 0/5 — 두 번 반복해서 같았다.

그런데 이상한 것이 남았다. 프롬프트는 그대로인데 재판정할 때마다 발견 집합이 조금씩 달랐다. 오늘 7건이던 것이 내일 5건이 되고, 같은 fact 가 잡혔다 빠졌다 했다. 확률적 노이즈라고 넘기기엔 흔들림이 컸다. 다수결 위원회(3표)를 붙여도 완전히 가라앉지 않았다.

03 · 가설

흔들림이 전부 노이즈는 아니라면

설문조사에서 문항 순서가 응답을 바꾼다는 것은 행동과학에서 오래 관측된 현상이다. LLM 심판도 배치를 읽는다 — 20개 fact 를 [0]번부터 [19]번까지 나열한 프롬프트를 받는다. 만약 판정이 배치 안의 위치에 의존한다면, 그 편향은 노이즈가 아니라 계통적(systematic)이다.

계통적이라는 것이 중요한 이유: 내 위원회 3표는 같은 순서로 세 번 판정했다. 순서 편향이 계통적이면 3표가 같은 편향을 공유하고, 다수결은 그것을 거르지 못한다. 다수결이 흔들림을 다 못 잡던 이유가 여기 있을 수 있었다.

04 · 파일럿

측정 먼저, 구현은 그 다음

가설이 그럴듯해도 코드를 먼저 고치지 않는다 — 이 시스템의 규칙은 measured-improvement-only다. 판정 기준을 측정 전에 고정했다: 동일 순서 반복의 판정 겹침과 순서를 바꾼 판정 겹침의 차이 (orderEffectDelta)가 0.10을 넘으면 순서 효과가 실재한다고 보고 셔플을 구현한다. 미달이면 음성으로 기록하고 코드는 그대로 둔다.

동일한 200개 fact 를 단일표로 4번 판정했다 — 두 번은 원래 순서(S1·S2), 두 번은 결정론 셔플(O1·O2, mulberry32 시드 41/97). 겹침은 발견 집합의 Jaccard 유사도로 쟀다.

순서를 바꾸자 판정 겹침이 절반 가까이 떨어졌다. 흔들림의 상당 부분은 확률 노이즈가 아니라 순서였다. 총 40번의 LLM 호출, 반나절 작업 — 가설을 코드로 옮기기 전에 이 정도 측정은 언제나 할 수 있다.

05 · 개입

표마다 다른 순서를 주다

수리는 단순하다. 위원회의 각 표가 서로 다른 순서로 배치를 읽게 했다. 1표는 호출자의 순서를 그대로 받고, 2표부터는 독립 순열로 섞는다. 발견의 fact 번호는 호출자 순서로 되돌려 매핑하므로 하류 검증·집계는 아무것도 달라지지 않는다.

이 설계의 요점은 순서 편향을 없애는 게 아니라 표 사이의 분산으로 바꾸는 것이다. 편향이 표마다 다른 방향으로 걸리면, 이제 다수결이 그것을 누를 수 있다. 계통 오차를 우연 오차로 변환해 기존 방어 장치(다수결)가 작동하게 만드는 것 — 실험과학이 오래 쓰던 수법이다.

06 · 재측정

열두 날 뒤, 다른 표본에서 다시

한 번의 파일럿은 결론이 아니다. 12일 뒤 같은 프로토콜을 더 크게 다시 돌렸다 — 14런 224콜: 원래 순서 4런, 셔플 시드 6종 각 1런, 그리고 배포된 셔플 위원회 4런. 표본은 그사이 자란 지식베이스의 새 200개, 원칙 세트도 새로 사전등록한 10종이다. 즉 파일럿과는 표본도 원칙도 다른 독립 세팅이고, 설계(배치 구성 고정·배치 내 순서만 변인·임계 0.10)만 같다.

파일럿 0.182, 재측정 0.198. 데이터도 원칙도 다른 두 세팅에서 효과 크기가 거의 같게 나왔다. 이 시점부터 나는 이것을 특정 데이터의 우연이 아니라 단일표 LLM 배치 판정의 구조적 성질로 읽는다.

07 · 정직한 해석

좋은 소식보다 불편한 숫자가 먼저다

첫째, 셔플 위원회는 재현율을 "올리지" 못했다. J_CC 0.494 는 같은-순서 반복의 0.543 과 신뢰구간이 겹친다. 그런데 이 비교에는 함정이 있다 — 0.543 의 안정성 중 일부는 세 표가 같은 편향을 공유해서 얻는 가짜 안정성이다. 순서만 바꾸면 0.345 로 무너지는 안정성이기 때문이다. 순서를 고정하지 않고도 0.494 를 내는 위원회는, 숫자는 비슷해도 질적으로 다른 것이라고 본다.

둘째, 기준선 자체가 낮다. 완전히 같은 입력을 같은 순서로 반복해도 판정 겹침이 0.543 — 절반 수준이다. 셔플이 고칠 수 있는 건 순서 편향까지다. 단일표 LLM 판정의 본질적 불안정은 남고, 그래서 다수결·임계 같은 다른 방어가 계속 필요하다.

08 · 이식

LLM 심판을 쓰는 사람에게

LLM-as-judge 는 이제 어디에나 있다 — 평가 파이프라인, RAG 품질 검사, 콘텐츠 필터. 이 기록에서 가져갈 만한 것은 세 줄이다.

① 순서를 바꿔서 두 번 재보라. 배치 판정이라면 같은 입력을 셔플해 다시 돌려보는 것만으로 계통 편향의 존재를 확인할 수 있다. 내 경우 40콜이면 충분했다.
② 임계는 측정 전에 정하라. 나는 Δ>0.10 을 먼저 박아두고 측정했다. 결과를 보고 기준을 정하면 어떤 숫자든 "양성"으로 읽게 된다.
③ 위원회를 쓴다면 표마다 순서를 바꿔라. 같은 순서의 다수결은 순서 편향 앞에서 한 표나 다름없다. 계통 오차를 분산으로 바꿔야 다수결이 일을 한다.

# 재현 조건 (P-03)
심판 모델   : Haiku 4.5 (단일 모델 — 일반화 미측정)
입력        : active facts 첫 200개 스냅샷 (id 목록 sha256 기록)
배치        : 20개 × 10배치 — 구성 고정, 배치 내 순서만 변인
셔플        : mulberry32 결정론, 파일럿 시드 41·97 / 재측정 시드 41·97·131·227·331·433
지표        : 발견 쌍(fact, principle) 집합의 Jaccard, 신뢰도 임계 0.8
판정        : orderEffectDelta = J(같은순서) − J(교차순서) > 0.10 (사전등록)
위원회      : 3표 다수결, 2표부터 독립 순열 + 원순서 역매핑