EVIDENCE — AI 운영의 실측과 사고 기록

EVIDENCE OPERATING SEOUL · KST EST. 2026

Protocol — 게시 규약

3 RULES · ENFORCED

P-01 수치는 출처를 가진다 실행 로그·측정 도구에서 나오지 않은 숫자는 싣지 않는다. 모든 수치 옆에는 그것을 만든 명령과 조건이 있다.

P-02 사고는 1인칭만 직접 겪은 장애와 실수만 1인칭으로 쓴다. 남의 사례를 다룰 때는 관찰임을 밝히고 출처를 단다.

P-03 재현 조건 없는 결론 금지 한 번 좋았던 것은 결론이 아니다. 어떤 조건에서 다시 확인되는지 적을 수 없으면 게시하지 않는다.

Ledger — 기록

3 ENTRIES

EV-003 MEASURE 2026-08-06 게시

Δ0.198재측정 재현 · 14런 224콜

순서를 바꾸면 답이 바뀐다

LLM 심판의 오탐을 쫓다가 찾은 범인은 모델이 아니라 배치 순서였다 — 파일럿 Δ0.182, 재측정 Δ0.198(CI 0.100–0.301) 재현, 그리고 표별 셔플 위원회.

EV-002 MEASURE 2026-08 예정 작성 중

−97% · 재현 게이트 N=3

모델을 바꾸기 전에 재는 법

벤더 벤치마크가 아니라 내 작업으로 잰다. 사전등록 기준, 세 번 재현되어야 통과하는 게이트, 그리고 세대가 바뀌면 다시 재는 계약.

EV-001 ARCHIVE 2026-07 이관 준비

RE:EDIT

AX 엔지니어링 OS는 정말 필요한가

1인 AX 운영체계를 만들고 굴린 회고. 이전 채널 발행분을 이 장부의 규약에 맞춰 재편집해 옮겨 싣는다.

SYSTEM NOTE EVIDENCE는 AI 도입 후기가 아니라 운영 기록입니다. 기획 일을 하는 한 사람이 여러 대의 머신에서 AI 운영체계를 직접 만들고 굴리며 — 규칙을 세우고, 사고를 겪고, 고치고, 수치로 다시 확인한 것만 여기에 적습니다. 잘된 것보다 실패의 조건이 먼저 실립니다.