한 글자의 전쟁 — 무시당한 현자, 불탄 게임 시장, 그리고 루프를 살리는 Study

3줄 요약 • 1950년 도쿄에서 강연한 무명의 미국 통계학자는 자기 나라에서 30년간 무시당했다. 그 사이 품질을 버린 미국 게임 시장은 97% 불탔고(아타리 쇼크), 품질의 도장을 세운 닌텐도가 시장을 살렸으며, 그의 이름을 딴 상(데밍상)을 만든 일본에서는 도요타가 자랐다. • 그런데 여기 뒤틀린 매듭이 하나 있다 — 세계가 "데밍의 PDCA(Plan-Do-Check-Act)"라 부르는 그 사이클을, 정작 데밍은 죽을 때까지 거부했다. Check가 아니라 Study이며, PDCA는 자기 사이클의 변질(corruption)이라고. • 이 한 글자가 AI 에이전트의 루프 설계를 가른다. 게이트(Check)는 루프가 망가지는 것을 막고, 학습(Study)은 루프를 진화시킨다 — 닌텐도의 도장만으로는 도요타가 되지 않는다.

1. 게이트는 다 있는데, 왜 같은 실패가 반복되는가

당신이 이런 상태라면 이 글은 당신을 위한 것이다. 에이전트 루프에 테스트를 붙였다. 린트도, 정책 검사도, 재시도 상한도, 사람 승인도 있다. 게이트는 전부 초록불인데 — 같은 유형의 실패가 다음 주에 또 온다. 테스트는 통과하는데 결과물의 품질은 낮고, 사람의 수정은 매번 같은 지점에서 발생한다. 무언가 통과시키고는 있는데, 아무것도 배우고 있지 않은 느낌.

13편은 이 질문을 예고로 남기며 끝났다 — 왜 점검만으로는 아무것도 지켜지지 않는가. 데밍이 말년에 Check라는 글자를 거부하면서까지 지키려 한 것은 무엇이었나. 이번 편이 그 답이다. 답은 한 편의 이야기와 한 장의 설계도로 온다. 이야기는 반세기 전의 품질 전쟁이고, 설계도는 우리가 정원 바깥에 심어 둔 씨앗 글 — 'Check'에서 'Study'로 — 데밍의 PDSA가 AI 루프 엔지니어링에 주는 설계 원칙 — 이다. 바깥에 심었던 씨앗을 이번에 정원 안으로 들여온다.

먼저 이야기부터. 세 개의 장면이 있다 — 무시당한 현자, 불탄 시장, 그리고 뒤틀린 이름.

2. 1막 — 무시당한 현자 (1950, 도쿄)

전후 미국은 품질을 고민할 이유가 없었다. 전 세계가 미국 물건을 사려고 줄을 섰고, 만들기만 하면 팔렸다. 팔리는데 왜 배우는가. 통계적 품질관리를 설파하던 W. 에드워즈 데밍(W. Edwards Deming)의 이야기를 미국 산업계는 듣지 않았다.

같은 시간, 폐허가 된 일본은 정반대의 처지였다 — "일제(日製)"는 싸구려의 대명사였고, 배우지 않으면 팔 수 없었다. 1950년, 일본과학기술연맹(JUSE, Union of Japanese Scientists and Engineers)의 초청으로 도쿄에 선 데밍의 강연을 일본의 경영자들은 맨 앞줄에서 받아 적었다. 이듬해 일본은 그의 이름을 딴 품질상 — 데밍상(Deming Prize, 1951) — 을 만들었다. 기금의 출처가 상징적이다. 데밍이 자기 강연록의 인세를 JUSE에 기부하자, JUSE가 그 돈으로 그의 이름을 딴 상을 제정한 것이다. 가르친 자는 대가를 돌려보냈고, 배운 자들은 그 대가를 배움의 제도로 바꿨다.

그리고 미국이 데밍을 "발견"한 것은 그로부터 30년 뒤였다. 1980년 NBC 다큐멘터리의 제목이 모든 것을 말한다 — "일본이 할 수 있다면, 왜 우리는 못 하는가(If Japan Can... Why Can't We?)". 이때 데밍은 이미 여든 살이었다. 30년간 답은 바다 건너에 있었고, 질문은 자기 안방에 있었다.

3. 2막 — 게이트가 없던 시장의 화재 (1983, 아타리 쇼크)

미국이 품질을 무시한 대가는 자동차·가전에서만 치러진 것이 아니다. 가장 극적인 화재는 게임 시장에서 났다.

1983년의 북미 게임 시장, 이른바 아타리 쇼크. 아타리는 자사 콘솔(아타리 2600)에 흘러드는 서드파티 게임을 사실상 통제하지 않았다. 아무나 만들 수 있었고, 아무거나 꽂혔다. 저질 게임이 시장을 뒤덮었고 — 영화 판권만 믿고 몇 주 만에 찍어낸 게임이 사막에 트럭째 매립된 일화는 상징이 됐다 — 소비자의 신뢰는 무너졌다. 약 30억 달러였던 시장은 2년 만에 약 1억 달러로, 97%가 증발했다. 게이트 없는 생태계는 개별 제품이 아니라 시장 전체를 태운다는 것을 보여준 사건이다.

시장을 되살린 것은 1985년, 닌텐도의 NES(Nintendo Entertainment System)였다 — 그리고 그 방법이 정확히 게이트였다. 모든 카트리지에 인증 칩(10NES)을 박아 승인 없는 게임은 아예 구동되지 않게 했고, 라이선스 계약으로 한 회사가 1년에 낼 수 있는 타이틀을 5종으로 제한했으며, 통과한 게임에만 **품질 보증 도장(Nintendo Seal of Quality)**을 찍었다. 소비자는 도장을 보고 다시 지갑을 열었다.

여기서 1차 교훈을 분명히 적어 두자. Check는 필요하다. 게이트 없는 루프는 자유가 아니라 화재다. 이 시리즈가 검수 루브릭과 승급 게이트를 만들어 온 이유이고, 씨앗 글이 "PDCA는 약한 방법론이 아니다"라고 못박는 이유다. 그러나 이야기는 여기서 끝나지 않는다 — 도장은 시장을 지켰지만, 도장이 게임을 더 잘 만들어 주지는 않았다.

4. 3막 — 뒤틀린 이름 (PDCA는 데밍의 것이 아니다)

한편, 데밍상의 나라에서는 도요타가 자라고 있었다. 개선(改善, kaizen)과 반성(反省, hansei)을 제도로 만든 회사. 그리고 세계는 도요타의 사이클을 이렇게 배웠다 — PDCA: Plan, Do, Check, Act. 일명 "데밍 사이클".

그런데 여기, 이 이야기에서 가장 뒤틀린 매듭이 있다. 사실관계를 정확히 하자.

PDCA는 데밍이 만든 것이 아니다. 역사가 추적된다 — 데밍이 1950년 강연에서 소개한 것은 스승 슈하트(Walter Shewhart)의 사이클을 발전시킨 순환 모델("데밍 휠")이었고, 이것을 PDCA라는 네 글자로 재구성한 것은 일본의 경영자들이었다(『카이젠』의 이마이 마사아키(今井正明, Masaaki Imai)가 증언하고, 이시카와 가오루(石川馨, Kaoru Ishikawa)가 정련했다). 즉 PDCA는 일본에서 태어난 번역이자 변형이다.

그리고 데밍은 그 변형을 받아들이지 않았다. 그는 청중에게 반복해서 경고했다 — 영어에서 check는 "억누르다(hold back)"를 뜻한다고. 판정하고 걸러내는 뉘앙스의 그 글자가, 자기 사이클의 세 번째 자리를 차지하는 것을 그는 거부했다. 30년간 데밍을 곁에서 도운 론 모엔(Ron Moen)에게 1990년에 보낸 편지에는 이렇게 적혀 있다.

"반드시 PDSA라고 불러라. 변질된 PDCA가 아니라(Be sure to call it PDSA, not the corruption PDCA)."

그가 세상을 떠나기 직전에 낸 『The New Economics』(1993)의 정식화가 PDSA: Plan, Do, Study, Act다. Check가 "계획대로 되었는가"를 판정한다면, Study는 "예측과 실제는 왜 달랐는가, 우리의 가설은 맞았는가"를 캐낸다. 판정과 학습 — 한 글자에 갈린 것은 사이클의 세 번째 칸이 아니라, 사이클을 도는 이유 전체였다.

한 가지를 마저 정직하게 밝혀 둔다. 데밍이 도요타에 찾아가 "PDCA가 아니라 PDSA"라고 말했다는 기록은 없다. 그의 정정은 세미나와 편지와 책을 통해 세상 전체를 향한 것이었다. 그리고 흥미로운 것은 이 지점이다 — 이름을 바꿔 달지 않았을 뿐, 도요타가 실제로 한 일은 글자보다 데밍 쪽에 가까웠다. 실패를 판정으로 끝내지 않고 "왜 그렇게 되었는가"를 캐서 표준을 다시 쓰는 반성의 제도화. 간판은 PDCA였지만, 엔진은 Study였다. 12편에서 우리가 "그들의 힘은 글자가 아니라 반성(反省)을 제도화한 태도에 있었다"고 적은 그대로다.

이제 세 장면이 하나로 접힌다. 닌텐도는 Check로 시장을 지켰고, 도요타는 Study로 시스템을 진화시켰고, 미국은 30년간 둘 다 하지 않았다. 그리고 2026년, 우리는 AI 에이전트의 루프 앞에서 정확히 같은 갈림길에 서 있다.

5. 설계도 — PDCA 외피, PDSA 코어, 그리고 스킬 Eval 센서

이야기를 씨앗 글의 설계도로 번역할 차례다. AI 에이전트를 잘 쓰는 문제는 더 길고 정교한 프롬프트를 한 번 작성하는 문제가 아니라, 목표를 해석하고, 도구를 호출하고, 결과를 검증하며, 실패를 기록해 다음 실행을 바꾸는 반복 구조 자체를 설계하는 문제다 — 10편에서 우리가 루프 엔지니어링이라 불렀던 그것이다. 씨앗 글의 핵심 대비를 표로 옮긴다.

비교 축	PDCA	PDSA
네 단계	Plan – Do – Check – Act	Plan – Do – Study – Act
3단계의 주 질문	계획대로 되었는가?	예측과 실제는 왜 달랐는가? 가설은 맞았는가?
강점	통제, 표준화, 반복 가능한 운영	지식 생성, 원인 학습, 실험의 확장
실패의 의미	수정해야 할 결함	다음 설계를 위한 관측값
에이전트 루프에서의 역할	테스트·정책·비용·권한 게이트	프롬프트·도구·메모리·평가기 자체의 개선

씨앗 글이 제안하는 실용 구조는 셋을 경쟁시키지 않고 역할을 나누는 것이다.

목표 ─▶ Plan(과제+가설) ─▶ 실행(도구) ─▶ 스킬 내장 Eval ─▶ [PDCA 게이트]
                                                            │ 통과 ─▶ 배포/전달 ─┐
                                                            │ 실패 ──────────────┤
                                                            ▼                    ▼
              Plan ◀── Act(스킬·프롬프트·도구·정책 갱신) ◀── Study(기대 vs 실제 분석)

• PDCA 외피는 위험한 실행을 막는다 — 테스트, 정책, 권한, 예산, 재시도 상한, 사람 승인. "지금 이 작업을 진행해도 되는가"의 통제. 닌텐도의 성문이다.
• PDSA 코어는 반복될수록 시스템을 바꾼다 — 같은 실패가 왜 나는지, 컨텍스트·도구·평가 기준 중 어디가 약한지 분석해 스킬과 하네스에 반영한다. 도요타의 엔진이다.
• **스킬 내장 Eval(평가, evaluation)**은 현장 센서다 — 그 업무에서만 아는 실패 조건과 검증 절차를, 실행과 가장 가까운 문맥(스킬)에 둔다.

센서에 대한 씨앗 글의 경고 하나는 그대로 옮길 가치가 있다. 스킬 속의 자연어 체크리스트는 훌륭한 출발점이지만 그 자체로는 평가가 아니다 — 모델이 체크리스트를 읽는다고 검증이 실행되지는 않는다. 예컨대 노션(Notion)에 글을 게시하는 스킬이라면, "게시했는가?"가 아니라 "생성 응답·페이지 ID·하위 블록 재조회가 모두 확인되었는가?"처럼, 항목을 실행 가능한 관측으로 바꿔야 한다. 다중 턴으로 도구를 부르고 환경 상태를 바꾸는 에이전트는 최종 문장이 아니라 결과 상태로 평가해야 한다는 Anthropic의 에이전트 평가 안내와 같은 방향이다 — "예약을 완료했다"는 답변이 아니라, 데이터베이스에 예약이 실제로 존재하는가.

그리고 Study를 감상문으로 만들지 않는 다섯 줄. 층위를 나눠 두면 혼동이 없다 — 이 다섯 줄의 기록은 매 사이클 남기고, 원인을 파고들어 루프의 구조까지 바꾸는 심층 Study는 아래의 신호가 켜질 때 발동한다.

1. 가설 — 이 계획과 도구 조합이 어떤 결과를 낼 것이라 예상했는가
2. 관측 — 실제 결과·비용·시간·도구 호출·최종 환경 상태는 무엇이었는가
3. 차이 — 예상과 실제는 어디서 달랐는가
4. 원인 분류 — 요구사항/컨텍스트/모델/도구/권한/환경/평가기 중 어디인가
5. Act — 프롬프트/스킬/테스트/메모리/도구/정책 중 무엇을 바꿀 것인가

언제 무엇을 쓰는가의 신호도 명확하다. 산출물과 판정 기준이 안정적인 작업(형식 검사, 빌드와 단위 테스트, 정형 수집)은 PDCA 게이트로 빠르게. 반면 같은 유형의 실패가 반복될 때, 테스트는 통과하는데 품질이 낮을 때, 사람의 수정이 매번 같은 지점에서 날 때, 새 도구·모델을 들일 때 — 그때가 Study를 발동할 시간이다. 목표는 한 번 더 재시도하는 것이 아니라, 다음번에 같은 실패를 덜 만들도록 루프의 구조를 바꾸는 것이다.

6. 우리 정원에서는 — 도장과 반성이 함께 도는 물레방아

12편의 규약대로, 담론은 실물로 못박는다. 이 정원의 루프에는 두 층이 실제로 함께 돈다.

게이트(닌텐도의 도장) 층. 모든 원고는 3인 검수(문서·문체·용어)의 루브릭을 통과해야 승급된다 — "전 영역 B 이상, 전 점수 3 이상"이라는 명시적 통과선, 자리표시자 0건이라는 기계적 차단. 이것이 없던 시절의 정원을 우리는 상상할 수 있다. 아무 글이나 게시되는 정원 — 아타리의 사막이다.

반성(도요타의 엔진) 층. 그런데 게이트만으로는 이 정원이 지금의 모습이 되지 못했다. 실물 하나: 바로 앞 13편의 검수에서 게이트는 "약어 정의율 2/5, 차단"을 판정했다. 거기서 멈췄다면 Check다. 우리는 한 걸음 더 갔다 — 왜 매번 약어에서 걸리는가를 캐서, 용어집에 DDD(Domain-Driven Design)·PDSA·DTO(Data Transfer Object)를 등재하고 바운디드 컨텍스트의 시리즈 표준 표기를 확정했다. 다음 글은 같은 지점에서 걸리지 않는다. 판정(이 글의 결함)이 학습(정원의 자산)으로 바뀐 순간이고, 그것이 기록된 곳이 이 정원의 로그다.

이 엔진의 회전은 처음이 아니다. 10편의 물레방아가 설계된 루프가 아니라 로그를 회고하다 발견된 루프였다는 이야기, 12편의 첫 회고가 점검이 아니라 PDSA를 골랐다는 이야기 — 전부 같은 엔진의 회전들이다.

씨앗 글의 어휘로 정리하면, 우리 정원의 배선은 이미 이렇다: full-review 루브릭이 PDCA 외피, 회고와 로그 기반 개선이 PDSA 코어, 각 에이전트 정의 속 점검 절차가 스킬 내장 Eval. 다만 씨앗 글의 경고가 우리에게도 그대로 꽂힌다는 것을 고백해 둔다 — 우리 에이전트들의 체크리스트 상당수는 아직 자연어다. 그것을 실행 가능한 관측으로 바꾸는 일이 이 정원의 다음 숙제다.

7. 마치며 — 사이클을 도는 이유

이야기를 접자. 품질을 무시한 나라는 30년을 잃었고, 게이트를 버린 시장은 97%를 태웠고, 게이트를 세운 회사는 시장을 지켰다. 그러나 시스템을 진화시킨 것은 게이트가 아니라 반성이었다 — 그리고 그 반성의 이름을 두고, 아흔의 노학자는 죽기 직전까지 한 글자를 고집했다. Check가 아니라 Study. 억누르는 것이 아니라 배우는 것.

에이전트 루프의 언어로 번역하면 이렇다. Check는 루프가 망가지지 않게 하고, Study는 루프가 어제와 달라지게 한다. 게이트가 초록불인데 같은 실패가 반복된다면, 당신의 루프에는 세 번째 칸이 없는 것이 아니라 — 세 번째 칸이 판정만 하고 있는 것이다. 다음 사이클이 이전 사이클보다 나아질 이유를, 루프 어디에 심어 두었는가.

다음 편은 이 설계도를 흙에 옮긴다. 자연어 체크리스트를 실행 가능한 관측으로 바꾸는 일 — 씨앗 글이 "현장 센서"라 부른 스킬 내장 Eval을 우리 정원의 에이전트들에게 실제로 다는 실전 기록이 될 것이다.

정원 은유로 맺는다. 물레방아는 물이 돌리지만, 물레방아를 고치는 것은 물이 아니다. 세 번째 물받이에서 걸음을 멈추고 "이번 회전은 왜 이랬는가"를 적는 정원지기의 손이다. 도는 것과 나아지는 것은 다른 일이다.

Docendo discimus — 가르치며 배운다. 그러나 데밍의 생애가 보여준 것은 그 역이기도 하다. 배우기를 멈춘 자리에서는, 아무리 돌아도 나아지지 않는다.

하네스의 이야기는 계속됩니다. 감사합니다 💙

참고 자료

씨앗 글

• 'Check'에서 'Study'로 — 데밍의 PDSA가 AI 루프 엔지니어링에 주는 설계 원칙 (웹노리 기고)

데밍과 PDSA (사실검증 출처)

• The W. Edwards Deming Institute — Timeline — 1950 JUSE 강연, 1980 NBC 다큐로 미국 재발견
• JUSE — How was the Deming Prize Established — 강연록 인세 기부와 데밍상 제정(1951)
• Ron Moen — Foundation and History of the PDSA Cycle (PDF) — 슈하트 사이클→데밍 휠→일본식 PDCA의 계보, 1990년 데밍의 편지 "not the corruption PDCA"
• The W. Edwards Deming Institute — PDSA Cycle — Check가 아니라 Study인 이유
• W. Edwards Deming, 『The New Economics』(1993) — PDSA 정식화, "check = hold back"
• ASQ — PDCA Cycle — PDCA의 일반적 정의

아타리 쇼크와 닌텐도 (사실검증 출처)

• Wikipedia — Video game crash of 1983 — 약 30억 달러→약 1억 달러(~97%), 서드파티 품질 통제 부재
• Wikipedia — CIC (Nintendo) — 10NES 락아웃 칩, 라이선스 통제(연 5타이틀 제한 포함)

에이전트 루프와 평가

• Anthropic — Demystifying evals for AI agents (2026-01) — 다중 턴 에이전트는 최종 문장이 아니라 환경 결과 상태로 평가
• Hermes Agent — Skills System — 절차 지식과 검증 기준을 담는 스킬

시리즈 내부 연결

• 3편: 기획자를 위한 하네스 — 정원 위에 현자를 모시다 (데밍 현자 첫 영입)
• 10편: 말은 이미 마구를 갖췄다 — 하네스 엔지니어링에서 루프 엔지니어링으로 (물레방아)
• 12편: 빈 원탁에 꽃이 앉다 — 정원에 회의실을 짓고 첫 회고를 열다 (첫 PDSA 회고 · 반성을 제도화한 태도)
• 13편: 정원에 두 번째 현자를 모시다 — 'User'는 하나가 아니다, LLM 시대에 다시 발견하는 DDD (이 편을 예고한 Check/Study의 실마리)