---
title: "프로덕션 AI 에이전트 하네스 설계: 실행 내구성, 계층형 메모리, Tests as Data"
slug: "production-agent-harness-execution-memory-verification"
canonicalUrl: "https://moonshotnotes.com/posts/production-agent-harness-execution-memory-verification/"
sourceUrl: "https://moonshotnotes.com/posts/production-agent-harness-execution-memory-verification/"
markdownUrl: "https://moonshotnotes.com/agent/posts/production-agent-harness-execution-memory-verification.md"
language: "ko"
category: "AI Agent"
updatedAt: "2026-11-22"
agentTokenEstimate: 2657
---

# 프로덕션 AI 에이전트 하네스 설계: 실행 내구성, 계층형 메모리, Tests as Data

AI 에이전트가 코드와 장기 업무를 실행할 때 발생하는 빨간 빌드, 메모리 오염, 중복 실행, 테스트 신뢰 붕괴를 Durable Execution, Dreaming 계층형 메모리, Tests as Data로 해결하는 하네스 설계 기준을 정리합니다.

## Agent metadata

- Source: https://moonshotnotes.com/posts/production-agent-harness-execution-memory-verification/
- Markdown: https://moonshotnotes.com/agent/posts/production-agent-harness-execution-memory-verification.md
- Language: ko
- Category: AI Agent
- Tags: AI Agent, Harness Engineering, Durable Execution, Agent Memory, Tests as Data, Software Engineering
- Updated: 2026-11-22
- Estimated tokens: 2657

Thoughtworks의 유럽 지역 CTO 자일스 알렉산더(Giles Alexander)는 일주일 동안 사람이 코드를 한 줄도 직접 쓰지 않고 항공사 애플리케이션을 만드는 실험을 진행했습니다. 팀은 목표 범위의 약 80%를 구현했고, 프로덕트 담당자가 가장 많은 기능 코드를 커밋했습니다.

엔지니어들은 전체 시간의 약 3분의 2를 화이트보드 앞에서 도메인 경계와 다음 단계를 설계하는 데 썼습니다. 나머지 3분의 1은 테스트, 계약, 아키텍처 검증, 배포 파이프라인 같은 하네스를 구축하는 데 투입했습니다.

그런데 결과물에는 치명적인 문제가 남았습니다. 애플리케이션은 로컬에서 잘 돌아갔지만, 통합 빌드는 계속 빨간불이었습니다. 이 사례를 전한 Thoughtworks CTO 레이첼 레이콕(Rachel Laycock)은 "만들어졌다는 것(built)은 프로덕션에서 동작한다는 것과 다르다"고 지적했습니다.

현장 지표도 같은 방향을 가리킵니다.

- DORA 2025 연구: AI 도입 수준이 높을수록 소프트웨어 전달 처리량과 전달 불안정성이 높게 나타났습니다.
- 마테오 바카리(Matteo Vaccari) 인터뷰(개발자 26명): 에이전트가 기능 추가 때마다 구현과 테스트를 함께 고쳐 테스트를 믿기 어렵다는 응답이 지배적이었습니다.
- Faros AI 2026 보고서: PR당 버그 28.7% 증가, 개발자당 버그 54% 증가가 보고되었습니다.
- DX 1분기 보고서 및 CloudBees 2026 조사: 일부 기업에서 결함이 50% 늘었고, 기술 리더 213명 중 81%가 프로덕션 장애 증가를, 70%가 테스트 유지보수 부담을 꼽았습니다.

> **핵심 판단 (info)**
>
> 이 글은 Thoughtworks와 Anthropic의 실험 및 실무 사례를 바탕으로 실행·기억·검증의 설계 기준을 제안합니다. 인용한 실험과 벤치마크는 단기간의 결과를 보여 줍니다.

## 네 가지 실패가 하나의 하네스 경계로 모이는 이유

에이전트가 코드를 만들고 장기 업무를 수행할수록 병목은 모델의 생성 속도가 아닙니다.

> 확률적 모델은 도구 호출과 초안을 제안하고, 결정론적 하네스가 상태 전이·원장·기억 교정·검증 계약을 강제한다.

레이첼 레이콕, Anthropic Engineering, 키란 프라카시(Kiran Prakash), 마테오 바카리가 각기 다른 층위에서 짚은 해법은 개발 하네스 관점에서 적용하면 세 가지 결정론적 경계로 수렴합니다.

**프로덕션 에이전트 하네스 3대 경계**

확률적 모델이 도구 호출과 초안을 제안하면 실행, 기억, 검증 경계가 이를 통제해 프로덕션 신뢰 상태에 도달합니다.

_모델 바깥의 실행·기억·검증 경계가 프로덕션 신뢰 상태를 강제합니다._

| 실패 영역 | 현장 증상 | 하네스 경계 원칙 |
|---|---|---|
| 팀 개발과 CI | 로컬 동작, 빨간 통합 빌드 | 모듈 경계와 CI 계약 통제 |
| 장기 업무 실행 | 프로세스 중단, 중복 주문 | 코드 기반 상태 검증과 멱등성 |
| 세션 간 기억 | 낡은 메모로 인한 추론 오염 | 원본 로그 정본과 비동기 교정 |
| 자동화 테스트 | 구현·테스트 동시 수정으로 결함 은폐 | 데이터 계약 분리와 파일 잠금 |

마틴 파울러(Martin Fowler)가 지적했듯 사람이 짠 시스템은 수십 년간 검증된 '정비된 슬로프' 위에 있지만, 에이전트가 만든 시스템은 아직 '미개척 설원'에 가깝습니다. 이 불확실성을 줄이려면 실행, 기억, 검증 세 축을 코드와 데이터 계약으로 분리해야 합니다.

## 1. 실행 경계: Durable Execution과 내구성의 한계

### 왜 장기 실행 에이전트는 분산 시스템인가

키란 프라카시가 든 구매 발주 에이전트 Stock Replenisher를 보겠습니다. 재고가 안전 재고 아래로 내려가면 견적을 받고, 주문서를 작성하고, 관리자의 승인을 이틀 기다린 뒤 발주하고, 물품 도착까지 3주를 더 대기합니다.

전체 시간의 대부분은 사람과 외부 API의 응답을 기다리는 데 쓰입니다. 이 긴 대기 동안 프로세스가 죽거나 네트워크가 끊겨도 작업을 이어가는 모델이 Durable Execution입니다.

Temporal, Cloudflare Workflows, Restate, Inngest, DBOS 같은 런타임은 세 가지 기본 요소로 동작합니다.

1. 단계(Step): LLM 호출이나 ERP, 공급업체 API처럼 외부와 통신하는 호출을 관리 단계로 감쌉니다.
2. 원장(Write-Ahead Log): 각 단계를 실행하기 전후에 입력과 출력을 영속 로그에 기록합니다.
3. 재생(Replay): 프로세스가 복구되면 코드를 처음부터 다시 실행하되, 로그에 남은 단계는 외부 호출을 건너뛰고 저장된 결과를 돌려주어 상태를 복원합니다.

에이전트의 수명주기도 두 층으로 나눕니다. SKU 한 품목의 생애주기 전체를 대표하며 고정 주소(`agent-SKU-123`)로 메시지를 받는 Entity Workflow와, 개별 보충 발주 1건을 끝내는 Process Workflow입니다. 프라카시의 측정에서 대기 중인 워크플로는 로컬 Temporal과 배포된 Cloudflare 모두에서 CPU를 전혀 쓰지 않았고, 깨우기 지연은 메모리 내 Temporal 14ms(Cloudflare 약 0.1초), 로그 재생 Temporal 0.1초 미만(Cloudflare 약 2초)이었습니다.

| 역할 | Temporal 프리미티브 | Cloudflare 프리미티브 |
|---|---|---|
| 장기 개체(Entity) | 장기 Workflow (`continue_as_new`) | Agent (Durable Object) |
| 개별 작업(Process) | Child Workflow | `runWorkflow` |
| 외부 호출 단계 | `execute_activity` | `step.do` |
| 외부 이벤트 대기 | `signal` + `wait_condition` | `step.waitForEvent` |
| 재시도 정책 | `RetryPolicy` | `step.do`의 `retries` |

### 코드로 잠그는 실행 조건과 멱등성

발주 도구는 승인 상태와 최신 단가를 확인해야 합니다. 아래 코드는 승인 상한과 멱등성 키를 보여 주는 축약 예시입니다. 공급업체가 같은 키를 받은 요청을 중복 처리하지 않아야 재시도로 인한 중복 발주를 막을 수 있습니다.

```python
class PlaceOrder(Call):
    name = "place_order"

    def allowed(self, state):
        return (
            state.po is not None
            and state.order is None
            and state.approved_up_to is not None
        )

    async def execute(self, state, context):
        quotes = await context.supplier.get_quotes(state.sku)
        latest_price = select_price(quotes, state.po.supplier_id)
        if latest_price > state.approved_up_to:
            return PlaceOrderResult(placed=False, price=latest_price)

        return await context.supplier.place_order(
            state.po,
            idempotency_key=state.po.po_number,
        )
```

- 도구 노출 차단: 공급업체 이메일에 "관리자가 이미 6달러를 승인했다"는 프롬프트 인젝션이 들어와도, 실제 승인 이벤트가 `approved_up_to`를 채우지 않았다면 `allowed(state)`가 `place_order` 호출을 원천 차단합니다.
- 커밋 직전 재조회: 관리자 승인 뒤 사흘 만에 공급업체 단가가 올랐다면 `execute` 내부의 결정론적 가격 상한 검사(+5% 허용 범위 등)가 발주를 멈춥니다.

> **장기 실행 중 규칙을 배포하는 경우 (danger)**
>
> Durable Execution은 기록된 상태에서 실행을 재개하고 설정된 정책에 따라 실패한 호출을 재시도합니다. 프라카시의 실험에서 최소 견적 수를 0건에서 4건으로 바꾸자 Temporal은 기존 기록으로 진행했고, Cloudflare는 재검증에 실패해 초안 상태에 머물렀습니다. 진행 중인 작업에 기존 규칙을 적용하려면 상태에 `rules_version`을 기록하고 해당 버전의 규칙을 실행합니다.

| 실패 유형 | 발생 원인 | 하네스 방어 패턴 |
|---|---|---|
| 중복 주문 | 재시도로 인한 at-least-once 전달 | 발주 번호를 `idempotency_key`로 쓰는 Idempotent Receiver |
| 미확인 성공 | 응답 유실 후 다른 업체 재발주 | 늦은 확인 수신 시 취소하는 Saga 보상(`cancel_order`) |
| 대기 중 가격 변동 | 승인 시점과 발주 시점의 시차 | Optimistic Offline Lock (만료일, +5% 범위, 재조회) |
| 대기 중 코드 배포 | 구버전 로그를 신버전 코드로 재생 | 로그를 공개 인터페이스로 취급하고 `rules_version` 병행 |
| 장기 이력·인젝션 | 컨텍스트 폭증과 비신뢰 텍스트 | 작업 컨텍스트(RAM)와 외부 저장소 분리, 코드 기반 도구 제한 |

## 2. 기억 경계: 계층형 메모리와 오프라인 Dreaming

### 세션 기록을 정본으로, 파생 메모를 오프라인에서 교정한다

Anthropic Engineering의 랜스 마틴(Lance Martin)은 에이전트 메모리를 모델 가중치나 단일 세션 압축(compaction)과 구분해, 세션을 넘어 유지되고 다시 읽을 수 있는 경험 지식으로 정의했습니다.

핵심 아이디어는 오프라인 정리 과정인 dreaming입니다. 세션 중에 실시간으로 메모를 남기면 현재 작업에서 주의가 분산되고 잘못된 판단이 그대로 저장됩니다. 대신 유휴 시간에 원본 세션 로그(transcript)를 다시 대조하면 오류를 바로잡고 구조화된 Wiki를 만들 수 있습니다.

**계층형 에이전트 메모리와 오프라인 Dreaming 루프**

세션 원본 로그와 작업 메모를 오프라인 Dreaming이 대조해 오류를 교정하고 Wiki와 200줄/25KB 이하 사전 주입 인덱스를 유지합니다.

_세션 원본 로그(Transcript)를 정본으로 두고 Dreaming이 파생 메모와 Wiki를 교정합니다._

> **메모리 설계의 역설: 작게 유지할수록 더 멀리 간다 (tip)**
>
> Pokémon Red 약 10,000 스텝 실험에서 Sonnet 3.7은 화면의 소지금과 좌표까지 적으며 225폴더 413파일을 만들었지만 배지 1개에 그쳤습니다(10,000스텝 무렵 17턴 연속 파일 정리만 하며 게임 행동 0회). 반면 Fable 5는 2폴더 9파일과 `global.md`만 유지해 배지 4개를 땄습니다. Claude Code의 auto memory가 매 세션 `MEMORY.md`의 첫 200줄 또는 25KB만 주입하는 이유도 지시 파일이 길어질수록 규칙 준수율이 떨어지기 때문입니다.

### 벤치마크가 드러낸 세 가지 설계 제약

| 실험 환경 | 비교 조건 | 관찰된 결과 |
|---|---|---|
| CL-Bench 1.0 | 모델 세대별 학습 루프 | Opus 5·5.5·Sonnet 5.5가 규칙과 근거를 함께 기록; "실패만 기록" 규칙은 오히려 성능 약화 |
| CL-Bench 1.0 | 메모리 읽기 유도 | Sonnet 4.6은 읽기 지시 후 점수 약 2배 상승; Sonnet 5는 지시 없이 10회 중 9회 자발적 참조 |
| Pokémon Red (Mt. Moon) | 오기억 방치 vs Dreaming | PokéCenter 위치 오기로 절벽에서 3회 추락; transcript 대조 dreaming 후 Cerulean City 도달 |
| Stainless (35만 파일) | Search 단독 vs Search+Wiki | Dreaming 2회에서 128회 확장 시 Search+Wiki 54%에서 61% 상승(Search 단독 53%), 문항당 약 2만 토큰 절감 |
| Harvey LAB · Merger | 다중 문서 vs 단일 문서 | 인수합병 24문항 Wiki 87% vs Search 73%; 단일 문서 중심 LAB은 이득 미미, Wiki가 원본보다 커지기도 함 |
| LAB 계약서 추출 | 공유 표 vs 계약별 분리 | 다수 에이전트 동시 쓰기 시 41/57(72%) 보존; 계약당 1에이전트·원문 인용으로 57/57(100%), 2차 패스로 깨진 링크 9건 복구 |

개발 하네스 관점에서 적용하면 실험이 가리키는 원칙은 세 가지로 정리됩니다.

1. 세션에서 실제로 오간 내용을 확인할 기준으로 원본 로그를 보관합니다. 모델의 진술은 당시 도구 결과나 원문과 대조합니다. 작업 메모와 Wiki는 근거를 다시 확인해 고칠 수 있도록 구축합니다.
2. 상위 인덱스는 작게 유지합니다. 세션 시작 시 무조건 주입하는 컨텍스트에는 세부 내용 대신 하위 문서 경로를 가리키는 얇은 인덱스만 둡니다.
3. 동시 쓰기 소유권을 분리합니다. 여러 에이전트가 공유 문서 하나에 동시에 요약문을 쓰면 사실이 덮어써지므로, 엔티티 단위로 페이지를 나누고 2차 dreaming 패스로 깨진 링크를 복구합니다.

## 3. 검증 경계: Tests as Data와 변경 잠금 계약

### 왜 AI가 쓴 단위 테스트와 마크다운 명세는 깨지는가

마테오 바카리는 AI가 구현과 테스트를 함께 짜는 환경에서 테스트 신뢰가 무너지는 원인을 두 가지로 짚었습니다. 단위 테스트를 맡기면 내부 호출에 묶인 mock 투성이 테스트가 쏟아져 리팩토링마다 깨지고, 마크다운 명세서(SDD)를 길게 쓰면 사람이 대충 승인하는 인지적 항복(cognitive surrender)과 자연어의 모호함에 빠집니다.

### 개발자는 코드의 고객이 된다: 데이터 계약과 외부 DSL

바카리의 해법은 역할 전환입니다. AI가 코드를 작성할 때 인간 개발자는 코드의 고객(customer)이 되며, 구현 세부사항을 모르는 블랙박스 고객 테스트(Customer Tests)를 읽기 쉬운 데이터(Tests as Data)로 분리합니다.

단순한 스칼라 입출력은 아래처럼 YAML이나 CSV 표로 표현하고, 소형 실행기만 AI에게 생성하게 한 뒤 사람이 실행기를 검증합니다.

```yaml
suite: order_approval_guard
cases:
  - name: "allow order within 5 percent range"
    quoted_price: 4.20
    approved_up_to: 4.41
    latest_price: 4.35
    expected_placed: true
  - name: "block order above approved ceiling"
    quoted_price: 4.20
    approved_up_to: 4.41
    latest_price: 4.54
    expected_placed: false
```

상태 변화가 얽힌 UI나 워크플로는 도메인 특화 외부 DSL로 작성합니다. HTML 전체를 비교하는 대신 핵심 텍스트만 추려내는 프린터(projection), 초기 상태를 주입하는 파서, 내부 상태를 조작하는 사이드 채널(internal resources)을 둡니다.

```text
GIVEN model: [x] buy milk, [ ] walk the dog
WHEN user:   click toggle of "buy milk"
THEN page:   [ ] buy milk, [ ] walk the dog -- 2 items left
THEN model:  [ ] buy milk, [ ] walk the dog
```

이베트 외르되그(Ivett Ördög)의 Constrained Tests 패턴처럼 파서가 상태 단언(`THEN`)을 요구하면, 단언이 빠진 시나리오를 거부할 수 있습니다. 사람이 기대 결과와 실행기의 동작도 검토해야 합니다.

### 작업 유형별 파일 잠금과 테스트 자체의 검증

테스트 계약이 데이터 파일로 분리되면, 작업 유형에 따라 에이전트의 쓰기 권한을 읽기 전용이나 CI diff 검사로 잠글 수 있습니다.

| 작업 유형 | 프로덕션 코드 | 테스트 데이터 | 테스트 실행기 |
|---|---|---|---|
| 새 기능 구현 | 허용 | 허용 | 금지 |
| 프로덕션 리팩토링 | 허용 | 금지 | 금지 |
| 테스트 커버리지 보강 | 금지 | 허용 | 금지 |
| 테스트 DSL 개선 | 금지 | 허용 | 허용 |

외부 결제망이나 ERP 때문에 로컬 검증이 느릴 때는 저스틴 매카시(Justin McCarthy)의 Digital Twins처럼 공개 스펙 기반의 로컬 시뮬레이터를 생성해 같은 테스트 데이터를 프로세스 내·외부에서 동시에 검증합니다.

테스트 데이터 자체의 신뢰성은 네 가지 장치로 보완합니다.

- 변이 테스트(Mutation Testing): 코드에 의도적 결함(`+` → `-`)을 심어 테스트가 실제로 깨지는지 확인합니다.
- 오라클(Oracle): 공식 매뉴얼이나 레거시 기준 구현(예: COBOL 인터프리터 검증 시 실제 IBM i 머신 결과와 대조)을 정답 기준으로 삼습니다.
- 속성 기반 테스트(PBT): 잔고가 음수가 되지 않는다는 불변식을 무작위 입력으로 검증합니다.
- 탐색적 테스트: 자동화 검증을 통과한 뒤 사람이 직접 예외 흐름을 탐색합니다.

## 실무 도입 기준: 언제 쓰고 언제 생략할 것인가

네 편의 논의를 모든 프로젝트에 한꺼번에 적용하면 과잉 설계가 됩니다. 바카리가 명시했듯 초기 아이디어를 탐색하는 프로토타입이나 PoC 단계에서는 외부 DSL 간접 계층보다 빠르게 만들고 버리는 편이 낫습니다.

| 하네스 구성 | 도입을 검토할 조건 | 생략·단순화할 조건 |
|---|---|---|
| Durable Execution | 사람 승인·수일 대기가 있고 중복 결제·발주 피해가 큰 업무 | 수초 내 끝나는 단발성 동기 요청, 읽기 전용 조회 |
| 계층형 메모리 · Dreaming | 여러 세션에 걸쳐 근거를 재사용하며 복수 문서의 내용을 연결해야 하는 에이전트 | 단일 문서 Q&A, 매번 초기화되는 일회성 코드 생성 |
| Tests as Data · 파일 잠금 | 에이전트가 기능 추가와 리팩토링을 반복하는 프로덕션 코드베이스 | 초기 프로토타입, 폐기 예정인 일회성 스크립트 |

### 적용 범위와 남은 불확실성

이 글의 근거는 2025년 말에서 2026년 11월 사이에 발표된 단기 실험과 벤치마크입니다. 에이전트가 대부분을 구축한 시스템이 몇 년간 조직 변화와 트래픽을 견뎌낸 장기 운영 데이터는 아직 부족합니다.

또한 Temporal과 Cloudflare의 규칙 변경 사례처럼 동일한 아키텍처라도 런타임의 재생 검증 방식에 따라 장애 양상이 달라지므로, 도입 전 대상 런타임에서 작은 워크플로로 복구와 배포 동작을 먼저 검증해야 합니다.

## 함께 읽으면 좋은 글

- [AI 시대의 소프트웨어 엔지니어링: '이해의 병목' 극복을 위한 시스템 구현 전략](/posts/understanding-is-the-new-bottleneck/): 코드 생성 속도보다 사람의 검토와 이해 속도가 병목이 될 때 Literate Diffs와 결정론적 계층을 어떻게 설계하는지 다룹니다.
- [AI Memory는 RAG가 아니다](/posts/coding-agent-runtime-04-ai-memory-run-ledger/): 세션 기록과 Run Ledger가 단순 벡터 검색 기반 RAG와 어떻게 다른 구조를 가지는지 설명합니다.
- [신뢰성과 보안: 비동기 파이프라인, 샌드박스 및 가드레일](/posts/ai-agent-engineering-05-reliability-security/): 에이전트 실행 루프에서 재시도, 멱등성, 프롬프트 인젝션 방어 계층을 구현하는 세부 패턴을 정리합니다.
- [AI 코딩 작업이 끝났다는 증거를 남기는 법: Moonshot Relay 워크플로우](/posts/moonshot-relay-workflow-harness/): 작업 완료를 선언하기 전에 독립 검증 영수증과 게이트를 하네스에 고정하는 실제 운영 사례입니다.

## 참고 자료

- DORA, [2025년 연구의 전달 처리량과 불안정성 해설](https://dora.dev/insights/balancing-ai-tensions/)
- Rachel Laycock, [Why are good developers so wary of agentic development?](https://martinfowler.com/rachels-ramblings/good-devs-wary.html) (2026-10-29)
- Anthropic Engineering (Lance Martin), [The components of agent memory](https://www.anthropic.com/research/components-of-agent-memory) (2026-11-06)
- Kiran Prakash, [Long-horizon agents and durable execution](https://martinfowler.com/articles/durable-execution-agents.html) (2026-11-10)
- Matteo Vaccari, [Tests as data](https://martinfowler.com/articles/tests-as-data.html) (2026-11-11)
