본문으로 건너뛰기
← Systems Notebook / AI
추론 시스템01 / 05

AI에 계산을 더 쓰기 전에 정해야 할 것

요청을 나누고 도구와 모델을 고르는 과정. 비용·정확도·p95를 비교하고, 탐색·학습·구성 복원의 조건까지 살펴봅니다.

홍범연구 기반 해설약 22분

AI의 답이 틀렸을 때 선택지는 많습니다. 더 큰 모델에 물을 수 있고, 같은 모델에서 답을 여러 개 만들 수도 있습니다. 검색 도구를 붙이거나 계산을 실행할 수 있습니다. 평가 결과를 다음 시도에 넣고, 더 나아가 문제를 푸는 동안 모델을 학습시킬 수도 있습니다.

모두 추가 계산을 쓰는 방법이지만 해결하는 부족함은 다릅니다. 입력 자료가 없는데 모델만 바꾸면 무엇을 개선한 것인지 설명하기 어렵습니다. 정답 후보는 이미 있는데 선택에 실패했다면 후보를 더 만드는 것보다 검사기를 고칠 여지가 있습니다. 반대로 정확한 판정기가 있는 어려운 최적화 문제라면, 짧은 응답 여러 개보다 긴 탐색 한 번이 가치 있을 수 있습니다.

추가 호출을 붙이기 전에 실패한 이유와 다음 계산이 바꿀 수 있는 부분부터 확인해야 합니다. 같은 판매 분석 요청을 여러 경로로 처리하는 예제로 비용과 품질, 지연 시간을 비교하겠습니다.

아래 판매 예제의 자료, 처리 정책, 비용과 시간은 설명용 가정입니다. 연구 결과는 각 실험 조건과 함께 인용합니다.

같은 질문 안에도 서로 다른 일이 들어 있다

먼저 다음과 같은 판매 분석 요청을 가정하겠습니다.

2월 판매 증가를 설명해줘. 어떤 상품이 성장을 이끌었고, 판촉 덕분인지도 알려줘.

사용 가능한 표에는 A 상품의 판매량이 1월 100개, 2월 120개로, B 상품은 50개에서 70개로 늘었다고 적혀 있습니다. 이 표로 계산할 수 있는 답은 분명합니다.

확인할 값 계산 답
전체 판매량 변화 150개 → 190개 40개 증가
전체 증가율 40 / 150 약 26.67%
A의 판매량 증가 기여 20 / 40 50%
B의 판매량 증가 기여 20 / 40 50%
상품별 증가율 A: 20 / 100, B: 20 / 50 A 20%, B 40%

B의 증가율이 더 높지만 전체 판매량 증가에 더 많이 기여한 것은 아닙니다. 절대 증가량은 둘 다 20개입니다. ‘성장을 이끌었다’는 모호한 질문에서 상대 증가율과 증가량 기여를 구분해야 답이 정확해집니다.

계산할 수 있는 범위뿐 아니라 자료에 없는 정보도 구분해야 합니다. 이 표는 판매량 자료입니다. 가격이 없으므로 매출액 증가율로 바꿔 말할 수 없습니다. 판촉 여부나 효과를 보여주는 정보도 없습니다. 아무리 계산을 정확히 해도 판촉이 증가의 원인인지까지 나오지는 않습니다.

이 요청은 자료 확보, 계산, 근거 대조로 나눌 수 있습니다. 같은 기간과 단위의 자료를 가져와 증가량과 비율을 계산한 뒤, 어디까지 설명할 수 있는지 확인합니다. 판촉 효과를 판단할 자료가 부족하다면 그때 관련 문서를 더 찾습니다.

도구 결과를 다음 단계의 입력으로 쓰려면

이 요청의 기본 경로를 자료 확인 → 계산 → 근거 대조 → 응답으로 두겠습니다. 각 단계가 다음 단계에 넘기는 결과를 구체적으로 정의하면 실패했을 때 돌아갈 위치도 정하기 쉬워집니다.

자료 확인 단계는 표의 값만 넘기지 않습니다. 기간, 단위, 자료 식별자와 가져온 시점도 전달합니다. 계산 단계는 26.67이라는 숫자만 반환하지 않고, 어떤 두 합계에서 어떤 식으로 계산했는지 함께 반환합니다. 근거 대조 단계는 ‘판촉 문서 있음’보다 문서가 어느 기간과 상품에 대해 무엇을 말하는지 확인합니다.

판촉 문서를 찾은 상황을 가정해 보겠습니다. 문서에는 2월 중순에 행사를 시작했다고 적혀 있습니다. 판매가 늘어난 시기와 행사가 겹친다는 사실은 확인할 수 있습니다. 이 기록 하나로 판촉이 판매 증가를 일으켰다고 단정할 수는 없습니다. 다른 요인이나 비교 조건을 확인하지 못했다면 응답도 그 범위에서 멈춰야 합니다.

도구는 자료를 찾지 못했을 때도 이유를 반환해야 합니다. 예를 들어 결과 상태를 found, not_found, access_denied, invalid_format으로 구분하고, 각 상태에서 다음에 할 일을 정할 수 있습니다.

되돌아온 상태 예제에서의 다음 행동 같은 호출 반복이 적절하지 않은 이유
다른 기간의 문서 기간 조건을 수정해 다시 검색 첫 결과를 다시 받는 것만으로 기간이 맞아지지 않습니다
날짜 열의 형식 오류 입력을 정규화한 뒤 한 번 재시도 원인인 입력 형식을 바꾸어야 합니다
허용된 자료 안에 근거 없음 확인한 수치와 원인 판단의 한계를 응답 계산이나 모델 크기로 없는 근거를 만들 수 없습니다
접근 거부 해당 자료 사용을 중단하고 부족한 범위를 표시 다른 모델 선택이 접근 권한을 부여하지 않습니다

도구 결과에 따라 다시 요청하거나 멈추기

판매 요청은 고정하고 기간 조건으로 자료를 찾습니다.

흐름을 단계별로 살펴보기
  1. 판매 요청은 고정하고 기간 조건으로 자료를 찾습니다.
  2. 기간을 확인한 뒤 현재 결과를 그대로 계산에 쓰지 않습니다.
  3. 2월 조건을 고쳐 한 번 다시 검색합니다. 첫 결과를 받기 전에 재시도하지 않습니다.
  4. 기간·단위가 맞는 자료와 계산 결과가 대조 단계로 이동합니다. 결과가 도착하기 전에는 응답하지 않습니다.
  5. 전체 판매량 26.67% 증가, 두 상품 증가 기여 50/50입니다. 판촉 효과는 미확인으로 남깁니다.

재시도할 때는 바꿀 조건이 있어야 합니다. 기간이 틀렸다면 검색 조건을, 형식이 틀렸다면 입력을 바꿉니다. 같은 입력으로 같은 오류를 반복하거나 없는 근거를 찾으려고 호출만 늘리는 경로는 중단합니다.

이 예제의 응답은 전체 판매량의 26.67% 증가, 두 상품의 같은 증가량 기여, B의 더 높은 상대 증가율을 설명할 수 있습니다. 판촉의 인과적 효과는 확인한 자료만으로 확정할 수 없습니다.

조율하는 모델과 일을 수행하는 모델

이 흐름을 매번 사람이 정할 수도 있고, 규칙으로 구현할 수도 있으며, 다음 도구를 고르는 모델을 둘 수도 있습니다. 어느 경우든 조율하는 역할과 실제 검색·계산·추론을 수행하는 역할을 분리해서 봐야 합니다.

ToolOrchestra는 여러 도구와 모델을 조율하는 모델을 학습하는 연구입니다. HLE 텍스트 하위 집합에서 Orchestrator-8B는 37.1, 기본 도구를 사용하는 GPT-5 비교 구성은 35.1을 기록했습니다. 여기서 8B는 조율하는 모델의 크기입니다. 사용할 수 있는 도구에 GPT-5 같은 더 큰 모델도 포함되므로, 이 결과는 8B 조율 모델과 도구를 결합한 구성의 성능입니다. 8B 단독이나 폐쇄망 구성의 성능을 보여주지는 않습니다. ToolOrchestra v1, §4·Table 1

이 연구를 업무에 적용하려면 각 모델이 맡은 역할을 살펴봐야 합니다. 조율 모델은 단계마다 필요한 도구를 고르고, 돌아온 결과를 점검하며, 불필요한 다음 호출을 멈추는 역할을 맡을 수 있습니다.

이 판매 예제는 계산 규칙이 명확하므로 고정한 검색·계산 경로를 기준선으로 삼을 수 있습니다. 입력에 따라 여러 경로가 필요해졌을 때 조율 모델을 추가하고, 단순 규칙보다 나은 선택을 하는지 비교합니다. 모든 선택을 모델에게 맡기면 조율 비용과 실패 지점도 함께 늘어납니다.

작은 모델을 먼저 쓰면 언제 비용이 줄어드는가

‘작은 모델 먼저, 어려우면 큰 모델’이라는 경로를 비용으로 풀어 보겠습니다. 두 경로에서 똑같이 수행하는 자료 검색과 계산 비용은 공통항으로 빼고, 모델 선택 이후의 차이만 비교합니다.

항상 큰 모델을 사용하는 경로의 비용을 요청당 10단위라고 정하겠습니다. 다른 경로는 가벼운 모델과 라우팅·검사 비용을 합쳐 먼저 1.5단위를 사용합니다. 그중 r만큼의 요청은 검사를 통과하지 못해 큰 모델에 추가로 보냅니다. 큰 모델의 추가 호출은 이 예제에서 동일하게 10단위입니다.

항상 큰 모델 = 10
단계적으로 처리 = 1.5 + 10r

단계적 처리가 더 저렴할 조건:
1.5 + 10r < 10  →  r < 0.85
큰 모델로 추가 전달되는 비율 r 단계적 처리의 평균 비용 항상 큰 모델 대비
20% 3.5단위 낮음
60% 7.5단위 낮음
90% 10.5단위 높음

작은 모델의 단가가 저렴해도 대부분의 요청을 다시 큰 모델로 보내면 절감이 사라집니다. 85%는 이 예제의 비용 가정에서 나온 손익분기점입니다. 첫 모델의 답을 함께 전달해 입력이 길어지거나 검사기를 여러 번 호출하면 비용 항과 손익분기점도 달라집니다.

비용이 줄어든다는 계산만으로 이 경로를 선택할 수는 없습니다. 저렴하게 끝난 요청 중 잘못된 답이 그대로 통과한 비율도 확인해야 합니다.

전체의 80%를 첫 경로에서 끝내고 20%를 큰 모델로 보낸다고 하겠습니다. 첫 경로에서 끝낸 요청의 정답률을 98%, 추가 전달된 요청의 최종 정답률을 80%로 가정하면 전체는 다음과 같습니다.

최종 정답률 = 0.8 × 0.98 + 0.2 × 0.80 = 94.4%

항상 큰 모델의 정답률을 96%, 서비스가 정한 하한을 95%라고 가정하면 단계적 처리는 저렴하지만 현재 조건으로 채택할 수 없습니다. 특히 98%는 ‘검사기가 통과시킨 집합’의 정확도입니다. 모델 전체의 평균 정답률이나 스스로 보고한 자신감을 여기에 대신 넣을 수 없습니다.

어려운 요청만 추가 전달됐다면 큰 모델도 그 집합에서는 전체 평균보다 낮은 성능을 보일 수 있습니다. 그래서 비교 실험에서는 라우터가 통과시킨 요청과 추가 전달한 요청을 나누어 정답률을 측정해야 합니다. 라우터가 잡아야 할 어려운 요청을 놓쳤는지, 쉬운 요청까지 과하게 올렸는지도 함께 볼 수 있습니다.

비용은 최종 품질 조건을 만족하는 경로들 사이에서 비교해야 합니다.

평균이 빨라져도 느린 요청은 더 늦어질 수 있다

비용과 품질 조건을 확인한 뒤에는 사용자가 기다리는 시간도 비교해야 합니다. 같은 예제로 두 경로의 지연 시간을 살펴보겠습니다. 항상 큰 모델에 맡기면 10초가 걸린다고 가정합니다. 단계적 처리는 첫 생성과 검사에 3초가 걸리고, 추가 전달된 요청에는 큰 모델의 10초가 순서대로 붙습니다. 앞과 같이 80%는 3초, 20%는 13초에 끝납니다.

평균은 0.8×3+0.2×13=5초입니다. 평균만 보면 절반으로 줄었습니다. 그러나 이 단순한 두 경로 분포의 p95는 13초입니다. 요청의 95%가 끝나는 시점이 느린 경로에 놓이기 때문입니다. ‘p95 12초 이내’라는 조건이 있었다면 평균 개선과 별개로 그 조건을 넘깁니다.

80개가 먼저 끝나도 p95는 13초

80개는 첫 경로, 20개는 추가 경로로 나뉜다는 가정입니다.

설명용 가정 · 동시에 시작한 100개 요청 100/ 100 완료
평균 비용3.5 < 10비용 감소
정답률94.4% < 95%하한 미달
p9513초 > 12초상한 초과
흐름을 단계별로 살펴보기
  1. 80개는 첫 경로, 20개는 추가 경로로 나뉜다는 가정입니다.
  2. 3초에 80개가 끝납니다. 나머지 20개는 추가 호출로 넘어갑니다.
  3. 먼저 쓴 3초에 10초가 더 걸립니다. 13초에 나머지 20개가 끝납니다.
  4. 평균 지연은 5초입니다. 정답률 94.4%<95%로 하한에 못 미치고, p95 13초는 허용 상한 12초를 초과합니다.

실제 지연 시간에는 도구 응답과 네트워크, 큐 대기, 캐시 상태도 들어갑니다. 동시에 실행한 작업들의 시간은 전부 더하는 대신 다음 단계가 기다려야 하는 경로를 봐야 합니다. 반대로 순차 재시도에서는 앞에서 쓴 시간이 사라지지 않습니다.

온프레미스에서는 호출 가격표보다 자원 점유가 먼저 보일 수 있습니다. 후보 생성을 네 배로 늘렸을 때 GPU의 생성 작업이 늘고, 같은 자원을 공유하는 다른 요청이 기다릴 수 있습니다. 요청 하나의 개선을 확인한 뒤에도 동시 요청이 들어오는 조건에서 처리량과 지연 분포를 다시 봐야 하는 이유입니다. 특정 GPU에서 후보 생성을 몇 배까지 늘릴 수 있는지는 모델과 실행 환경을 직접 측정해 정합니다.

더 오래 풀게 할 가치가 있는 문제

온라인 요청은 기다리는 사람이 있습니다. 반면 자주 실행하는 집계 프로그램 하나를 개선하는 작업은 더 긴 탐색을 허용할 수 있습니다. 한 번 좋은 프로그램을 찾으면 이후 실행에서 반복해서 이득을 얻기 때문입니다.

이 경우 추가 계산의 쓰임새를 세 가지로 구분할 수 있습니다.

방식 다음 시도에 전달되는 것 모델 파라미터
여러 후보 생성 후 선택 같은 문제에서 뽑은 후보 묶음 고정
평가 결과를 이용한 탐색 앞선 코드, 실패 이유, 좋은 후보의 기록 이 비교에서는 고정
문제를 풀면서 학습 후보와 평가 이력에 더해 학습으로 바뀐 생성 정책 갱신

첫 번째는 좋은 후보가 나올 때까지 더 생성하는 방식입니다. 두 번째는 ‘결측값을 0으로 처리해 결과가 달라졌다’ 같은 실패 정보를 다음 입력에 넣어 탐색 방향을 바꿉니다. 여기까지는 프롬프트와 외부 기록이 변하며 모델 가중치는 그대로일 수 있습니다.

세 번째에서는 평가 결과를 학습 신호로 사용해 모델 자체도 갱신합니다. TTT-Discover는 하나의 문제를 푸는 과정에서 강화학습을 이어가며, 좋은 후보 재사용과 높은 보상의 해를 찾기 위한 목표를 결합합니다. 여러 요청에서 평균적으로 좋은 정책을 배포하는 문제와, 한 번이라도 뛰어난 해를 발견하는 문제의 목적이 다름을 전제로 합니다. TTT-Discover v2, §3

논문 v2의 기본 구현은 gpt-oss-120b, rank 32 LoRA, 50스텝과 스텝당 512 rollout을 사용합니다. 곱하면 25,600개의 후보 생성 예산이며, 여기에 모델을 갱신하는 학습 비용도 듭니다. 따라서 후보 수를 맞춘 비교가 전체 계산 비용까지 맞춘 비교는 아닙니다. TTT-Discover v2, §3.3

집계 프로그램에 이 방식을 적용하려면 먼저 결과가 맞는지 검사할 기준이 필요합니다. 같은 입력에서 기준 프로그램과 결과가 일치하는지, 결측값·중복·단위 변환을 같은 규칙으로 처리하는지 확인합니다. 이 조건을 만족한 후보 사이에서 실행 시간과 자원 사용을 비교할 수 있어야 합니다.

속도만 보상하면 어려운 행을 건너뛰어 빠르게 끝나는 후보가 유리해질 수 있습니다. 모델이 검사기에 적응할 수 있으므로 탐색에 쓰지 않은 최종 확인용 입력도 남겨둡니다. 학습을 추가했다면 최종 코드와 이를 만든 모델 상태를 함께 보존합니다. 다른 과제에서도 성능이 좋아졌는지는 별도로 평가해야 합니다.

경제성도 요청당 비용과 다른 방식으로 계산합니다. 탐색·학습·검증에 드는 일회 비용을 F, 개선한 프로그램을 실행할 때마다 절약하는 비용을 d, 앞으로 유효하게 재사용할 횟수를 N이라고 하겠습니다. 같은 단위로 비용을 정의했을 때 N×d>F가 반복 사용으로 비용을 회수할 조건입니다. 실행 환경이 바뀌어 다시 최적화해야 한다면 그 작업도 F에 들어갑니다.

한 번의 응답을 위해 지출하기 어려운 계산도, 반복해서 쓰는 산출물을 개선한다면 검토할 수 있습니다. 그래서 test-time learning을 모든 요청의 다음 단계로 놓기보다, 검증 가능하고 충분히 재사용할 가치가 있는 과제를 따로 고르는 편이 이 예제에는 맞습니다.

모델을 되돌렸는데 입력은 돌아오지 않았다

처리 경로를 바꾸고 나면 어떤 구성에서 결과를 얻었는지도 기록해야 합니다. 나중에 이전 버전으로 돌아가려 할 때 이 기록이 필요해집니다.

모델을 이전 버전으로 되돌렸는데 예전 동작이 복원되지 않았다고 하겠습니다. 검색 인덱스에는 새 문서가 남아 있고 프롬프트도 바뀐 상태라면, 생성기가 받는 입력부터 이전과 다를 수 있습니다. 모델 버전 하나로 서비스 전체의 버전을 설명하기 어려운 이유입니다.

평가할 구성에는 모델·프롬프트·검색 자료와 인덱스·도구 계약·권한 정책·평가기를 함께 기록합니다. 이 기록으로 어떤 조합을 평가했고 서로 호환되는지 확인한 뒤, 되돌릴 항목을 정할 수 있습니다. 이미 처리한 외부 작업이나 수정한 데이터는 모델 교체로 취소되지 않으므로 별도의 복구 절차가 필요합니다.

함께 제공하는 코드는 가상의 자료와 구성 ID로 입력 문맥을 조립하고 SHA-256으로 동등성을 검사합니다. 기준 구성을 변경한 뒤 모델 ID만 되돌린 경우와 전체 구성을 되돌린 경우를 비교합니다. 모델 ID는 메타데이터이며 실제 모델을 호출하거나 가중치를 불러오지는 않습니다.

모델 ID만 복원했을 때는 바뀐 프롬프트와 자료가 입력에 남았고, 전체 구성을 복원했을 때는 입력과 구성 모두 기준과 같았습니다. 아래 비교는 실행 코드의 결과 JSON을 보여줍니다. 코드를 저장한 뒤 node release-replay.mjs로 재현할 수 있으며 외부 API나 추가 패키지가 필요하지 않습니다.

모델만 돌아오면 새 입력은 남습니다

로컬 입력 조립 기록에서 네 구성을 비교합니다. 모델 ID만 A로 바꾸면 프롬프트와 검색 자료는 v2로 남고, 둘을 v1으로 돌려야 기준 입력과 SHA-256이 같아집니다.

로컬 입력 조립 기록 · 모델 호출 없음

구성모델프롬프트검색 자료입력 내용입력 SHA-256
기준 구성
모델A 프롬프트v1 자료v1 관찰 5분 a45f9ec8…기준 입력
변경 구성
모델B 프롬프트v2 자료v2 관찰 10분 019cc37a…기준과 다름
모델 ID만 복원
모델A 프롬프트v2 자료v2 관찰 10분 019cc37a…기준과 다름
전체 구성 복원
모델A 프롬프트v1 자료v1 관찰 5분 a45f9ec8…기준과 동일

SHA-256 앞 8자리 표시 · 5분/10분은 입력 자료에 적힌 값

이 코드는 입력과 구성 식별자의 복원까지 확인합니다. 답변과 배포 동작까지 확인하려면 생성 설정과 실행 조건을 맞추고 실제 요청 결과를 별도로 측정해야 합니다.

롤백 후에는 평가했던 프롬프트·인덱스 조합이 돌아왔는지 확인하고, 서비스 동작을 검증할 요청을 다시 실행합니다.

모델이 고를 수 있는 경로와 시스템이 허용하는 경로

모델이 도구와 다른 모델을 고르는 시스템에서는 권한도 경로의 조건이 됩니다. 내부 자료만 사용하도록 정한 요청이라면 외부 모델 호출은 비용이 저렴하더라도 후보 경로에 넣을 수 없습니다. 입력이 허용되지 않는 도구로 전달됐다면 최종 답이 맞아도 요청의 조건을 어긴 것입니다.

모델이 다음 호출을 제안하면 실행기에서 사용 가능한 도구와 전달 가능한 데이터 범위를 검사하도록 설계합니다. 검색 문서에 적힌 호출 지시는 실행 권한으로 취급하지 않습니다.

문제가 생겼을 때 최종 응답만 남아 있으면 어느 단계에서 잘못됐는지 찾기 어렵습니다. 시작할 때의 자료 버전과 모델, 호출을 선택한 이유, 각 단계의 시간, 검사 결과를 함께 남겨야 합니다. 이 기록으로 비용과 지연의 원인을 찾고, 허용하지 않은 경로로 데이터가 전달됐는지도 확인합니다.

판매 분석 예제에서는 자료 입력·계산·근거 대조·응답을 기준선으로 삼았습니다. 이 경로에서 발견한 실패에 따라 검색 조건을 바꾸거나 추가 모델과 후보 탐색을 붙일 수 있습니다. 긴 탐색과 모델 갱신은 결과를 검증하고 충분히 재사용할 수 있는 작업에서 검토합니다.

추가 계산을 적용한 뒤에는 보완하려던 문제가 줄었는지, 품질과 시간 조건을 만족하는지 확인합니다. 이 결과가 다음 호출에 예산을 쓸지 멈출지 판단하는 기준입니다.