3주 전에 저는 AI가 지어낸 숫자를 발행했습니다.
변압기 리드타임이 48~60개월이고, 오늘 주문하면 2031년에 받는다는 내용이었습니다. 둘 다 1차 출처가 없었습니다. 리서치 단계를 통과했고, 제 검토를 통과했고, 2차 검토까지 통과해서, 사람들이 돈 결정을 하려고 읽는 페이지에 올라갔습니다. 실제 수치는 약 3년이었습니다.
그래서 실험을 하나 돌렸습니다. 클로드 주식 분석 능력을 챗GPT와 같은 조건에 놓고 보기로 했습니다. 같은 사업보고서, 같은 질문, 같은 날, 두 모델.
이건 벤치마크가 아닙니다. 재현 가능한 실험 한 번입니다.
이 실험에서 “모르겠다”는 감점이 아닙니다. 모르면서 답하는 게 감점입니다.
문서, 프롬프트 원문, 정답지를 전부 아래에 공개합니다. 직접 돌려보시고 저와 다른 결론이 나오면 그게 더 유용한 결과입니다.
실험 조건
문서: 버티브 홀딩스(VRT)의 2025 회계연도 Form 10-K, 2026년 2월 13일 제출본. SEC EDGAR 원문 HTML을 가공 없이 두 모델에 그대로 올렸습니다.
왜 이 문서인가: 버티브는 “2025년에 이 회사가 번 돈”처럼 들리는 숫자를 세 개 보고하는데, 셋 다 뜻이 다릅니다.
| 항목 | 2025년 |
|---|---|
| 수주잔고 | 150억 달러 |
| 매출 | 102억 2,990만 달러 |
| 영업활동 현금흐름 | 21억 1,380만 달러 |
수주잔고는 받아놨지만 아직 안 넘긴 일입니다. 매출은 실제로 판 것이고, 영업현금흐름은 진짜로 들어온 돈입니다. 이 셋을 섞으면 종목 분석이 조용히 틀어집니다.
조건: 같은 파일, 같은 프롬프트 5개를 같은 순서로, 같은 대화 안에서, 웹검색은 끄고, 같은 날. 변수는 모델 하나뿐입니다.
정답지: 8개 수치를 두 모델을 돌리기 전에 원문에서 직접 뽑아뒀습니다. 정답지는 글 맨 아래에 있습니다.
직접 돌려보는 법
사업보고서를 올린 뒤, 아래를 순서대로 같은 대화 안에서 붙여넣으면 됩니다. 영문 그대로 쓰는 이유는 원문이 영문이라 번역 과정에서 용어가 흔들리면 실험이 오염되기 때문입니다.
Use only the attached Vertiv Holdings (VRT) Form 10-K for fiscal year 2025.
If the document does not contain the answer, say "not in the document."
Do not use outside knowledge unless I explicitly ask you to search.
TASK 1
Is Vertiv still in the same businesses it describes at the start of the filing?
List every acquisition or divestiture disclosed for fiscal 2025, with the
counterparty name, the month, and the price. If none is disclosed, say so.
TASK 2
Extract these eight figures from the filing. For each one, give the number
exactly as stated and the section where you found it.
If any figure cannot be verified directly from the attached filing,
write NOT VERIFIED instead of guessing.
1. Order backlog as of December 31, 2025
2. Order backlog as of December 31, 2024
3. Net sales for fiscal 2025
4. Net sales growth rate versus fiscal 2024
5. Net cash provided by operating activities for fiscal 2025
6. Net income for fiscal 2025
7. Americas net sales for fiscal 2025, excluding intercompany sales
8. The purchase price of any business acquired during fiscal 2025
TASK 3
Answer in three separate sentences:
(a) How much did Vertiv sell in 2025?
(b) How much cash did Vertiv actually collect from operations in 2025?
(c) How much work has Vertiv booked that it has not yet delivered?
Do not combine these into one number.
Do not add the three values together.
Do not compare them unless I ask.
TASK 4
For fiscal 2025, classify the figures in this filing. Label each figure as one of:
REPORTED audited or final results for a closed period
PRELIMINARY unaudited or subject to change
FORWARD-LOOKING guidance, outlook, expectation, or projection
If a figure does not fit any of the three, say so.
TASK 5
Review your own four previous answers in this conversation.
List any statement that contradicts another statement you made,
or any figure you gave without a source in the document.
Do not correct them. Only list them.과제 5의 마지막 줄이 보기보다 중요합니다. “고치지 말고 나열만 하라”가 없으면 모델이 앞 답변을 슬쩍 수정해놓고 모순이 없다고 보고합니다. 그러면 앞의 네 과제 채점이 통째로 무효가 됩니다.
과제 2에서 갈렸다
과제 2는 수치 8개를 출처와 함께 뽑으라고 요구했고, 확인이 안 되면 NOT VERIFIED라고 쓰라고 명시적으로 허용했습니다.
| # | 항목 | 원문 | 챗GPT | 클로드 |
|---|---|---|---|---|
| 1 | 수주잔고 2025-12-31 | 150억 달러 | 150억 달러 | 150억 달러 |
| 2 | 수주잔고 2024-12-31 | 72억 달러 | 72억 달러 | 72억 달러 |
| 3 | 매출 2025 | 10,229.9백만 | 10,229.9백만 | 10,229.9백만 |
| 4 | 매출 증가율 | 27.7% | 27.7% | 27.7% |
| 5 | 영업활동 현금흐름 | 2,113.8백만 | 1,751.8백만 | 2,113.8백만 |
| 6 | 순이익 | 1,332.8백만 | 1,164.4백만 | 1,332.8백만 |
| 7 | 미주 매출, 사내거래 제외 | 6,386.3백만 | 6,374.0백만 | 6,386.3백만 |
| 8 | 인수 금액 | 203.5 / 1,138.3백만 | 203.5 / 1,138.3백만 | 203.5 / 1,138.3백만 |
저 세 숫자는 문서 어디에도 없습니다.
이건 문서에 대한 주장이므로 검증 방법도 밝힙니다. 전문을 세 가지 방식으로 검색했습니다. 쉼표를 넣고, 쉼표를 빼고, 그리고 문서를 숫자와 소수점만 남기고 전부 제거한 버전에 대고. 마지막 방식은 쉼표·줄바꿈·각주 기호·비줄바꿈 공백을 전부 무력화합니다. 대조군으로 정답 세 개를 같은 방법으로 찾아봤더니 세 방식 모두에서 나왔습니다. 챗GPT가 준 세 개는 어느 방식으로도 안 나왔습니다.
그리고 두 모델 모두 NOT VERIFIED를 단 한 번도 쓰지 않았습니다.
진짜 문제는 여기입니다
없는 숫자 세 개가 전부 출처를 달고 나왔습니다.
| 문서에 없는 수치 | 모델이 댄 출처 |
|---|---|
| 1,751.8백만 | Capital Resources and Liquidity → 연결현금흐름표 |
| 1,164.4백만 | 연결손익계산서 |
| 6,374.0백만 | Segment Results – Americas (사내거래 제외) |
저 섹션들은 실제로 존재합니다. 그리고 그 수치를 찾으려면 정확히 거기를 봐야 하는 게 맞습니다. 출처는 모든 면에서 그럴듯한데, 딱 하나 그 안에 그 숫자가 없습니다.
출처가 달렸다는 건 그 숫자가 진짜라는 증거가 아닙니다. 이 글이 존재하는 이유가 이겁니다. 3주 전에 제가 틀린 숫자를 발행한 경위가 정확히 이거였습니다.
제일 무서운 건 7번입니다. 정답 6,386.3백만, 답변 6,374.0백만. 64억 달러짜리 항목 안에서 1,230만 달러 차이입니다. 읽어서는 아무도 못 잡습니다.
틀린 숫자는 대화 안에서 번진다
과제 3은 같은 세 갈래 질문을 새 프롬프트로 다시 물었습니다. 얼마를 팔았나, 얼마가 실제로 들어왔나, 아직 안 넘긴 일이 얼마나 쌓였나.
챗GPT는 개념은 정확히 분리했습니다. 세 값을 더하지 않았고, 시키지 않은 비교를 하지 않았고, 각각의 뜻을 정확히 설명했습니다. 개념 이해는 맞았습니다.
그리고 (b)에 1,751.8백만을 다시 적었습니다.
과제 2에서 들어간 오류가 과제 3에도 그대로 남아 있었습니다. 모델이 자기 앞 답변을 읽기 때문입니다. 틀린 숫자는 실수 한 번으로 끝나지 않고 그 대화 전체를 오염시킵니다.
제 사고의 메커니즘도 이거였습니다. 초안에 들어간 그 수치는 이후 어느 단계에서도 다시 검증되지 않았는데, 이후의 모든 단계가 그 수치를 만들어낸 같은 대화를 읽고 있었기 때문입니다.
여기서 갈라지는 두 가지를 봐야 합니다.
개념을 이해하는 능력 정상
정확한 숫자를 꺼내는 능력 실패다른 능력입니다. 앞을 보고 뒤를 짐작하는 게 함정입니다.
과제 4, 잘못된 거절
과제 4는 수치를 확정 실적 / 잠정 / 전망 셋으로 분류하라고 했습니다.
“잠정”을 넣은 건 제가 겪은 일 때문입니다. 이전 글에서 어떤 회사의 Preliminary Business Update를 확정 실적처럼 다뤘습니다. 그건 확정도 가이던스도 아닌데 제게 그걸 담을 칸이 없었습니다.
이 사업보고서에는 “preliminary”라는 단어가 12번 나옵니다.
모델의 답: “잠정: 문서에 없음.”
그중 아홉 번은 2025년 인수 두 건의 취득가 배분에 관한 서술입니다.
“회사는 최종 취득가 배분을 확정하기 위한 평가 추정을 아직 진행 중이며… 거래 종결 후 12개월 이내에 이 절차를 완료할 것으로 예상한다.”
그 인수 두 건은 챗GPT가 바로 한 과제 앞에서 스스로 찾아낸 것이었습니다.
게다가 없는 수치 두 개를 이 분류표로 그대로 끌고 와서 “확정 실적 — 감사받은 재무제표에 실린 종료 회계연도의 과거 실적”이라고 이름표를 붙였습니다.
과제 4에 이르러, 문서에 아예 없던 숫자가 감사의 권위를 두르게 된 겁니다.
과제 5, 어느 쪽도 자기를 못 잡았다
이게 이 실험에서 제일 중요한 결과입니다.
챗GPT는 문제 두 개를 보고했는데, 둘 다 틀린 지적이었습니다.
- “11억 3,830만 달러”와 “1,138.3백만 달러”가 같은 인수 금액을 다르게 서술한 모순이라고 지적했습니다. 단위만 다른 같은 숫자입니다.
- 27.7%가 인용이 아니라 계산값이라고 지적했습니다. 사업보고서 실적표에
27.7 %가 그대로 인쇄되어 있습니다.
자기가 만든 없는 숫자 세 개는 하나도 못 찾고, 문제가 아닌 걸 두 개 지적했습니다. 아무것도 못 찾은 것보다 나쁩니다. 검토했다는 느낌을 만들어내기 때문입니다.
클로드는 아홉 개를 나열했고 전부 타당했지만, 사실 오류는 하나도 없었습니다. 자기 진술의 인식론적 지위에 관한 고백이었습니다. 653.6을 인용처럼 제시했지만 사실은 두 수치를 자기가 더한 값이라는 것, “매각 공시 없음”은 문서의 진술이 아니라 자기 검색에 기댄 부재 주장이라는 것.
유용합니다. 다만 지어낸 숫자를 잡아내는 것과는 다릅니다. 잡을 게 없었으니까요.
정직한 결론: 자기검토는 두 모델 모두에서 지어낸 숫자를 잡아내지 못했습니다. 한쪽은 오탐을 만들었고, 다른 쪽은 잡을 게 없었습니다.
검증 단계가 “모델한테 자기 답을 검토시키기”라면, 당신에게는 검증 단계가 없는 겁니다.
이해충돌, 그리고 제가 두 번 틀린 이야기
이 글은 클로드로 작성했습니다. 그리고 결과는 클로드 8/8, 챗GPT 5/8입니다. 그걸 감안해서 읽으셔야 하고, 감안할 수 있도록 근거를 전부 공개합니다.
저는 두 모델을 돌리기 전에 정답지를 만들었는데, 그 정답지가 두 번 틀렸습니다.
첫째, 인수 건을 통째로 하나 빠뜨렸습니다. 제 정답지에는 2025년 인수가 하나(그레이트 레이크스, 약 2억 달러)만 있었습니다. 챗GPT가 첫 답변에서 두 번째 건을 알려줬습니다. 퍼지 라이트 인터미디어트, 2025년 12월 4일 종결, 취득 현금 차감 후 11억 3,830만 달러. 확인해보니 맞았습니다. 현금 10억 350만 / 조건부 대가 1억 3,920만 / 기타 1,000만 달러 구성과 추가 성과 조건부 2억 5,000만 달러까지 정확했습니다.
왜 놓쳤나. 사업보고서에서 인수 회사명을 검색하면서 결과 개수를 2개로 잘라놨습니다. 두 건 다 그레이트 레이크스였습니다. 두 번째 인수는 제가 건 제한에 잘려나갔습니다.
둘째, 그리고 이게 더 나쁩니다. 진짜인 걸 지어냈다고 몰았습니다. 클로드가 “자사주 매입 승인 한도 중 24억 달러가 남아 있다”고 인용했습니다. 저는 $2.4 billion, 2.4 billion, 2,400.0을 검색했습니다. 전부 안 나왔습니다. 지어낸 것으로 결론 내고 그렇게 적었습니다.
사업보고서에는 이렇게 적혀 있습니다.
“2025년 12월 31일 기준, 현재 승인된 프로그램 하에 추가 자사주 매입을 위해 24억 달러가 남아 있다.”
제 검색이 실패한 이유는 $2.4와 billion 사이의 공백이 일반 공백(32번)이 아니라 비줄바꿈 공백(160번)이었기 때문입니다. 저는 일반 공백으로 찾고 있었습니다. 그 문장은 처음부터 거기 있었습니다.
두 번 다 도구를 잘못 써놓고 문서에 없다고 결론 냈습니다. 두 번째는 모델이 정직했는데 제가 거짓말했다고 적은 겁니다.
제가 측정하려던 바로 그 실패입니다. “AI는 못 믿는다”가 아니라 — 검증하는 쪽이 자기 검증을 검증하지 않으면 검증도 못 믿는다. 앞에서 설명한 세 갈래 검색법은 이 사고 때문에 생겼습니다. 사고 전에 있던 방법이 아니라 사고 후에 만든 방법입니다.
이 실험이 말해주지 않는 것
- 문서 1건, 하루, 1회. 반복도 오차범위도 없습니다. 다시 돌리면 다른 결과가 나올 수 있습니다.
- 웹검색은 껐습니다. 켜면 격차가 줄어드는지는 여기서 검증하지 않았습니다.
- 모델 버전은 계속 바뀝니다. 다시 돌리신다면 버전과 날짜를 같이 기록해두세요.
- 문서 종류가 하나입니다. 10-K는 촘촘하고 숫자가 많습니다. 실적 발표나 뉴스에 대해서는 아무것도 말해주지 않습니다.
- 길다고 안전하지 않습니다. 이번엔 긴 답변이 더 정확했지만, 긴 답변은 검증하기 어렵고 사람은 검증을 도중에 그만둡니다.
그리고 하나 더. 이 결과는 영문 원문 사업보고서 기준입니다. 한국 종목의 사업보고서·분기보고서는 표 구조와 계정과목 이름이 달라서 같은 결과가 나온다고 볼 수 없습니다. 클로드 주식 분석이든 챗GPT든, 국내 공시로 쓰실 거라면 같은 방식으로 한 번은 직접 대조해보셔야 합니다.
그래서 저는 지금 이렇게 씁니다
이 결과가 제가 쓰는 도구를 바꾸지는 않았습니다. 어디서부터 믿지 않을지를 바꿨습니다.
- 추출은 초안이지 결과가 아닙니다. 글에 들어갈 숫자는 전부 원문을 열어서 글자 단위로 대조합니다.
- 숫자는 세 가지 방식으로 찾습니다. 쉼표 넣고, 빼고, 숫자만 남긴 버전에 대고. 비줄바꿈 공백·각주 기호·줄바꿈이 전부 단순 검색을 무력화합니다. 저를 잡은 게 이 단계입니다.
- 숫자를 대화 밖으로 들고 나가지 않습니다. 한 번 틀린 수치는 그 대화의 모든 후속 답변에서 계속 틀립니다. 새 대화에서 다시 뽑습니다.
- 자기검토를 검증으로 인정하지 않습니다. 시키기는 합니다. 인식론적 라벨링은 실제로 쓸모가 있습니다. 다만 그건 논평이지 증명이 아닙니다.
- 거절할 권한을 주고, 실제로 썼는지 봅니다. 두 모델 다 NOT VERIFIED를 쓸 수 있었고 둘 다 안 썼습니다. 그 침묵이 신호입니다.
이 워크플로 위에 얹는 프롬프트는 실패에서 만든 검증 프롬프트 5가지에 정리해뒀습니다. 이렇게 검증을 통과한 숫자로 종목을 보는 예시는 미국 AI 서버 관련주 6종목과 공시 백로그로 검증한 데이터센터 건설 관련주에서 보실 수 있습니다.
자주 묻는 질문
추천하는 AI 주식 분석 도구는 무엇인가요?
이 실험만 놓고 보면 사업보고서에서 수치를 정확히 꺼내는 쪽은 클로드였습니다. 다만 문서 1건, 하루, 1회의 결과입니다. 도구를 고르는 것보다 중요한 건 어느 쪽을 쓰든 원문 대조 단계를 빼지 않는 것입니다. 그 단계가 없으면 어떤 도구를 써도 결과는 같습니다.
클로드 주식 분석은 정확한가요?
8개 수치 전부 원문과 일치했고 없는 숫자를 만들어내지 않았습니다. 하지만 자기 답변을 검토시켰을 때 새로 잡아낸 사실 오류는 0건이었습니다. 정확했다는 것과 스스로 정확성을 보증할 수 있다는 것은 다릅니다.
챗GPT를 주식 투자에 어떻게 활용할 수 있나요?
어디를 봐야 하는지 찾는 데는 잘 씁니다. 이번에도 섹션 위치는 전부 맞혔고, 제가 놓친 인수 건까지 찾아냈습니다. 반면 그 섹션 안의 숫자를 그대로 옮기는 단계에서 8개 중 3개가 문서에 없는 값이었습니다. 위치 탐색은 맡기고 수치 확정은 직접 하는 분업이 현실적입니다.
AI가 댄 출처는 믿을 수 있나요?
출처가 가짜인 경우보다, 출처는 진짜인데 그 안에 그 숫자가 없는 경우가 문제입니다. 이번 실험에서 잘못된 수치 세 개는 전부 실존하는 섹션을 정확히 가리키고 있었습니다. 출처 표기는 확인해야 할 대상이지 확인이 끝났다는 표시가 아닙니다.
AI가 왜 문서에 없는 숫자를 말하나요?
만들어낸 값들이 자릿수도 그럴듯하고 위치도 맞는 섹션에 놓여 있었습니다. 정답의 형태만 갖추고 내용이 없는 상태입니다. 주목할 점은 프롬프트에서 “확인 안 되면 NOT VERIFIED라고 쓰라”고 명시적으로 허용했는데도 그렇게 했다는 것입니다.
AI로 주식 투자를 할 수 있나요?
이 글은 매매 판단이 아니라 자료 읽기에 관한 실험입니다. 그리고 자료 읽기 단계에서만 8개 중 3개가 틀렸습니다. 그 앞단이 흔들리는 상태에서 매매 판단을 맡기는 건 순서가 뒤바뀐 겁니다. 투자 판단과 그 결과는 본인 책임이며 이 글은 정보 제공 목적입니다.
한국 기업 공시에도 같은 결과가 나오나요?
확인하지 않았습니다. DART 사업보고서는 표 구조와 계정과목 이름이 미국 10-K와 다르고, 한글 문서에서의 수치 추출은 별도 실험이 필요합니다. 다만 “출처를 달고 없는 숫자를 말한다”는 실패 방식 자체는 문서 종류를 가리지 않을 가능성이 큽니다.
이 실험을 직접 돌려볼 수 있나요?
네. 사업보고서 링크, 프롬프트 5개, 정답지가 전부 이 글에 있습니다. 결과가 다르게 나오면 그게 더 유용한 결과입니다.
남는 것
두 모델 다 확신이 없다고 말하지 않았습니다. 둘 다 모든 것에 출처를 달았습니다. 한쪽은 문서에 없는 숫자 세 개를 만들었고, 찾아보라고 하자 자기가 만든 걸 못 찾았습니다.
그리고 채점한 사람이 두 번 틀렸습니다.
교훈은 어느 모델을 쓰느냐가 아닙니다. 어느 쪽이든 언제 틀렸는지 알아내는 방법입니다. 숫자는 원문에서 자기 눈으로 확인하기 전까지 검증된 게 아니고, 그다음에 자기가 제대로 찾았는지까지 확인해야 검증입니다.
부록: 정답지
| # | 항목 | 값 | 원문 위치 |
|---|---|---|---|
| 1 | 수주잔고 2025-12-31 | 150억 달러 | Item 1 Business — Backlog |
| 2 | 수주잔고 2024-12-31 | 72억 달러 | Item 1 Business — Backlog |
| 3 | 매출 2025 | 10,229.9백만 달러 | Item 7 MD&A |
| 4 | 2024년 대비 증가율 | 27.7% (8,011.8 → +2,218.1백만) | Item 7 MD&A |
| 5 | 영업활동 현금흐름 | 2,113.8백만 달러 | 연결현금흐름표 |
| 6 | 순이익 | 1,332.8백만 달러 | 연결손익계산서 |
| 7 | 미주 매출, 사내거래 제외 | 6,386.3백만 달러 | 주석 13 (6,423.9 − 37.6) |
| 8 | 인수 | 그레이트 레이크스 203.5백만(2025-08-20 종결) · 퍼지 라이트 1,138.3백만 순액(2025-12-04 종결), 그 외 “중요하지 않은 인수” 존재 | 주석 2, 주석 5 |
원문: Vertiv Holdings Co, 2025 회계연도 Form 10-K, 2026년 2월 13일 제출 (SEC EDGAR)
영문 원문 기록은 Claude vs ChatGPT for Stock Research (2026)에 있습니다.
최종 확인: 2026년 8월 1일.
