생성형 AI 다음 단어 선택 원리와 현실의 한계

예를 들어 오늘 오후, 보고서를 쓰던 직장인이 생성형 AI에 “이 계약의 위험을 요약해줘”라고 입력했다고 가정해보자. 몇 초 뒤 화면에는 문법도 매끄럽고 판단도 단호한 답이 나타난다. 이 문장은 정말 계약을 이해한 결과일까, 아니면 그럴듯하게 이어진 말일까—AI가 만든 문장을 어디까지 믿어도 괜찮을까?

빈 화면에서 문장이 한 조각씩 나타나는 순간

생성형 AI는 완성된 답을 머릿속에서 꺼내 한꺼번에 보여주지 않는다. 사용자의 입력과 이미 만들어진 문장을 바탕으로 다음에 올 문장 구성 단위의 확률을 계산하고, 하나를 고른 뒤 같은 과정을 반복한다.

이때 AI가 다루는 단어나 문장 부호 같은 구성 단위를 쉽게 말해 문장의 조각, 정확한 용어로는 토큰(token)이라고 한다. “오늘 비가 온다.”라는 짧은 문장도 모델이 처리할 때는 여러 토큰의 연속으로 취급된다.

중요한 점은 AI가 사전에서 가장 자주 등장한 말만 기계적으로 붙이지 않는다는 사실이다. 앞에 어떤 질문과 문장이 있었는지를 반영해 후보별 가능성을 다시 조정한다. 유창함은 바로 이 문맥 계산에서 나오지만, 유창함 자체가 사실이라는 증명은 아니다.

다음 말의 확률을 바꾸는 보이지 않는 문맥

문장 속 여러 표현의 관계를 살펴 어떤 정보에 더 무게를 둘지 계산하는 장치를 쉽게 말해 주의 집중, 정확한 용어로는 어텐션(attention)이라고 한다. 이를 중심으로 대량의 문장에서 관계와 패턴을 배우는 모델 구조가 트랜스포머(transformer)다.

가령 “은행” 앞뒤에 “예금”과 “이자”가 있다면 금융기관에 가까운 문맥이고, “강”과 “나무”가 이어지면 물가의 둑이나 기슭에 가까운 문맥이다. AI는 이런 주변 관계를 이용해 다음 토큰의 확률 분포를 바꾼다. 다만 이 예시는 작동 개념을 단순화한 것이며, 실제 모델은 훨씬 많은 토큰 사이의 관계를 수치로 처리한다.

여기서 두 시간을 구분해야 한다. 수많은 문장을 보며 패턴을 익히는 과정은 학습(training)이고, 사용자의 질문을 받은 뒤 학습된 패턴으로 답을 만드는 과정은 추론(inference)이다. 질문할 때마다 모든 자료를 처음부터 다시 공부하는 것이 아니라, 이미 학습된 관계를 이용해 그 순간의 다음 토큰을 계산한다.

말이 자연스러운데 사실은 틀리는 역설

생성 과정의 직접 목표는 문맥상 이어질 법한 토큰을 내놓는 것이다. 현실의 사건이 실제로 있었는지, 숫자가 원문과 같은지, 인용한 사람이 정말 그 말을 했는지를 자동으로 보증하는 절차와는 다르다. 그래서 문장 구조는 훌륭한데 핵심 사실이 어긋나는 결과가 생길 수 있다.

이런 오류는 단순한 맞춤법 실수와 성격이 다르다. 모델은 질문에 맞는 답의 형태를 확률적으로 만들어 내면서도, 확인되지 않은 세부 내용을 문맥상 자연스러운 방향으로 채울 수 있다. 틀린 답이 어색하기보다 오히려 자신 있어 보이는 까닭이다.

제공된 조사자료에는 모든 생성형 AI에 공통으로 적용할 수 있는 정확도나 오류율 수치가 제시돼 있지 않다. 따라서 “몇 퍼센트까지 믿어도 된다”는 단일 기준을 만드는 것은 근거가 부족하다. 신뢰 수준은 모델 이름보다 질문 분야, 최신성, 원문 확인 가능성, 오류가 낳을 피해를 함께 따져 정해야 한다.

AI의 답을 ‘초안’으로 바꾸는 검증 절차

해결책은 AI의 모든 문장을 의심해 버리는 것도, 유창한 답을 그대로 복사하는 것도 아니다. 먼저 답에서 검증 가능한 주장을 분리해야 한다. 날짜, 인물, 수치, 법 조항, 제품 사양, 논문 제목처럼 참과 거짓을 가릴 수 있는 부분이 우선 대상이다.

그다음 AI가 언급한 출처가 실제로 존재하는지 열어 보고, 원문이 해당 주장을 뒷받침하는지 확인한다. 출처 이름만 그럴듯하거나 링크가 없으면 검증이 끝난 것이 아니다. 중요한 업무라면 공식 문서와 독립된 추가 자료를 대조하고, 전문 판단이 필요한 영역은 담당자나 전문가에게 넘겨야 한다.

반대로 아이디어 목록, 문장 다듬기, 회의 질문 초안처럼 사실 오류의 피해가 작고 사람이 곧바로 고칠 수 있는 작업은 비교적 가볍게 활용할 수 있다. 핵심은 AI 사용 여부가 아니라 검증의 깊이를 결과의 위험도에 맞추는 것이다.

콘텐츠와 고객 응대에서 달라질 책임선

기업이 생성형 AI를 콘텐츠 제작이나 고객 지원에 넣으면 초안을 만드는 속도는 빨라질 수 있다. 그러나 잘못된 환불 조건, 존재하지 않는 기능, 부정확한 규정이 외부로 나가면 이를 배포한 조직이 검토·관리 책임을 부담할 수 있다. 사람의 중간 검토가 업무 절차에 포함돼야 하는 이유다.

분석: 사업적 관점에서는 중요한 경쟁력 중 하나가 AI로 긴 문장을 만드는 능력뿐 아니라 출력을 안전하게 관리하는 능력일 수 있다. 어떤 출력을 자동 공개해도 되는지, 무엇을 사람이 승인해야 하는지, 오류가 발견되면 어떻게 수정 기록을 남길지를 설계하는 능력이 함께 필요하다. 검수 절차가 추가 비용과 시간을 만들 수 있지만, 고위험 업무에서는 안전장치로 설계할 필요가 있다.

AI의 답을 믿는 현실적인 기준

현재 판단: 생성형 AI의 답은 정답이 아니라 검토할 초안으로 받아들이고, 날짜·수치·인용·규정처럼 사실 여부가 중요한 내용은 원출처에서 확인해야 한다. 아이디어 정리처럼 피해가 작은 용도는 바로 활용하되 공개 전에는 사람이 문맥을 읽어보는 편이 안전하다.

판단이 달라지는 조건: 계약, 의료, 법률, 금융, 안전, 대외 발표처럼 오류의 피해가 크거나 출처가 불분명하다면 AI 답만으로 결정하지 말아야 한다. 공식 자료와 추가 자료를 직접 대조하고, 전문 판단이 필요한 경우 담당 전문가의 검토로 전환한다.

확률 계산만으로 설명되지 않는 사용 현장

작동 원리를 안다고 해서 개별 답의 정확도를 미리 판정할 수 있는 것은 아니다. 같은 분야라도 최신 사건인지, 질문에 필요한 조건이 충분히 들어갔는지, 학습 자료에서 드물게 다뤄진 내용인지에 따라 결과의 신뢰도는 달라질 수 있다. 제공된 자료만으로 모델별 성능 차이까지 단정할 수도 없다.

또 “AI는 확률로 말한다”는 설명을 “아무렇게나 무작위로 쓴다”로 받아들여서는 안 된다. 트랜스포머는 문맥 관계를 반영해 후보의 가능성을 정교하게 조정한다. 문제는 그 정교한 언어 예측이 현실 확인과 동일하지 않다는 데 있다.

앞으로는 답보다 근거 연결을 보라

사용자가 살펴볼 변화는 더 화려한 문장보다 답과 근거가 어떻게 연결되는가에 있다. 서비스가 원문 출처를 명확히 제시하는지, 인용한 대목을 직접 확인할 수 있는지, 사람이 검토할 지점을 구분해 주는지가 실용적인 판단 기준이 될 수 있다.

업무 도입을 검토하는 조직이라면 평균적인 문장 품질만 시험하지 말고 틀렸을 때 피해가 큰 질문을 따로 만들어 점검해야 한다. 답변 거부가 필요한 상황, 사람에게 넘겨야 할 조건, 공개 전 승인 절차도 함께 시험해야 한다. 좋은 생성 기능과 안전한 운영은 같은 문제가 아니다.

문장은 확률이 만들고 신뢰는 검증이 만든다

생성형 AI는 문장을 토큰으로 나누고 문맥에 따른 다음 토큰의 확률을 계산한다. 트랜스포머 기반 생성형 AI에서는 트랜스포머와 어텐션이 앞뒤 관계를 반영하지만 사실의 진위를 자동으로 보증하지 않는다. 유창함과 정확성은 별개의 기준이다. 중요한 답일수록 원출처, 추가 자료, 사람의 판단을 더해야 한다.

용어와 근거를 확인한 자료

주요 용어: 토큰은 모델이 처리하는 문장 구성 단위이며, 트랜스포머는 문맥 관계를 학습하는 모델 구조다. 학습은 패턴을 익히는 단계이고 추론은 그 패턴을 이용해 실제 답을 생성하는 단계다.

• DeepTechKR, 생성형 AI는 어떻게 다음 단어를 골라 문장을 만들까