AI는 답할 때마다 새로 공부할까?

방금 알려준 내용을 답했다면, 새로 배운 걸까요?

AI에게 “이번 모임 장소는 가상의 ‘달빛서점’이야”라고 말한 뒤 장소를 물으면 달빛서점이라고 답합니다. 그런데 새 대화에서는 모른다고 할 수도 있습니다. 앞에서는 배웠다가 뒤에서는 잊어버린 것일까요?

이 상황을 이해하려면 모델을 학습시키는 일과, 답변할 때 자료를 참고하는 일을 나누어야 합니다. 같은 모델도 눈앞에 제공되는 대화와 자료가 달라지면 다른 답변을 만들 수 있습니다. 이 글은 가상 모임 장소의 행방을 따라가면서, 일반적인 생성형 언어 모델의 답변 과정을 살펴봅니다.

AI 생성 연출 사진입니다. 화면은 실제 서비스나 모델의 내부 구조를 보여주는 자료가 아닙니다.

먼저 두 대화창을 나란히 놓아 봅시다

아래는 실제 서비스에서 측정한 결과가 아닌 가상 대화입니다. 저장된 기억이나 과거 대화 참고 기능은 없고, 그림에 나온 메시지만 모델에 제공된다고 가정합니다.

대화 A

나: 이번 모임 장소는 달빛서점이야.

나: 어디에서 만나지?

AI가 만들 수 있는 답: 달빛서점입니다.

새 대화 B

나: 어디에서 만나지?

AI가 만들 수 있는 답: 모임 장소를 알려 주세요.

두 답의 차이는 AI의 성능이 갑자기 달라졌기 때문일까요? 이 예시에서 달라진 것은 장소 메모가 제공되었는지입니다. 대화 A의 앞 문장에는 답에 필요한 정보가 있습니다. B에는 그 정보가 없습니다. B에서 장소를 단정한다면 오히려 근거 없는 답일 수 있습니다.

모델 그림은 같은 연결 구조로 표시했습니다. 실제 제품의 응답이나 서버를 재현한 그림은 아니며, 정보가 제공되는 조건을 비교합니다.

‘배웠다’고 부를 변화는 모델 안에서 일어납니다

언어 모델에는 입력과 출력의 관계에 영향을 주는 많은 수치가 있습니다. 이를 매개변수라고 부릅니다. 학습은 자료와 학습 목표에 맞춰 이 수치들을 조정하는 과정입니다. 책 한 권을 그대로 서랍에 넣는 것보다는, 여러 사례에서 관계를 익히도록 조절하는 일에 가깝습니다. 물론 이 비유가 모델의 실제 계산을 그대로 나타내지는 않습니다.

IBM Research의 학습·추론 설명은 모델을 준비하는 과정과 준비된 모델을 실행하는 과정을 구분합니다. 이미 만들어진 모델에 별도의 자료와 절차를 적용해 추가 학습을 할 수도 있지만, 질문을 입력할 때마다 자동으로 그 절차가 실행되는 것은 아닙니다.

모델의 매개변수를 ‘사실이 하나씩 적힌 목록’이라고 생각하면 오해가 생깁니다. 특정 문장을 자연스럽게 생성하는 능력과, 그 문장이 실제로 참임을 보장하는 능력은 같지 않습니다.

답변을 만드는 과정은 추론이라고 부릅니다

책상 위에 필요한 자료를 놓고 문제를 푸는 장면을 떠올려 봅시다. 참고하는 종이가 바뀌면 답도 달라질 수 있습니다. 이 비유에서 ‘열린 종이’에 해당하는 것이 현재 제공되는 문맥입니다. 사람과 모델의 내부 계산이 같다는 뜻은 아닙니다.

준비된 모델이 입력을 받아 출력을 계산하는 단계를 추론이라고 합니다. IBM의 AI 추론 안내는 학습한 모델을 새로운 입력에 적용하는 과정으로 설명합니다. 이때도 계산 장치와 메모리가 필요합니다. ‘이미 배웠다’는 말이 답변을 만드는 비용이 없다는 뜻은 아닙니다.

언어 모델은 대화와 지시 등 입력을 바탕으로 출력에 이어질 토큰을 계산합니다. 토큰은 글을 처리하는 단위로, 항상 단어나 한 글자와 일치하지는 않습니다. 생성한 내용을 다음 계산의 입력에 이어 붙이며 답을 만들 수 있습니다.

여기서 추론은 기술 용어입니다. 모든 답변이 논리적으로 검증된 결론이라는 뜻도, 사람이 생각하는 과정을 그대로 재현한다는 뜻도 아닙니다. 추론 중 여러 단계를 계산하거나 도구를 호출하더라도, 그 자체가 모델 매개변수의 학습과 같은 일은 아닙니다.

위쪽은 연결값을 조절하는 학습, 아래쪽은 준비된 모델에 질문을 넣는 실행입니다. 점과 선은 관계를 표현한 개념도이며 실제 모델의 신경망이나 장비 배치를 재현하지 않습니다.

문장은 완성된 답을 꺼내 오는 방식으로만 만들어지지 않습니다

생성형 언어 모델은 입력과 그동안 생성한 내용을 바탕으로 이어질 출력을 계산합니다. 예를 들어 “모임은” 다음에 무엇을 쓸지는 장소 메모나 말투 지시 같은 문맥에 영향을 받습니다. 같은 모델에 “한 문장으로 답해 줘”를 추가하는 것만으로도 답의 모양이 바뀔 수 있습니다.

이때 말하는 토큰은 기계가 글을 처리하는 단위입니다. 사람이 보는 한 단어나 한 글자를 그대로 한 토큰이라고 세면 안 됩니다. 아래 블록은 처리 단위를 나타내는 그림이며, 특정 한국어 문장의 실제 토큰 분할 결과는 아닙니다.

선택 기능으로 자료가 더해질 수 있는 일반적인 흐름입니다. 모든 서비스가 검색·저장을 제공하거나 모든 자료를 빠짐없이 읽는다는 뜻은 아닙니다.

답변이 조금씩 화면에 나타나는 장면도 학습 진행률을 보여주는 것은 아닙니다. 사용자가 보는 출력의 전달 방식과 모델을 학습시키는 과정은 구분해야 합니다. 자연스러운 문장이라는 이유만으로 날짜·인명·수치가 검증되었다고 볼 수도 없습니다.

대화가 길어지면 장소를 놓칠 수도 있을까요?

달빛서점 예시로 돌아가 봅시다. 현재 답변에 제공되는 대화 안에 장소 정보가 있으면 모델은 그것을 활용할 수 있습니다. 시험을 다시 공부했다기보다 문제 옆에 놓인 메모를 읽는 상황에 가깝습니다.

이렇게 한 번에 참고하는 입력 범위를 문맥 또는 컨텍스트라고 부릅니다. 과거 대화 전체가 언제나 빠짐없이 제공되는 것은 아닙니다. 서비스에 따라 일부를 요약하거나 제외할 수 있고, 입력 길이에도 제한이 있습니다. 긴 대화에서 세부 사항을 놓쳤다고 해서 반드시 학습했던 지식을 잃은 것은 아닙니다.

중요한 일정이나 수치는 필요한 순간에 다시 제시하고, 답변이 원자료와 일치하는지 확인하는 편이 좋습니다. ‘전에 말했으니 알겠지’라는 기대만으로 정확성이 확보되지는 않습니다.

AI 생성 연출 사진입니다. 현재 열어 둔 자료와 보관된 자료의 차이를 떠올리는 비유이며, AI의 기억 저장 방식을 촬영한 사진은 아닙니다.

여기서 중요한 기준은 서비스 화면에 과거 메시지가 보이는지보다 이번 답변을 계산할 때 어떤 내용이 실제로 제공되었는지입니다. 화면의 대화 목록, 서비스가 보관한 기록, 모델의 입력은 서로 같은 범위라고 가정할 수 없습니다. 정확한 문맥 처리 방식은 제품마다 다릅니다.

검색과 기억 기능도 각각 구분해야 합니다

검색 기능은 외부 자료를 찾아 현재 답변에 활용하는 통로입니다. 저장 기능은 이전에 남긴 정보를 이후 입력에 다시 제공하는 방식으로 구현될 수 있습니다. 둘 다 답변 내용을 바꿀 수 있지만 모델 학습과는 구분됩니다.

이 표는 기능을 구분하기 위한 예시입니다. 사용하는 서비스에 어떤 기능이 켜져 있는지와 실제 저장 범위는 해당 제품의 안내에서 확인해야 합니다.

검색은 필요한 자료를 작업대에 가져오는 과정입니다

가상의 서점 안내문이 오늘 바뀌었다면, 검색 기능은 바뀐 안내문을 찾아 답변에 참고하도록 제공할 수 있습니다. IBM의 검색 증강 생성 설명은 외부 지식의 관련 부분을 생성 과정에 연결하는 방식을 소개합니다. 검색한 자료를 활용하는 것과 모델을 다시 학습시키는 것은 별개입니다.

또 검색 결과가 있다고 답이 자동으로 맞아지는 것은 아닙니다. 다른 지점의 안내문을 가져왔거나 날짜가 지난 자료를 선택했다면 잘못된 답을 만들 수 있습니다. 따라서 출처와 날짜, 자료의 적용 대상을 확인해야 합니다. ‘검색함’은 근거를 살펴볼 출발점입니다.

저장 기능은 다음번에도 자료를 가져올 수 있게 합니다

다음 대화에서도 장소가 반영된다면 이전 기록이나 저장된 정보가 다시 입력에 포함되었을 가능성을 생각할 수 있습니다. 이를 보고 곧바로 모든 이용자에게 같은 장소가 학습되었다고 결론 내릴 수는 없습니다. 개인에게 제공되는 정보와 모델 전체의 변화는 관찰해야 할 대상부터 다릅니다.

질문할 때마다 왜 서버가 다시 일할까요?

모델이 준비되어 있어도 새 질문에 대한 출력 계산은 남아 있습니다. 참고할 문맥을 처리하고 답변을 생성하는 연산에 계산 장치와 메모리가 사용됩니다. 긴 자료를 다루거나 여러 단계를 수행하는 작업의 자원 사용은 단순한 문장 하나와 같다고 가정할 수 없습니다.

AI 생성 연출 사진입니다. 특정 AI 서비스의 시설이나 실제 전력 소비량을 보여주는 사진이 아닙니다.

그래서 답변이 오래 걸린다는 사실을 ‘더 열심히 새 지식을 학습하고 있다’고 해석하지 않습니다. 대기시간에는 요청량, 모델과 도구의 처리, 통신 상태 등 여러 원인이 있을 수 있습니다. 속도만으로 학습 여부나 정확도를 판단할 수는 없습니다.

‘지금 학습하지 않음’과 ‘입력이 저장되지 않음’은 다릅니다

답변을 생성하면서 매개변수를 바꾸지 않더라도, 서비스가 입력과 출력을 보관하거나 별도 조건에 따라 이후 개선에 이용할 수 있는지는 다른 문제입니다. 반대로 학습에 이용하지 않는 조건이 있어도, 기능 제공을 위한 저장까지 모두 없어진다고 단정할 수 없습니다.

예를 들어 OpenAI API의 데이터 관리 문서는 학습 이용과 데이터 보관을 별도 항목으로 설명합니다. 이는 해당 API에 관한 사례이며 다른 서비스나 개인용 대화 계정에 그대로 적용할 수 없습니다. 정책은 바뀔 수 있으므로 실제 사용할 서비스·계정·기능의 최신 조건을 확인해야 합니다.

업무 자료를 입력할 계획이라면 자료를 AI에 넣기 전 확인할 것을 함께 살펴보세요. 학습의 원리를 아는 것과 자료를 외부에 전달해도 되는지 판단하는 것은 서로 다른 단계입니다.

같은 장면을 다시 보면 답이 달라집니다

새 사실을 답했다면 먼저 그 정보가 어디에 있었는지 찾아보세요. 현재 대화인지, 검색 자료인지, 저장된 정보인지가 질문의 출발점입니다. 이를 구분하면 ‘답변을 잘 이어갔다’는 경험을 곧바로 ‘AI가 영구적으로 새 지식을 습득했다’고 해석하지 않게 됩니다.

중요한 것은 사람의 공부라는 비유보다 실제 자료의 흐름입니다. 무엇을 참고해 답했고, 그 정보는 어디에 남는가? 두 질문을 나누면 작동 원리와 개인정보 설정을 더 정확히 이해할 수 있습니다.

달빛서점을 정확히 답한 A와 장소를 다시 물은 B는, 이 가정에서는 같은 모델로도 가능한 장면입니다. 답변의 차이를 이해하는 첫 단서는 능력이 갑자기 생기거나 사라졌다는 설명보다 두 대화에 제공된 자료입니다.