회의에서 “이건 LLM 기반이라 토큰 비용이 부담된다”, “RAG로 사내 문서를 붙이면 된다” 같은 말이 오가는데 무슨 뜻인지 몰라 고개만 끄덕인 적 있으신가요? AI 관련 용어는 대부분 영어 약자라서 비전공자에게는 진입 장벽이 높습니다. 이 글에서는 직장인이 실무 대화에서 자주 마주치는 AI 핵심 용어를 전공 지식 없이도 이해할 수 있도록 일상 비유와 함께 정리했습니다. 끝까지 읽으면 챗GPT·클로드·제미나이 같은 서비스가 어떤 원리로 움직이는지, 왜 가끔 틀린 답을 내놓는지 감을 잡을 수 있습니다.
목차
- AI·머신러닝·딥러닝 — 세 단어의 관계부터
- LLM(대규모 언어 모델) — 챗봇의 정체
- 토큰과 파라미터 — AI가 글을 읽는 단위와 뇌 용량
- 프롬프트와 컨텍스트 윈도우 — AI와 대화하는 법
- RAG(검색 증강 생성) — 최신 정보 약점을 메우는 기술
- 꼭 알아둘 나머지 용어 — 할루시네이션·파인튜닝·멀티모달·에이전트
- FAQ
- 핵심 요약
1. AI·머신러닝·딥러닝 — 세 단어의 관계부터
가장 먼저 헷갈리는 것이 AI, 머신러닝, 딥러닝이라는 세 단어입니다. 이 셋은 서로 다른 기술이 아니라 큰 원 안에 작은 원이 들어 있는 포함 관계입니다. 가장 넓은 개념이 인공지능(AI)이고, 그 안에 머신러닝이, 다시 그 안에 딥러닝이 들어 있습니다.
인공지능(AI)은 사람처럼 판단하거나 문제를 푸는 컴퓨터 기술 전체를 부르는 가장 큰 말입니다. 머신러닝(기계학습)은 그중에서도 사람이 규칙을 일일이 정해주는 대신, 데이터를 많이 보여주면 컴퓨터가 스스로 규칙을 찾아내는 방식을 뜻합니다. 딥러닝은 머신러닝의 한 갈래로, 사람 뇌의 신경망 구조를 본떠 만든 방식이며 오늘날 생성형 AI의 바탕이 됩니다.
| 용어 | 범위 | 한 줄 정의 |
|---|---|---|
| 인공지능(AI) | 가장 넓음 | 사람의 지능을 흉내 내는 기술 전체 |
| 머신러닝 | 중간 | 데이터로 스스로 규칙을 학습하는 방식 |
| 딥러닝 | 가장 좁음 | 신경망을 이용한 머신러닝의 한 종류 |
정리하면 “딥러닝은 머신러닝의 한 종류이고, 머신러닝은 AI의 한 종류”라고 기억하면 충분합니다. 요즘 화제인 챗봇들은 대부분 딥러닝을 바탕으로 만들어졌습니다.
2. LLM(대규모 언어 모델) — 챗봇의 정체
LLM은 Large Language Model의 약자로, 우리말로는 대규모 언어 모델입니다. 챗GPT, 클로드, 제미나이 같은 서비스의 ‘두뇌’에 해당하는 부분이 바로 이 LLM입니다.
LLM은 인터넷의 방대한 글을 학습해서 “앞 문장 다음에 올 가장 자연스러운 단어”를 확률적으로 예측하는 방식으로 작동합니다. 쉽게 말해 초대형 자동완성 기능이라고 보면 이해가 빠릅니다. 스마트폰 키보드가 다음 단어를 추천해 주듯, LLM도 다음에 올 말을 계속 이어 붙여 문장을 완성합니다.
다만 그 규모가 키보드 자동완성과는 비교할 수 없을 만큼 크기 때문에, 번역·요약·글쓰기·코딩 같은 복잡한 작업까지 해냅니다. 각 회사가 만든 대표 LLM은 챗GPT(OpenAI), 클로드(Anthropic), 제미나이(Google) 등이 있습니다. 세 서비스의 특징 비교는 별도 글에서 자세히 다루므로 여기서는 “LLM = 챗봇의 두뇌”라는 개념만 잡고 넘어가겠습니다.
3. 토큰과 파라미터 — AI가 글을 읽는 단위와 뇌 용량
토큰(Token) 은 AI가 글을 처리하는 최소 단위입니다. 사람은 문장을 단어나 글자로 인식하지만, LLM은 글을 ‘토큰’이라는 조각으로 잘게 쪼개 읽습니다. 대략 영어는 단어 하나가 1~2개 토큰 정도이고, 한국어는 같은 의미라도 더 많은 토큰을 쓰는 경향이 있습니다(출처: OpenAI 토크나이저 문서, 2026년 기준).
토큰이 중요한 이유는 두 가지입니다. 첫째, 유료 API 요금이 토큰 사용량으로 계산됩니다. 둘째, AI가 한 번에 처리할 수 있는 글 길이에도 토큰 한도가 있습니다. “토큰 비용이 부담된다”는 말은 곧 “주고받는 글자 수가 많아 요금이 올라간다”는 뜻입니다.
파라미터(Parameter) 는 LLM이 학습을 통해 조정하는 내부 값으로, 흔히 모델의 ‘뇌 용량’에 비유됩니다. 파라미터가 많을수록 대체로 더 복잡한 패턴을 다룰 수 있습니다. 다만 최근 상용 모델들은 정확한 파라미터 수를 공개하지 않는 경우가 많으므로, 숫자 자체보다는 “모델 규모를 나타내는 지표” 정도로 이해하면 됩니다.
4. 프롬프트와 컨텍스트 윈도우 — AI와 대화하는 법
프롬프트(Prompt) 는 사용자가 AI에게 입력하는 질문이나 지시문을 말합니다. “이 문서를 세 줄로 요약해 줘” 같은 명령이 모두 프롬프트입니다. 같은 AI라도 프롬프트를 얼마나 구체적으로 쓰느냐에 따라 결과 품질이 크게 달라지며, 이 기술을 다듬는 일을 ‘프롬프트 엔지니어링’이라고 부릅니다.
컨텍스트 윈도우(Context Window) 는 AI가 한 번의 대화에서 기억할 수 있는 정보의 양입니다. 사람으로 치면 단기 기억 용량에 해당하며, 단위는 토큰으로 표시됩니다. 컨텍스트 윈도우가 크면 긴 문서 전체나 오래된 대화 내용까지 참고해 답할 수 있습니다.
이 용량은 모델마다 달라서 수만 토큰 수준부터 최대 100만 토큰 규모까지 다양하며, 사양은 자주 바뀌므로 정확한 수치는 각 개발사 공식 사이트에서 확인하는 것이 좋습니다. 컨텍스트 윈도우를 넘어서는 오래된 대화는 AI가 잊어버리기 때문에, 긴 작업에서는 중요한 내용을 다시 정리해 주는 것이 좋습니다.
5. RAG(검색 증강 생성) — 최신 정보 약점을 메우는 기술
LLM에는 한 가지 큰 약점이 있습니다. 학습을 마친 시점 이후의 최신 정보나, 회사 내부 문서처럼 학습에 포함되지 않은 자료는 알지 못한다는 점입니다. 이 약점을 보완하는 대표 기술이 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 입니다.
RAG는 AI가 답을 생성하기 전에, 먼저 외부 자료(웹 검색 결과나 사내 문서 등)를 찾아본 뒤 그 내용을 근거로 답을 만드는 방식입니다. 시험을 볼 때 머릿속 지식만 쓰는 대신, 관련 자료를 펼쳐 놓고 참고하며 답을 쓰는 오픈북 시험에 비유할 수 있습니다.
“RAG로 사내 문서를 붙인다”는 말은, 회사 규정집이나 매뉴얼을 AI가 참고하도록 연결해 사내 질문에 정확히 답하게 만든다는 뜻입니다. 실제로 기업용 AI 챗봇 상당수가 이 방식을 활용합니다. AI가 업무에 도입되면서 직무 구조가 어떻게 바뀌는지는 AI 시대 고용 전망을 정리한 글에서 함께 살펴볼 수 있습니다.
6. 꼭 알아둘 나머지 용어 — 할루시네이션·파인튜닝·멀티모달·에이전트
앞의 개념을 이해했다면, 나머지 자주 쓰이는 용어도 어렵지 않습니다. 실무 대화에서 자주 등장하는 네 가지를 표로 정리했습니다.
| 용어 | 쉬운 설명 |
|---|---|
| 할루시네이션(Hallucination) | AI가 그럴듯하지만 사실이 아닌 내용을 지어내는 현상 |
| 파인튜닝(Fine-tuning) | 기존 모델을 특정 분야 데이터로 추가 학습시켜 특화하는 것 |
| 멀티모달(Multimodal) | 글뿐 아니라 이미지·음성·영상까지 함께 다루는 능력 |
| AI 에이전트(Agent) | 지시 하나로 여러 단계를 스스로 처리하는 자동화 AI |
특히 할루시네이션은 실무에서 반드시 알아야 할 개념입니다. AI는 모르는 내용도 자신 있게 답하는 경향이 있어, 통계·법령·인용 같은 정보는 반드시 원 출처로 교차 확인해야 합니다.
AI 에이전트는 최근 가장 빠르게 발전하는 분야입니다. 단순히 답만 하던 챗봇에서 나아가, “메일을 확인하고 일정에 등록해 줘” 같은 여러 단계 작업을 스스로 수행하는 방향으로 진화하고 있습니다. 업무에 이런 AI 도구를 실제로 적용하려는 분이라면 협업툴 비교 정리 글도 참고할 만합니다.
7. FAQ (자주 묻는 질문)
Q. AI 용어를 이 정도만 알아도 실무에 충분한가요? A. 비전공 직장인 기준으로는 이 글에서 다룬 LLM·토큰·프롬프트·RAG·할루시네이션 정도면 대부분의 실무 대화를 따라갈 수 있습니다. 더 깊은 내용은 필요할 때 하나씩 찾아보는 방식으로 충분합니다.
Q. 토큰과 글자 수는 같은 개념인가요? A. 아닙니다. 토큰은 AI가 글을 나누는 고유 단위로, 글자 수나 단어 수와 정확히 일치하지 않습니다. 언어와 모델에 따라 같은 문장도 토큰 수가 달라집니다.
Q. AI가 지어낸 답(할루시네이션)을 완전히 막을 수 있나요? A. 2026년 기준 기술로는 완전히 없애기 어렵습니다. RAG처럼 근거 자료를 참고하게 하면 줄일 수 있지만, 중요한 정보는 사람이 직접 검증하는 절차가 여전히 필요합니다.
Q. 프롬프트를 잘 쓰는 특별한 방법이 있나요? A. 목적, 대상, 형식, 분량을 구체적으로 지정할수록 결과가 좋아집니다. “요약해 줘”보다 “이 보고서를 임원 보고용으로 3줄 요약해 줘”처럼 조건을 명확히 주는 것이 핵심입니다.
8. 핵심 요약
- AI ⊃ 머신러닝 ⊃ 딥러닝의 포함 관계이며, 챗봇은 딥러닝 기반이다
- LLM(대규모 언어 모델)은 챗GPT·클로드·제미나이의 ‘두뇌’로, 초대형 자동완성에 비유할 수 있다
- 토큰은 AI가 글을 읽는 단위로 요금·길이 한도와 직결되고, 파라미터는 모델 규모를 나타낸다
- RAG(검색 증강 생성)는 외부·사내 자료를 참고해 답하게 만들어 최신 정보 약점을 보완한다
- 할루시네이션(지어낸 답)은 완전히 막기 어려우므로 중요한 정보는 반드시 교차 확인해야 한다
본 글의 정보는 2026년 기준이며, AI 모델의 사양·가격·컨텍스트 용량 등은 수시로 변경됩니다. 정확한 최신 내용은 OpenAI, Anthropic, Google 등 각 개발사 공식 사이트에서 확인하시기 바랍니다.