양실장의 바이브코딩대학 강의 **「LLM 신경망 학습부터 추론 원리 전체를 비개발자 15명에게 설명하는 강의」**에서는 LLM이 어떻게 만들어지고, 실제 질문을 받았을 때 내부에서 어떤 과정을 거쳐 다음 토큰을 생성하는지, 그리고 실무에서 프롬프트·RAG·파인튜닝을 어떻게 선택해야 하는지까지 한 번에 설명합니다. ## 왜 LLM 문해력이 필요한가 AI를 잘 활용하려면 단순히 프롬프트 문법만 아는 것으로는 부족합니다. 실무에서 누군가: - LLM을 학습시키자 - RAG를 붙이자 - 파인튜닝이 필요하다 - Context Window가 크니 다 넣자 라고 말했을 때, 그 말이 실제로 무엇을 의미하고 비용·성능·운영 측면에서 어떤 선택인지 판단할 수 있어야 합니다. ## LLM은 크게 두 단계로 이해하면 쉽다 영상에서는 LLM을 크게 다음 두 과정으로 나눕니다. **학습(Training)** ↓ **추론(Inference)** 학습은 모델이 다음 토큰을 잘 예측하도록 파라미터를 조정하는 과정이고, 추론은 이미 학습된 모델이 실제 입력을 받아 다음 토큰을 생성하는 과정입니다. ## 1. 학습의 시작 — Corpus LLM 학습은 인터넷 문서, 코드, 책, 웹페이지 등 거대한 텍스트 집합에서 시작합니다. 이 원재료를 Corpus라고 볼 수 있습니다. 이 Corpus를 그대로 학습하는 것이 아니라 모델이 처리할 수 있는 Dataset으로 가공합니다. ## 2. Token과 Vocabulary 텍스트는 모델이 직접 이해하는 단위가 아닙니다. 먼저 문장을 Token 단위로 분해하고, 각 Token에 고유한 ID를 부여합니다. 예: **우리 점심 메뉴는** 이라는 문장이 여러 Token으로 나뉘고 각각 숫자 ID로 변환됩니다. 이 Token 목록 전체를 Vocabulary라고 합니다. 모델마다 Tokenizer와 Vocabulary가 다르기 때문에 같은 문장도 모델마다 Token 수가 달라질 수 있습니다. ## 3. 다음 토큰 예측으로 학습한다 LLM의 기본 학습 목표는 매우 단순하게 보면: > 앞의 Token들을 보고 다음 Token을 맞히는 것 입니다. 예를 들어: **우리 점심 메뉴는 → ?** 에서 다음 Token이 무엇인지 반복해서 예측합니다. 틀린 정도를 Loss로 계산하고, 역전파를 통해 수많은 Weight와 Parameter를 조금씩 수정합니다. 이 과정을 거대한 Dataset에서 반복하면서 언어 패턴, 문맥, 표현, 지식이 파라미터에 압축됩니다. ## 왜 수십억 개의 파라미터가 필요한가 LLM은 단순 단어 사전을 저장하는 것이 아니라: - 문법 - 문맥 - 개념 관계 - 표현 스타일 - 지식 패턴 - 문제 해결 패턴 같은 복잡한 관계를 수많은 가중치에 분산해서 학습합니다. 그래서 모델 규모가 수십억~수백억 개 이상의 파라미터로 커집니다. ## Pre-training과 Fine-tuning ### Pre-training 대규모 Corpus를 이용해 일반적인 언어 능력과 지식을 학습합니다. ### Fine-tuning 이미 학습된 모델에 특정 Dataset을 추가로 학습시켜: - 특정 스타일 - 특정 업무 행동 - 특정 출력 형식 - 특정 도메인 패턴 을 더 강하게 익히게 합니다. 즉, Fine-tuning은 **Context를 추가하는 것이 아니라 모델 파라미터 자체를 바꾸는 것**입니다. ## 추론은 어떻게 시작되나 사용자가 Prompt를 입력하면 문장이 Token으로 변환되고, 각 Token은 Embedding Vector로 바뀝니다. 이 Vector들이 Transformer Layer를 여러 번 통과하면서 다음 Token을 예측합니다. ## Transformer와 Attention Transformer의 핵심은 Attention입니다. Attention은 현재 Token이 앞의 어떤 Token들과 얼마나 관련 있는지를 계산합니다. 예를 들어: **로이는 우리 집에 사는 고양이다. 그 녀석은...** 이라는 문장에서 '그 녀석'이 '로이'와 강하게 연결되어 있다는 관계를 계산하는 식입니다. 이런 관계 계산을 여러 Layer와 여러 Attention Head에서 반복하면서 문맥을 점점 정교하게 이해합니다. ## Logit과 Softmax Transformer의 마지막 단계에서는 다음 Token 후보마다 점수가 만들어집니다. 이 점수를 Logit이라고 합니다. Softmax를 적용하면 후보들의 상대적 확률 분포를 만들 수 있습니다. 예: - 초밥 35% - 국밥 25% - 샐러드 10% - 기타 후보 ... 처럼 다음 Token 후보가 만들어집니다. ## Temperature · Top-K · Top-P 이 값들은 다음 Token 후보 중 어디까지 허용하고 어떤 방식으로 선택할지 결정합니다. ### Temperature 높을수록 다양한 후보를 허용해 결과가 더 창의적·다양해질 수 있습니다. 낮을수록 상위 확률 Token에 집중해 결과가 더 안정적입니다. ### Top-K 확률이 높은 상위 K개 후보만 남깁니다. ### Top-P 누적 확률이 일정 기준이 될 때까지 후보를 남깁니다. 즉, 이 값들은 모델의 지식을 바꾸는 것이 아니라 **추론 시 Sampling 방식**을 조절합니다. ## 왜 첫 Token이 느리고 이후에는 빨라질까 처음 Prompt가 들어오면 기존 모든 Token 사이의 Attention 관계를 계산해야 합니다. 이 초기 단계를 Prefill이라고 볼 수 있습니다. 첫 Token 이후에는 이전 계산 결과를 다시 전부 계산하지 않고 KV Cache에 저장된 값을 재사용합니다. 그래서: **첫 Token까지는 느리고 → 이후 Token은 빠르게 스트리밍** 되는 현상이 나타납니다. ## KV Cache KV Cache는 이전 Token들의 Attention 계산 결과를 저장해 다음 Token 생성 시 재사용하는 메모리 구조입니다. Context가 길어질수록 Cache 크기와 연산량도 커지기 때문에 Context Window 확대는 무료가 아닙니다. ## Context Window가 크다고 무조건 좋은 것은 아니다 더 많은 문서를 넣을 수 있다는 장점은 있지만: - 연산 비용 증가 - 응답 지연 - 불필요한 정보 증가 - 중요한 정보가 묻히는 현상 이 발생할 수 있습니다. 그래서 Context Window가 커져도 Retrieval과 Context Engineering은 여전히 중요합니다. ## 프롬프트·RAG·파인튜닝은 어떻게 선택할까 영상의 실무 핵심은 이 세 가지를 구분하는 것입니다. ### Prompt / Instruction 모델이 이미 할 수 있는 일을: - 어떤 역할로 - 어떤 형식으로 - 어떤 절차로 수행하게 만들고 싶을 때 사용합니다. 가장 싸고 빠른 첫 번째 선택지입니다. ### RAG 모델이 모르는 외부 지식이나 계속 바뀌는 정보를 참고해야 할 때 사용합니다. 예: - 사내 규정 - 최신 법률 - 제품 매뉴얼 - 고객 문서 - 회사 내부 데이터 즉, **모델 파라미터는 그대로 두고 필요한 정보를 Context에 넣는 방식**입니다. ### Fine-tuning 특정 행동이나 출력 패턴을 대규모로 반복해야 하고 이를 모델 자체에 익히는 것이 더 효율적일 때 검토합니다. 예: - 특정 형식의 분류 - 일정한 말투 - 전문 도메인 표현 - 반복적인 응답 패턴 ## 세 가지를 비교하면 **Prompt** → 행동 지시 **RAG** → 외부 지식 추가 **Fine-tuning** → 모델 자체 행동 패턴 변경 으로 이해하면 쉽습니다. ## 실무 판단 기준 ### 정보가 자주 바뀐다 → RAG ### 출력 형식과 행동이 반복된다 → Fine-tuning 검토 ### 모델이 이미 할 수 있는 일을 더 잘 시키고 싶다 → Prompt / Agent Instruction ### 외부 지식도 필요하고 특정 행동도 필요하다 → RAG + Fine-tuning 조합 가능 ## AI Agent와도 연결된다 Agent, Orchestration, Harness, Deep Twin 같은 개념도 결국 기반에는 LLM 추론이 있습니다. Agent가 Tool을 선택하고, Memory를 읽고, 다음 행동을 결정하는 과정도 결국: **Context → Transformer Inference → 다음 Token / 다음 Action 결정** 의 확장이라고 볼 수 있습니다. ## 핵심 정리 이번 강의의 핵심은 기술 용어를 외우는 것이 아니라 **학습과 추론을 분리해서 이해하는 것**입니다. 전체 흐름을 정리하면: **Corpus → Tokenization → Pre-training → Parameter Learning** 그리고 실제 사용 시에는: **Prompt → Token → Embedding → Transformer / Attention → Logit → Sampling → Next Token** 이 반복됩니다. 이 구조를 이해하면 새로운 모델이나 Agent 기술이 나와도 결국: - 모델 자체를 바꾸는 것인지 - Context를 바꾸는 것인지 - Retrieval을 추가하는 것인지 - 추론 과정을 제어하는 것인지 를 구분해서 판단할 수 있습니다.