Part 2. AI는 어떻게 배우는가

기계의 학습 = 숫자를 조금씩 조정하는 일

Part 1에서 AI의 70년 역사를 봤다면, 이번 장에서는 그 안에서 실제로 학습이 어떻게 일어나는지 본다. 결론부터 말하면, AI의 학습은 숫자(가중치) 수천억 개를 아주 조금씩 조정하는 일의 반복이다.

#2-1. "학습"이란 무엇인가

#아이가 강아지를 배우는 과정

AI의 "학습"이 정확히 이거다. 정답을 본 뒤 틀린 만큼 자기 안의 "기준"을 조금씩 조정하는 일을 수만 번, 수억 번 반복하는 것이 학습이다.

#"기준"이 도대체 뭔가 — 파라미터

사람의 머릿속에 있는 "강아지의 기준"은 어떻게 생겼을까? 사실 우리도 잘 모른다. 글로 적기 어렵다. 그냥 수많은 뉴런들의 연결 상태가 그 기준을 이루고 있을 뿐이다.

AI도 똑같다. AI의 "기준"은 수많은 숫자(가중치, weight)로 되어 있다.

#2-2. 신경망의 구조

#입력층 → 은닉층 → 출력층

신경망은 여러 개의 층(layer)으로 되어 있다.

flowchart LR
    subgraph 입력["입력층"]
        I1((●))
        I2((●))
        I3((●))
        I4((●))
    end
    subgraph 은닉["은닉층"]
        H1((●))
        H2((●))
        H3((●))
    end
    subgraph 출력["출력층"]
        O1((●)) --> R1[고양이]
        O2((●)) --> R2[강아지]
        O3((●)) --> R3[새]
    end
    I1 --> H1 & H2 & H3
    I2 --> H1 & H2 & H3
    I3 --> H1 & H2 & H3
    I4 --> H1 & H2 & H3
    H1 --> O1 & O2 & O3
    H2 --> O1 & O2 & O3
    H3 --> O1 & O2 & O3

• 입력층: 외부에서 데이터가 들어오는 곳 (사진의 픽셀, 단어의 숫자 등)

• 은닉층: 입력의 "특징"을 추출하는 곳 (눈에 안 보이지만 핵심)

• 출력층: 최종 답을 내놓는 곳 (분류 결과, 다음 단어 예측 등)

각 동그라미(●)가 뉴런 1개, 각 선이 가중치(연결의 세기)다. 학습은 이 선들의 굵기를 조정하는 일이다.

#비유: 회사의 채용 면접 단계

#뉴런 하나의 작동

뉴런 하나가 어떻게 동작하는지 보자. 무서워 보이지만 본질은 곱셈과 덧셈, 그리고 발사 결정이 전부다.

입력 1: x1 ── × w1 ─┐
입력 2: x2 ── × w2 ─┼─→ 합산 ─→ [활성화 함수] ─→ 출력
입력 3: x3 ── × w3 ─┘

합 = (x1 × w1) + (x2 × w2) + (x3 × w3) + 편향 b

1. 각 입력(x)에 가중치(w)를 곱한다

2. 모두 더한다 (+ 편향이라는 보정값)

3. 활성화 함수를 통과시켜 최종 출력을 낸다

그게 전부다. 이 단순한 계산이 수억 번 반복돼 거대한 신경망이 된다.

#활성화 함수 — 뉴런의 "성격"

활성화 함수는 "이 값이 들어왔을 때 뉴런이 얼마나 강하게 반응할지"를 결정한다.

#2-3. 학습은 어떻게 일어나는가 — 4단계 사이클

이제 모든 부품을 다 봤다. 이걸 조립해서 AI가 실제로 "학습"하는 4단계 사이클을 본다.

flowchart LR
    F["① 순전파<br/>Forward<br/>(답을 낸다)"] --> L["② 손실 계산<br/>Loss<br/>(얼마나 틀렸나)"]
    L --> B["③ 역전파<br/>Backward<br/>(누가 잘못했나)"]
    B --> U["④ 업데이트<br/>Update<br/>(가중치 고치기)"]
    U -->|반복| F
    style F fill:#e3f2fd,stroke:#1e88e5
    style L fill:#fff3e0,stroke:#fb8c00
    style B fill:#f3e5f5,stroke:#8e24aa
    style U fill:#e8f5e9,stroke:#43a047

한 장면에 모두 담은 그림 — 신호는 →, 오차는 ←

같은 신경망 위로 초록(순전파)은 왼→오른, 빨강(역전파)은 오른→왼으로 흐른다

#1단계: 순전파 — "답을 내본다"

AI에게 데이터를 하나 보여준다. 예: 고양이 사진. AI는 입력층 → 은닉층 → 출력층을 거치며 자기 안의 가중치를 써서 답을 계산한다.

이렇게 입력에서 출력 방향으로 계산이 흘러가는 것을 순전파(Forward Propagation)라고 한다. "앞으로 흐른다"는 뜻.

#2단계: 손실 계산 — "얼마나 틀렸는지 잰다"

AI의 답이 "강아지"였는데 정답은 "고양이"였다. 틀렸다. 그럼 얼마나 틀렸는지 숫자로 표현해야 한다. 이 "틀린 정도"를 손실(Loss)이라고 부른다.

손실을 재는 방식이 여럿 있다.

• MSE (평균 제곱 오차): 집값 예측처럼 숫자를 맞추는 문제

• 크로스 엔트로피: 고양이/강아지처럼 분류하는 문제

#3단계: 역전파 — "누가 얼마나 잘못했는지 따진다"

손실이 나왔다. 예를 들어 손실이 7이라고 하자. 이 7이라는 책임을 어떻게 가중치들에게 분배할 것인가가 문제다.

Part 1에서 봤듯 출력층 → 입력층 방향으로 거꾸로 따라가면서 "이 가중치가 손실에 얼마나 기여했나"를 수학적으로 계산하는 게 역전파다.

#4단계: 가중치 업데이트 — "조금씩 고친다"

각 가중치에 "이만큼 잘못했으니 이만큼 고쳐"라는 신호가 나왔다. 그 신호대로 조금씩 가중치를 조정한다. 이걸 경사 하강법(Gradient Descent)이라고 부른다.

발 밑 기울기를 따라 한 걸음씩 내려간다 — 시작점(빨강) → 중간 단계(주황) → 최저점(초록)

#그리고 이걸 수만 번 반복

한 번의 사이클(순전파 → 손실 → 역전파 → 업데이트)은 가중치를 아주 조금만 바꾼다. 그래서 학습 데이터 전체를 수십~수백 번 반복해서 보여준다. 이렇게 데이터 전체를 한 바퀴 다 돌리는 1회를 에포크(Epoch)라고 부른다.

#정리

• AI의 학습 = 숫자(가중치)를 조금씩 조정하는 일의 반복

• 신경망은 입력층 → 은닉층 → 출력층의 구조

• 학습은 순전파 → 손실 → 역전파 → 업데이트의 4단계 사이클

• 핵심 알고리즘: 경사 하강법 — "발 밑의 기울기를 따라 가장 낮은 골짜기로"

다음 장에서는 이런 원리로 만들어진 ChatGPT, Claude, Gemini가 서로 어떻게 다른지 본다.