Part 1. AI는 어떻게 여기까지 왔나

퍼셉트론에서 ChatGPT까지의 70년 역사

ChatGPT는 어느 날 갑자기 하늘에서 떨어진 기술이 아니다. 1950년 앨런 튜링의 한 가지 질문에서 시작해, 두 번의 좌절(AI 겨울)을 거쳐 오늘에 이르렀다. 이 장에서는 그 70년의 흐름을 따라간다.

#1-1. "기계가 생각할 수 있을까?" — 모든 것의 시작

#앨런 튜링이라는 사람

1950년대 영국, 제2차 세계대전이 끝난 직후. 한 수학자가 사람들이 한 번도 진지하게 생각해보지 않은 질문을 던진다.

1950년의 질문

"기계가 생각할 수 있을까?"
— Alan Turing, Computing Machinery and Intelligence

이 질문을 던진 사람이 앨런 튜링(Alan Turing)이다. 단순한 수학자가 아니라, 전쟁 중에 독일의 암호 기계 "에니그마"를 풀어내 수많은 연합군의 목숨을 살린 영웅이었다. 영화 이미테이션 게임의 주인공이기도 하다.

#튜링 테스트

튜링은 "기계가 생각하는가?"라는 추상적인 질문을 구체적인 테스트로 바꿔야 한다고 봤다. 그래서 이런 게임을 제안했다.

flowchart LR
    U["🧑 당신<br/>(채팅으로 대화)"]
    A["🚪 Room A<br/>👤 또는 🤖?"]
    B["🚪 Room B<br/>👤 또는 🤖?"]
    U <--> A
    U <--> B
    style A fill:#e3f2fd,stroke:#1e88e5
    style B fill:#fce4ec,stroke:#d81b60

방 두 개가 있다. 한 방에는 사람, 다른 방에는 컴퓨터가 있다. 당신은 두 방과 채팅으로 대화한다. 5분간 대화한 뒤, 어느 쪽이 사람이고 어느 쪽이 기계인지 맞춰야 한다.

#1956년, AI라는 학문이 태어나다

1956년 여름, 미국 동부 다트머스 대학에 젊은 천재 과학자 10명이 모였다. 두 달간의 워크숍이었다. 이 자리에서 존 매카시(John McCarthy)라는 학자가 이렇게 말한다.

다트머스 워크숍

"우리가 만들려는 이걸 뭐라고 부를까요? Artificial Intelligence — 인공지능이라고 합시다."

이 회의가 AI라는 학문이 공식적으로 태어난 순간이다. 그들은 자신만만했다. "앞으로 10년이면 사람만큼 똑똑한 기계를 만들 수 있을 거야!"

결과는? 70년이 지난 지금도 "사람만큼 똑똑한 기계"는 만들지 못했다. 하지만 그 출발이 이렇게 자신만만했다는 점이 중요하다. 이 과장이 곧 첫 번째 좌절의 씨앗이 된다.

#1-2. 퍼셉트론 — 인공 뇌세포의 탄생

#뇌는 어떻게 생각하는가?

AI를 만들려면 먼저 "뇌는 어떻게 작동하는가?"를 알아야 한다. 1957년의 과학자들은 이렇게 생각했다.

사람 뇌에는 뉴런(neuron, 신경세포)이 약 860억 개나 있다. 뉴런 하나는 별로 똑똑하지 않다. 다른 뉴런에서 신호를 받아 합치고, 일정 수준이 넘으면 다음 뉴런에게 신호를 보내는 단순한 일만 한다. 그런데 이 단순한 뉴런들이 860억 개 연결되면 글을 읽고, 음악을 듣고, 사랑에 빠지는 일까지 가능해진다.

🧠 진짜 뉴런 한 개의 작동

여러 신호를 받아 → 합치고 → 일정 기준 넘으면 → 다음 뉴런으로 발사

들어온 신호를 모두 합쳐서 일정 기준(임계값)을 넘으면 다음 뉴런에게 신호를 보내고, 안 넘으면 가만히 있는다. 그게 전부다.

#프랭크 로젠블랫과 퍼셉트론

1957년, 코넬 대학의 심리학자 프랭크 로젠블랫(Frank Rosenblatt)은 이렇게 생각했다.

"뉴런 하나가 그렇게 단순하다면, 컴퓨터로 흉내 낼 수 있지 않을까?"

그래서 그는 퍼셉트론(Perceptron)이라는 것을 만든다. "인공 뉴런"이다. 그리고 이 인공 뉴런에게 이미지를 보여주면서 "이건 동그라미야", "이건 네모야"라고 가르치기 시작한다.

🤖 인공 뉴런(퍼셉트론) — 진짜 뉴런을 수학으로 옮긴 것

입력(x) × 가중치(w) → 합산 Σ → 활성화 함수 → 출력 y

진짜 뉴런과 비교해보면 부품이 일대일로 대응된다.

즉 퍼셉트론은 뇌세포 한 개를 수학으로 옮긴 모델이다. 친구 셋의 신뢰도를 다듬어가며 결정을 내리듯, 퍼셉트론은 w 값들을 조정하며 답을 맞춰간다.

놀랍게도, 퍼셉트론은 정말로 학습했다. 처음에는 틀리던 것이 시간이 지나면서 정확하게 동그라미와 네모를 구별하게 된 것이다.

당시 뉴욕 타임스, 1958

「해군이 새로운 발명품을 공개하다 — 걷고, 말하고, 보고, 쓰고, 자기 자신을 복제하고, 자기 존재를 의식할 수 있는 전자 두뇌의 태아」

"The Navy revealed the embryo of an electronic computer today that it expects will be able to walk, talk, see, write, reproduce itself and be conscious of its existence." — The New York Times, July 8, 1958

조금 과장이 심하다. 이게 첫 번째 "AI 거품"의 시작이었다.

#퍼셉트론은 어떻게 "배우는가"

퍼셉트론의 학습 원리는 의외로 간단하다. 투표 시스템을 생각해보면 된다.

flowchart LR
    A["👤 친구 A<br/>추천: 1"]
    B["👤 친구 B<br/>추천: 1"]
    C["👤 친구 C<br/>비추천: 0"]
    S(("Σ<br/>0.8"))
    T{"≥ 0.7?"}
    Y["🎬 본다!"]
    N["🚫 안 본다"]
    A -- "w=0.3" --> S
    B -- "w=0.5" --> S
    C -- "w=0.8" --> S
    S --> T
    T -- "Yes" --> Y
    T -- "No" --> N
    style A fill:#e3f2fd,stroke:#1e88e5
    style B fill:#e3f2fd,stroke:#1e88e5
    style C fill:#e3f2fd,stroke:#1e88e5
    style S fill:#fff9c4,stroke:#fbc02d
    style T fill:#f3e5f5,stroke:#8e24aa
    style Y fill:#c8e6c9,stroke:#388e3c
    style N fill:#ffcdd2,stroke:#c62828

퍼셉트론이 하는 일이 바로 이거다. 입력값마다 가중치(신뢰도)가 있고, 결과가 틀리면 가중치를 조정한다. 이 단순한 원리가 70년 후 ChatGPT까지 이어진다.

#1-3. 첫 번째 AI 겨울 — XOR 문제와 좌절

#마빈 민스키의 책 한 권

퍼셉트론에 모두가 흥분하던 1969년, MIT의 마빈 민스키(Marvin Minsky)가 책 한 권을 출간한다. 제목은 그냥 Perceptrons. 이 책 한 권이 AI 분야에 거의 사형 선고를 내린다.

민스키가 증명한 것은 충격적이게도 단순했다. "퍼셉트론은 이렇게 단순한 문제도 풀 수 없다". 그 단순한 문제가 바로 XOR 문제다.

#XOR이 뭐길래?

XOR은 "배타적 논리합"인데, 일상 언어로 바꾸면 "둘 중 정확히 하나만 1일 때 OK"라는 뜻이다.

AND와 OR은 퍼셉트론이 잘 푼다. 그런데 XOR은? "둘 다 1이면 결과가 0", "정확히 하나만 1일 때만 결과가 1"이다.

[⚪둘 다 안 누름] = 꺼짐       [⚫B만 누름] = 💡켜짐
[⚫A만 누름]    = 💡켜짐       [⚫둘 다 누름] = 꺼짐

#그림으로 보는 차이 — 직선으로 가를 수 있는가?

세 가지 경우를 그래프에 점으로 찍어보자. ● = 결과가 1(켜짐), ○ = 결과가 0(꺼짐). 퍼셉트론의 일은 ● 와 ○ 를 직선 하나로 가르는 것이다.

XOR에서는 ● 두 개가 대각선 위치에 있다. 빨간 점선들은 직선으로 분리를 시도한 흔적인데, 어떻게 그어도 반드시 ○ 가 같은 편에 끼어 들어온다.

퍼셉트론은 본질적으로 "직선 하나"로 답을 가르는 도구다. XOR은 직선 하나로 가를 수 없다. 그래서 못 푼다는 게 민스키의 증명이었다.

#찾아온 빙하기

민스키의 책이 출간되자 분위기가 완전히 바뀐다.

하지만 흥미로운 점이 있다. 사실 민스키 자신도 책 안에서 "퍼셉트론을 여러 층으로 쌓으면 풀 수 있다"고 살짝 언급했다. 다만 "여러 층을 어떻게 학습시킬지는 모르겠다"고 덧붙였을 뿐. 그 방법이 17년 뒤 등장한다.

#1-4. 역전파 — 다층 신경망의 부활

#1986년, 한 편의 논문이 AI를 살리다

1969년부터 약 17년이 흐른 1986년, 제프리 힌튼(Geoffrey Hinton), 데이비드 루멜하트, 로널드 윌리엄스 세 사람이 논문 한 편을 발표한다.

AI를 부활시킨 논문, 1986

"Learning representations by back-propagating errors"

이 논문이 역전파(Backpropagation)라는 학습 방법을 제안한다. 그리고 이 한 편의 논문이 AI를 다시 살려낸다.

#한 층 vs 여러 층

퍼셉트론은 한 층짜리였다. 입력이 들어오고 곧장 출력이 나온다. 이걸 여러 층으로 쌓으면 어떻게 될까?

flowchart LR
    subgraph 한층["한 층 퍼셉트론 — 직선만 가능"]
        I1[입력] --> N1((뉴런)) --> O1[출력]
    end

flowchart LR
    subgraph 다층["다층 신경망 — 곡선·복잡한 경계 OK"]
        I2[입력] --> H1((●)) --> H2((●)) --> O2[출력]
        I2 --> H3((●)) --> H4((●)) --> O2
        I2 --> H5((●)) --> H6((●)) --> O2
    end

여러 층을 쌓으면 "여러 개의 직선"을 조합해 곡선이나 복잡한 경계도 만들 수 있다. XOR도 풀 수 있게 된다.

여러 층을 거치면 복잡한 경계를 만들 수 있다. 위 그림처럼 대각선에 떨어진 ● 두 개를 각각 따로 감싸면 XOR도 깔끔하게 분리된다 — 한 줄로는 불가능하지만 여러 층이 협력하면 가능하다.

#문제는 "어떻게 학습시키느냐"

여러 층을 쌓으면 강력해진다는 건 알았는데, 문제가 있었다. 어떻게 가르치느냐다.

한 층은 간단했다. "결과가 틀렸으니 이 뉴런의 가중치를 조금 바꾼다" — 끝. 그런데 여러 층이면? 결과가 틀렸을 때 어느 층의 어느 뉴런이 잘못한 것인지 알 수가 없다.

역전파는 정확히 이걸 한다. 최종 결과의 오차를 보고, 출력층 → 은닉층 → 입력층 순서로 거꾸로 따라가면서 각 뉴런의 책임을 수학적으로 계산해 가중치를 조정한다.

그래서 이름이 "역(逆)전파"다. 신호는 입력 → 출력 방향으로 가지만, 오차는 출력 → 입력 방향으로 거꾸로 전파된다.

#1-5. 두 번째 AI 겨울 — 깊이의 저주

#"더 깊게 쌓으면 더 좋겠지?"

역전파로 다시 활기를 띈 AI 연구. 사람들은 자연스럽게 생각했다. "층을 2개 쌓으니 좋아졌으니, 10개, 20개로 더 깊게 쌓으면 훨씬 좋겠지!"

그런데 막상 해보니 이상한 일이 벌어졌다. 층을 많이 쌓을수록 오히려 학습이 잘 안 됐다. 왜일까?

#경사 소실 문제 (Vanishing Gradient)

역전파는 "오차를 거꾸로 전파"한다. 그런데 거꾸로 전파될 때마다 신호가 조금씩 약해진다. 출력에 가까운 층은 강한 신호를 받지만, 입력에 가까운 층은 거의 0에 가까운 신호를 받는다.

이걸 경사 소실 문제(Vanishing Gradient Problem)라고 부른다. 쉽게 말해 "신호가 약해져서 학습이 멈춘다"는 의미.

오차 신호가 거꾸로 전파될수록 약해진다

입력층(왼쪽)으로 갈수록 신호가 거의 0 → 처음 몇 층은 사실상 학습이 멈춘다.

#두 번째 침체기

1990년대 중반, 사람들은 다시 실망한다. "깊은 신경망은 안 되는구나." 게다가 SVM(서포트 벡터 머신), 결정 트리 같은 다른 머신러닝 기법들이 "더 빠르고 더 정확하다"는 평가를 받았다.

신경망 연구자들은 외로운 시간을 보낸다. 학회에 가도 발표 거절당하기 일쑤였고, 자금도 받기 어려웠다. 제프리 힌튼 같은 핵심 연구자들도 어렵게 연구를 이어가야 했다.

#1-6. 딥러닝의 부활 — 모든 것이 바뀌다

#2006년, 한 줄기 빛

2006년, 토론토 대학의 제프리 힌튼이 다시 한 번 새로운 방법을 발표한다. 깊은 신경망을 층마다 따로 미리 학습시키는 "사전학습" 기법이었다.

이때 "이걸 뭐라고 부르지?" 고민하다가 딥러닝(Deep Learning)이라는 용어를 사용하기 시작했다. 처음에는 큰 반향이 없었지만, 2012년 역사를 바꾸는 사건이 일어난다.

#2012년 ImageNet 대회 — AlexNet의 충격

매년 ImageNet 대회가 열렸다. 컴퓨터에게 약 120만 장의 사진을 보여주고 1000개 카테고리로 분류시키는 대회. 사람의 정확도는 약 95% 수준이었다.

• 2010~2011년 우승팀들: 전통적 컴퓨터 비전 기술, 정확도 약 72~74%

• 매년 1~2%p씩 정확도가 오르는 수준

그러다 2012년, 토론토 대학 박사과정 학생 알렉스 크리제프스키가 자기 이름을 딴 AlexNet을 들고 나왔다. 깊은 신경망(딥러닝) 모델이었다.

xychart-beta
    title "ImageNet 우승팀 정확도 추이 (%)"
    x-axis [2010, 2011, 2012-AlexNet, 2013, 2014, 2015-ResNet]
    y-axis "Top-1 정확도 (%)" 60 --> 100
    bar [72, 74, 85, 88, 93, 96]
    line [72, 74, 85, 88, 93, 96]

2010~2011년의 완만한 상승 → 2012년 AlexNet의 절벽 같은 점프 → 그 후 매년 빠른 상승. 이 한 해가 모든 것을 바꿨다.

AlexNet의 성공 비결은 세 가지:

1. 깊은 신경망 (CNN, 8개 층)

2. GPU 활용 — 게이밍용 그래픽 카드 2개로 학습

3. 대량의 데이터 — ImageNet의 120만 장 사진

이 순간부터 "AI는 끝났다"는 분위기는 "AI가 다시 시작됐다"로 바뀐다.

#그 후 10년, 폭발적 발전

timeline
    title 2012 AlexNet 이후 — 매년 패러다임이 바뀌다
    2014 : GAN 등장
         : AI가 이미지를 '생성'
    2015 : ResNet
         : 수백 층 신경망 가능
    2016 : AlphaGo
         : 이세돌 격파
    2017 : Transformer
         : 오늘날 모든 LLM의 기반
    2018 : BERT
         : 언어 이해 능력 폭발
    2020 : GPT-3
         : 사람 수준의 글쓰기
    2022 : ChatGPT 출시
         : AI 대중화 시작
    2023 : Claude·Gemini 폭발
         : 현재 진행형

다음 장에서는 이 신경망이 실제로 어떻게 "배우는가" — 학습 사이클의 4단계와 경사 하강법을 본다.