인공지능과 뇌과학이 만나는 곳: 서로에게 영감을 주는 두 분야

인공지능(AI)과 뇌과학은 태생적으로 얽혀 있는 분야다. 최초의 인공 신경망은 뇌의 뉴런 작동 방식에서 영감을 받았고, 역으로 현대 AI의 발전은 뇌를 이해하는 새로운 도구와 프레임워크를 제공하고 있다. 두 분야의 교차점에서 어떤 일이 벌어지고 있는지 살펴보자.

뇌에서 AI로: 신경과학이 준 영감

data analysis and scientific research dashboard

합성곱 신경망과 시각 피질

딥러닝의 핵심 아키텍처인 **합성곱 신경망(CNN)**은 1960년대 데이비드 허벨(David Hubel)과 토르스텐 비젤(Torsten Wiesel)의 시각 피질 연구에 뿌리를 둔다. 그들은 고양이의 시각 피질에서 단순한 선분이나 모서리에 반응하는 세포(단순 세포)와 더 복잡한 패턴에 반응하는 세포(복잡 세포)가 계층적으로 조직되어 있다는 것을 발견했다. 이 계층적 특징 추출 원리가 CNN의 설계에 직접 반영되었다.

강화학습과 도파민

현대 강화학습의 핵심 알고리즘인 **시간차 학습(temporal difference learning)**은 앞서 소개한 도파민 뉴런의 보상 예측 오차 신호와 놀라울 정도로 유사하다. 실제로 1997년 슐츠 등은 TD 학습의 오차 신호와 중뇌 도파민 뉴런의 발화 패턴이 수학적으로 동일하다는 것을 보여주었다. AlphaGo를 만든 DeepMind는 이 연결에서 직접적인 영감을 받았다.

주의 메커니즘

현재 대규모 언어모델(LLM)의 기반이 되는 트랜스포머 아키텍처의 핵심인 '주의(attention) 메커니즘'도 뇌의 선택적 주의에서 착안된 개념이다. 뇌가 관련 있는 정보에 자원을 집중하고 나머지를 억제하는 방식은 트랜스포머가 입력 토큰 간의 관련성에 가중치를 부여하는 방식과 기능적으로 유사하다.

AI에서 뇌로: 뇌를 이해하는 새로운 도구

심층 신경망과 뇌 표상의 비교

MIT의 제임스 디카를로(James DiCarlo) 연구팀은 심층 CNN의 각 층에서 형성되는 내부 표상이 영장류 시각 피질의 계층적 처리 단계(V1→V2→V4→IT)의 신경 반응 패턴과 놀랍도록 유사하다는 것을 발견했다. 이는 심층 신경망이 단순한 공학적 도구를 넘어 뇌가 정보를 처리하는 원리를 이해하기 위한 계산 모델로 기능할 수 있음을 시사한다.

대규모 언어모델과 언어 처리

최근 연구들은 GPT 같은 대규모 언어모델의 내부 활성화 패턴이 인간이 언어를 처리할 때의 fMRI 뇌 활성화 패턴을 놀라울 정도로 잘 예측한다는 것을 보여주고 있다. 알렉산더 허스(Alexander Huth) 연구팀의 2023년 연구는 LLM 활성화 패턴으로 fMRI 데이터로부터 피험자가 듣고 있던 이야기의 의미를 상당 부분 재구성하는 데 성공했다.

뇌 영상 데이터 분석

실용적 측면에서 딥러닝은 뇌 영상 데이터 분석의 패러다임을 바꾸고 있다:

뇌 MRI에서 종양, 병변, 위축 패턴의 자동 검출 및 분류
fMRI 데이터에서 정신 상태 디코딩
EEG 데이터에서 간질파 자동 검출
확산 텐서 영상(DTI)에서 신경 경로 추적

차이와 간극

유사성에도 불구하고, 현재의 AI와 생물학적 뇌 사이에는 근본적인 차이가 존재한다.

에너지 효율: 인간 뇌는 약 20와트로 작동하지만, GPT-4 수준의 LLM 훈련에는 수 메가와트의 에너지가 소모된다.
학습 효율: 인간은 몇 가지 예시만으로 새로운 개념을 학습하지만(few-shot learning), 대부분의 AI 시스템은 방대한 데이터를 필요로 한다.
연속 학습: 뇌는 이전 지식을 유지하면서 새로운 것을 학습하지만, 인공 신경망은 새로운 과제 학습 시 이전 학습을 잊는 '재앙적 망각(catastrophic forgetting)' 문제를 겪는다.
구현 방식: 뇌는 아날로그 신호, 화학적 신호전달, 연속적 시간 동역학을 사용하며, 구조와 기능이 불가분하게 얽혀 있다.

AI와 뇌과학의 대화는 이제 시작이다. 두 분야의 교차 연구는 더 효율적이고 강건한 AI를 만드는 동시에, 인간 지능의 본질을 더 깊이 이해하는 데 기여할 것이다. 어쩌면 궁극적으로 이 두 여정은 같은 질문—지능이란 무엇인가—을 향해 수렴하고 있는 것일지도 모른다.

🔗 관련 읽을거리

관련 사이트 추천 글:

참고 자료 (외부 링크):

Nature - AI in Neuroscience