AI 신경망의 뉴런은 생각보다 읽기 쉬울까? Goodfire의 새 가설

AI가 왜 어떤 답을 내놓았는지 알아보려면 신경망 안의 작은 계산 단위를 살펴야 합니다. 그런데 한 뉴런이 서로 관계없어 보이는 것들에 함께 반응하면 설명이 어려워집니다. 2026년 10월 15일 Goodfire의 닉 카마라타는 이런 ‘뒤섞임’ 가운데 상당수가 실제 구조보다 관찰 방법의 문제였을 수 있다는 연구 에세이를 발표했습니다. 제목은 도발적이지만, 저자 스스로 이를 확정된 결론이 아닌 작업 가설로 소개합니다.

왜 한 뉴런이 여러 뜻을 갖는다고 생각했을까

뉴런은 입력을 받아 숫자로 반응하고 다음 계산에 영향을 주는 구성 요소입니다. 어떤 뉴런이 고양이 얼굴에도, 자동차 앞모습에도 강하게 반응한다면 ‘고양이 뉴런’이나 ‘자동차 뉴런’ 하나로 부르기 어렵습니다. 이렇게 여러 의미에 반응하는 듯한 현상을 다의성이라고 합니다.

기존의 중요한 설명 중 하나는 ‘중첩’입니다. 모델이 표현해야 할 특징은 많고 공간은 부족해서, 서로 관련 없는 특징을 같은 계산 공간에 겹쳐 담는다는 생각입니다. 이 관점에서는 원래 뉴런만 보아서는 의미를 찾기 어렵고, 희소 오토인코더 같은 별도 도구로 특징을 분해해 살펴볼 이유가 생깁니다. 실제로 Anthropic의 2022년 장난감 모델 연구는 단순화한 신경망에서 중첩이 일어날 수 있음을 보였습니다. 다만 그 결과를 모든 실제 대형 모델의 모든 뉴런에 그대로 적용할 수는 없습니다.

고양이와 자동차의 공통점이 ‘V자’라면

카마라타가 다시 살핀 유명한 사례는 이미지 모델 InceptionV1의 뉴런입니다. 과거에는 고양이 얼굴과 자동차 앞모습이라는 무관한 두 대상을 한꺼번에 감지하는 것처럼 보였습니다. 저자는 뉴런의 입력과 연결된 회로, 반대로 반응을 낮추는 형태까지 살펴본 뒤 두 대상에서 공통으로 나타나는 뾰족한 V자 패턴을 더 나은 설명으로 제시합니다. 여우의 주둥이와 불꽃 같은 다른 사례에도 같은 패턴이 보인다는 것입니다.

이 차이는 중요합니다. ‘무관한 두 개념을 억지로 접어 넣었다’면 뉴런의 묶음 방식 자체에서 배울 것이 적습니다. 반면 ‘비슷한 모양을 일반화했다’면 왜 서로 다른 대상이 같은 뉴런을 자극하는지 시험할 수 있습니다. 저자는 이를 관련된 특징이 가지처럼 확장되는 ‘재귀적 일반화’로 설명합니다. 다만 이 해석이 모든 다의성 사례의 원인이라는 뜻은 아닙니다.

옛 이미지 모델과 최신 언어 모델에서 본 변화

원문은 초기 이미지 모델의 깊은 층이 이해하기 어려웠던 이유로 모델 구조와 시각화 도구의 한계를 함께 지목합니다. 저자가 구조와 관찰 방법을 개선해 다시 학습한 특정 모델에서는 마지막 층 뉴런의 99~100%를 쉽게 해석할 수 있었다고 보고합니다. 이는 원래 모델을 그대로 두고 갑자기 모든 뉴런을 이해했다는 의미가 아니라, 비교 조건을 바꾼 실험 결과입니다.

언어 모델에 대해서는 Qwen3-32B를 대상으로 한 예비 조사에서 뉴런의 반응 방향 가운데 약 90%가 주된 역할 하나를 보였고, 약 7%는 관련된 역할 두 개, 약 2~4%는 아직 이해되지 않았다고 추정합니다. ‘뉴런의 반응 방향’을 센 값이므로 이를 곧바로 ‘전체 뉴런의 90%를 완전히 이해했다’로 바꾸어 말하면 안 됩니다. 저자도 무엇을 하나의 역할로 묶느냐에 따라 비율이 달라진다고 설명합니다. 수조 개 매개변수 규모 모델에 대한 언급은 있으나, 자세한 기술 보고서는 후속 논문으로 예고돼 있습니다.

‘읽기 쉬워졌다’와 ‘안전하다’는 다른 말

이 글의 핵심은 특정 모델과 관찰 방법에서 뉴런과 회로를 직접 연구할 여지가 예상보다 크다는 주장입니다. AI의 내부를 모두 해명했거나, 잘못된 답과 위험한 행동의 원인을 이미 찾았다는 발표가 아닙니다. 일부 뉴런에 설명을 붙이는 것과 실제 서비스에서 나타나는 복잡한 행동을 예측하고 통제하는 일 사이에는 큰 간격이 남아 있습니다.

또한 중첩 연구 자체가 무효가 된 것도 아닙니다. 단순화한 모델에서는 중첩이 관찰됐고, 희소 오토인코더가 유용한 분석 도구일 수도 있습니다. 이번 에세이가 다시 묻는 것은 ‘실제 모델을 연구할 때 언제 원래 뉴런을 먼저 볼지, 언제 분해 도구가 필요한지’입니다. 서로 다른 모델과 조건에서 재현되는지, 다른 연구자가 같은 설명을 얻는지가 앞으로 중요합니다.

일반 독자가 이 연구를 읽을 때 볼 세 가지

1. 범위: 어떤 모델과 층을 조사했고, 숫자의 분모가 뉴런인지 반응 방향인지 확인합니다.
2. 방법: 단순히 보기 좋은 그림인지, 실제 입력·연결·출력에 대해 설명을 깨뜨릴 수 있는 검사를 했는지 살핍니다.
3. 상태: 예비 조사와 후속 논문을 기다리는 가설인지, 독립적인 재현까지 끝난 결과인지 구분합니다.

카마라타의 제안은 신경망을 먼저 ‘풀어야 할 매듭’으로만 보지 말고, 원래 회로에서 질문을 세워 검증해 보자는 것입니다. 흥미로운 방향이지만, 대형 AI의 작동 원리를 거의 다 밝혔다는 결론으로 받아들이기에는 아직 이릅니다.

참고 자료

• Nick Cammarata, “Neural Networks Are Already Clean”, Goodfire, 2026년 10월 15일 — 이번 글에서 소개한 작업 가설과 관찰 결과의 원문
• Elhage 외, “Toy Models of Superposition”, Transformer Circuits, 2022년 — 단순화한 모델에서 중첩을 연구한 원문

자료 확인일: 2026년 10월 16일. 이 글은 공개 자료를 바탕으로 한 해설이며, 파크골프맵이 신경망 실험을 직접 수행한 결과가 아닙니다.