2번째 인공지능 - 인공지능의 겨울

인공지능의 겨울

● 인공지능은 지금까지 2번의 겨울이 있었습니다. 과연 3번째 겨울은 올까요?

● 그런데 말입니다. 첫 번째 인공지능의 겨울은 왜 왔을까요?

● 지난번 프랭크 로젠블랏이 인공신경망(=딥러닝)의 기원인 퍼셉트론(1958)을 제안했다 말씀드렸습니다..

● 마빈 민스키는 당시 대세였던 기호 주의의 대표주자였고, 퍼셉트론의 등장으로 인한 연결주의의 급부상을 경계했던 모양입니다.

● 그는 구성주의(constructionism)로 잘 알려진 시모어 페퍼트와 함께 퍼셉트론의 한계를 수학적으로 증명해냅니다.

● 퍼셉트론은 단순한 선형 분류기에 불과하며 간단한 XOR 분류조차 수행할 수 없다고 지적한 것이죠.

XOR문제

● 이 책으로 인해 인공신경망 연구는 진정한 아웃사이더가 됩니다. 연구비 지원이 모조리 끊기게 되죠.

● 로젠블랏은 1971년 43번째 생일날 보트 사고로 사망합니다. 어려움을 겪던 가운데 자살로 추정되는 비극적인 죽음이었습니다.

● 이후 민스키의 기호 주의로 관심과 지원이 옮겨갔지만, 이쪽도 한계가 드러나며 1차 인공지능의 겨울이 제대로 찾아오게 됩니다.

● 연결주의는 이 난관을 풀기 위해 꽤나 오랜 부침을 겪습니다. 양치기 소년이라는 오명과 함께요. 하지만 이 위기를 극복해내며 연결주의는 비선형의 문제를 다룰 줄 알게 되는 오늘날의 딥러닝에 한 발 더 다가갑니다.

● 이제 와서 로젠블랏이 잘못된 길을 선택했다 사람들은 말하지 않습니다. 그저 시행착오와 개선이 필요했을 뿐입니다.

● 오늘도 교실 한편에 빛도 보지 못한 여러 인생들의 가능성을 두고, 칼질 대신 여유와 미소로 대할 수 있었으면 좋겠습니다.

● 그저 시행착오와 개선이 필요한 것일 테니까요..

● 연결주의는 XOR을 어떻게 극복했을까요?

● 프랭크 로젠블랏의 단층 퍼셉트론은 선형 분류기였습니다. 이 분류기는 선 하나만 그을 수 있었던 것이죠.

● 그러니 XOR 문제에서 - 와 + 를 구분하는 것이 애초에 불가능했습니다.

 

or and xor 그림

● 그런데 이걸 어떻게 극복한 걸까요??

● 생각해봅시다. 만약 선을 2개를 긋는다면(..) 어떻게 될까요?

● 네, 그렇습니다. 선을 2개 긋는다면 해결이 됩니다. 선을 2개 그리려면 하나의 퍼셉트론으로는 불가능합니다.

● 네, 그림에서의 동그라미 즉, 노드인 퍼셉트론을 기본 소자로 하여 층층이 쌓아 병렬로 이어 만든 인공신경망이 필요합니다.

● 근데 인공신경망의 구조에 하나가 더 필요했습니다. 그것은 입력층과 출력층 사이에 은닉층을 추가하는 것이었습니다.

다중 퍼셉트론 사진

● 이러한 구조를 우리는 다층 퍼셉트론이라 합니다. 데이비드 럼멜 하트는 다층 퍼셉트론의 아이디어를 내어 XOR 문제를 마침내 해결해냅니다.

 

다중 퍼셉트론의 등장

● 퍼셉 트론즈 책이 1969년에 나왔고, 럼멜 하트의 PDP(병렬분산처리) 책이 1986년에 나왔으니 무려 17년이 걸렸군요.

● 이렇듯 딥러닝은 전체 구조를 어떻게 짜느냐가 중요합니다. 텐서 플로우나 케라스를 이용해 딥러닝 코드를 접하다 보면 신경망의 구조부터 짜는 것을 볼 수 있습니다.

● 딥러닝은 또 노드 간의 연결의 강도(=가중치)가 중요합니다. 기본 소자인 퍼셉트론은 예나 지금이나 달라진 것이 거의 없습니다. 이 연결의 강도(=가중치)를 업데이트해 나가는 과정을 '학습'이라고 합니다.

● 점점 머신러닝과 딥러닝의 '학습'이라는 것에 다가서고 있군요.

● 그런데 말입니다. XOR을 해결해 낸 다층 퍼셉트론으로 학습이 잘 안 되네요?!?! 이렇게 연결주의가 또 다른 위기에 봉착합니다.