• 목록

앤트로픽의 최신 대형언어모델(LLM) '클로드 3'가 멘사의 IQ 테스트 결과 101을 기록한 것으로 알려졌다. 이는 인공지능(AI) 모델 중 최고이자 첫 100점 돌파 기록으로, '챗GPT'의 85를 앞지른 결과다.

리포터이자 TV 프로듀서, 기술 블로그 운영자인 맥심 토르는 최근 멘사의 IQ 테스트 측정 테스트를 통해 잘 알려진 LLM 11종을 테스트한 결과, 클로드 3가 최고점을 받았다고 소개했다.

이에 따르면 로트는 AI 모델이 도형 등을 읽는 데 문제가 있다는 점을 감안, 테스트 문항 35개를 모두 말로 설명하는 형태로 변환해 테스트를 진행했다. 즉 시각장애인이 설명만 듣고도 문제를 정확하게 그려낼 정도의 수준으로 풀이했다는 설명이다.

LLM의 대답이 번번이 달라진다는 점도 감안, 정확도를 높이기 위해 2번씩 테스트를 진행했다고 전했다. 

그 결과 GPT-4는 35개 질문 중 평균 13번 정답을 맞혔고, IQ 추정치는 85인 것으로 나타났다.

또 클로드 3는 101점으로, 앤트로픽이 "GPT-4 성능과 동급이거나 일부에서는 더 앞선다"고 밝힌 바와 같은 결과가 나왔다고 전했다.

멘사 테스트에서는 85점 미만의 점수를 표시하지 않지만, 무작위 추측이 63.5점이며 질문당 3점 정도의 가산이 있다는 것을 감안해 전체 모델의 IQ 추정치를 계산했다.

클로드 3와 GPT-4에 이어 3위(IQ 82)를 차지한 것은 의외로 '클로드 2'였다. GPT-4 기반의 코파일럿이 4위(IQ 79)였으며, 구글이 자랑했던 '제미나이 프로'는 IQ 77.5로 5위에 그쳤다. 더 뛰어난 성능이라는 '제미나이 울트라'는 그보다 뒤진 6위(IQ 76)였다.

일론 머스크가 오픈AI를 따라잡겠다며 출시한 '그록'은 7위(IQ 68.5), 오픈 소스 모델인 메타의 '라마 2'가 IQ 67로 뒤를 이었다. 

토르는 "이 순위를 매긴 것은 정확한 방법이 아닐 수 있지만, 무척 매력적이기 때문"이라며 "가장 생산적인 AI가 무엇인지 파악하는 것은 물론, AI의 실존적 위험에 대해 생각할 단서를 제공한다"라고 말했다.

그는 ▲IQ 64를 기록한 첫 클로드 버전은 2023년 3월1일 출시됐으며 ▲IQ 82인 클로드 2는 2023년 7월(제작기간 4개월) ▲IQ 101인 클로드 3는 2024년 3월 출시(제작기간 8개월)됐다는 점에 주목했다.

그동안 추이를 단순 적용하면 후속 모델인 '클로드 4'는 12~16개월 안에 출시, 멘사 테스트에서 25개를 맞춰 IQ 120을 기록할 것으로 봤다. 이후 16~32개월 후에는 '클로드 5'가 IQ 140을, 또 20~64개월이 지난 뒤 등장할 '클로드 6'는 멘사 테스트 모든 문제를 맞히는 등 거의 모든 인간보다 똑똑해질 것으로 봤다.

즉 4~10년 뒤에는 AI가 인간 지능을 모두 뛰어넘을 것이라는 예측이다.

로트는 물론 AI가 규제나 에너지 문제 등으로 발전이 중단될 수도 있지만, 과거 반도체를 지배했던 '무어의 법칙'과 같이 당분간 AI의 발전을 반영할 수도 있다고 봤다.

이 내용은 지난주 클로드 3가 자신을 테스트한다는 것을 알아차렸다는 소식과 겹쳐, 인공일반지능(AGI)에 대한 많은 논쟁을 유발했다.

이에 대해 벤처비트는 10일(현지시간) 전문가들의 말을 인용, 클로드 3나 GPT-4와 같은 LLM의 발전이 눈부시게 빠르지만 LLM만으로는 AGI에 도달하기 어렵다는 의견을 소개했다.

개리 마커스 AI 전문가는 "AGI는 인간 지능과 비슷하거나 그 이상인 지략과 신뢰성을 갖춘 유연하고 일반적인 모든 지능에 대한 약칭"이라며 "현재 LLM 시스템의 환각이 존재하는 한, AGI의 자격이 없는 것으로 봐야 한다"라고 말했다.

상당수 전문가는 LLM만으로는 충분하지 않을 가능성이 높으며 적어도 하나 이상의 획기적인 발견이 필요할 수 있다고 지적했다. 페드로 도밍고스 워싱턴대학교 명예교수는 "어떤 단일 알고리즘이나 AI 모델도 AGI를 이끌 수 없다"라며 "다양한 AI 양식을 결합한 연결된 알고리즘 모음이 AGI로 이어지는 단서가 될 수 있다"라고 설명했다.

장병탁 서울대 교수가 주장하는 '몸을 가진 AI'도 비슷한 이론이다. 세상을 이해하는 것은 언어로 만은 불가능하며, AI가 물리적 현실을 경험하는 것이 AGI로 향하는 방법 중 하나라는 논리다.

그러나 이번 IQ 테스트에서 시사된 점 중 많은 전문가 의견과 일치하는 것도 있다.

이는 AGI가 만약 등장한다면, 그 시기를 빠르면 4~5년 뒤 정도로 본다는 점이다. 가장 최근에는 젠슨 황 엔비디아 CEO가 지난 주말 5년 내로 AGI가 등장할 것으로 예측했다.