2024.3.1 금 22:35
> 뉴스 > 국제
     
미 연구팀 챗GPT, '유추추론' 대학생 수준 수행
2023년 08월 01일 (화) 15:35:07 | 수정시간 : 2023-08-01 15:36:27 윤태균 press1@news-plus.co.kr

생성형 인공지능(AI) 챗봇 '챗GPT'(GPT-3)가 인간만의 고유 능력으로 여겨져 온 '유추 추론'(analogical reasoning)을 대학생 수준으로 할 수 있는 것으로 나타났다는 연구팀의 발표가 나왔다.

미국 캘리포니아대(UCLA) 테일러 웹 박사팀은 1일 과학저널 '네이처 인간 행동'(Nature Human Behaviour)에서 GPT-3가 지능검사와 SAT 같은 표준화된 시험에 사용되는 종류의 추론 문제를 대학 학부생과 비슷한 수준으로 풀 수 있는 것으로 나타났다고 밝혔다.

연구팀은 그러나 오픈AI사가 내부 작동 방식을 공개하지 않아 GPT-3가 방대한 데이터세트를 활용한 언어 훈련을 통해 인간의 추론을 모방하는 것인지, 근본적으로 새로운 종류의 인지 프로세스를 사용하는 것인지 알 수 없다고 밝혔다.

사람들은 접해보지 못한 새로운 문제를 만나면 이전의 익숙한 문제와 비교해 그 해결책을 새 문제에 적용, 특별한 훈련이나 연습 없이도 문제 해답을 찾는다.

'유추 추론'으로 알려진 이 과정은 오랫동안 인간 고유의 능력으로 여겨져 왔다.

연구팀은 지능검사와 SAT 같은 시험에서 일반적으로 사용되지만 GPT-3는 학습 과정에서 접해보지 못했을 형태의 다양한 유추 추론 문제를 개발하고 발굴해 테스트하고, 똑같은 문제를 UCLA 학부생 40명에게 풀게 했다.

평가에 사용된 문제는 레이븐 지능검사 도형 유추, 텍스트 기반 행렬 추론, 문자열 유추, 단어 유추, 스토리 유추 등으로 먼저 주어진 예시에서 패턴을 파악하고 다음 상황에 맞는 답을 찾는 문제였다.

실험 결과 GPT-3는 행렬 추론에서 정답률이 80%로 실험 참여 대학생들 평균(60%)보다 훨씬 높은 점수를 기록하는 등 대부분 분야에서 대학생들과 비슷하거나 높은 수준의 추론 성능을 보였다.

연구팀은 그러나 GPT-3가 일부 추론 문제는 예상보다 훨씬 뛰어난 성능을 보였지만 일부 분야에서는 사람에게는 매우 쉬운 문제에도 말도 안 되는 답을 내놓는 등 실패 사례도 다수 보였다고 밝혔다.

GPT-3는 대학생들보다 SAT 점수는 더 높았지만 스토리 유추에서는 학생들보다 성적이 낮았고 특히 물리적 공간 이해가 필요한 도구 사용 문제는 잘 풀지 못했다.

GPT-3는 대부분의 경우 인간 능력과 비슷하거나 능가하는 추상적 패턴 유추 능력을 보였으며 이는 GPT-3 같은 거대언어모델 AI가 광범위한 유추 문제에서 학습 없이 해답을 찾을 수 있는 추론 능력을 갖췄음을 보여준다는 것이다.

다만 연구팀은 GPT-3는 장기 기억력이 없고 관련 자료가 모두 제공돼야만 추론을 할 수 있다는 한계가 있으며 작동 방식 또한 불분명하다고 지적했다.

연구팀은 이런 언어학습모델이 사람처럼 '생각'하기 시작한 것인지, 단순히 인간의 생각을 모방하는 완전히 다른 일을 하고 있는 것인지 연구할 예정이다. 

윤태균의 다른기사 보기  
ⓒ 뉴스플러스(http://www.news-plus.co.kr) 무단전재 및 재배포금지 | 저작권문의  

     
전체기사의견(0)  
 
   * 200자까지 쓰실 수 있습니다. (현재 0 byte/최대 400byte)
   * 욕설등 인신공격성 글은 삭제 합니다. [운영원칙]
전체기사의견(0)

김건희 Case

본문내 브라이들 교수 인터뷰에 대

??

코로나 백신의 성분을 공개하여 안

근거논문
신문사소개 | 기사제보 | 광고문의 | 불편신고 | 개인정보취급방침 | 청소년보호정책 | 이메일무단수집거부 | 윤리강령
서울 서초구 효령로 77길 34 현대골든텔, 14층 05호 | Tel 02-922-4011 | Fax 02-3274-0964
등록번호 서울아 01179 | 등록날짜 2010년 3월 23일 | 발행인 이철원 | 편집인 : 안중원 | 청소년보호 책임자 이철원
Copyright 2010 뉴스플러스. All rights reserved. mail to press1@news-plus.co.kr