26t로또유료디비☑️✔️텔레그램LEGO4989◀^ 고차원 테스트 모델 잇따라양자컴퓨터에 단백질 서열 등융합 정보 추론 능력 검증제미나이도 정답률 50% 미만논문 읽고 연구 수행도 시험 [이미지 = 픽사베이]심층적인 문제 해결에 뛰어난 추론형 인공지능(AI) 모델들이 속속 등장하고 있는 가운데 이 같은 AI 모델의 성능을 제대로 평가하기 위한 테스트(벤치마크)도 진화하고 있다.AI가 고급 수학·과학 등 전문 분야에서 뛰어난 성능을 발휘하면서 기존 벤치마크로는 성능 분석에 한계가 있다는 지적이 제기됐다. 나아가 일부 기업이 자사 AI 모델의 성능을 부각시키기 위해 유리한 벤치마크 지표만 선별해 대외적으로 공개하면서 벤치마크 지표 자체에 대한 신뢰도를 스스로 떨어뜨렸다는 비판도 나왔다.이런 와중에 나날이 똑똑해지고 있는 AI 모델의 성능을 보다 객관적으로 파악·측정할 수 있는 고난도 벤치마크가 탄생하고 있다.13일 글로벌 AI 업계에 따르면 구글 연구팀이 최근 과학 분야에 대한 대형언어모델(LLM)의 문제 해결 능력을 평가하기 위한 벤치마크 ‘큐리(CURIE)’를 개발했다.큐리는 재료과학, 응집물질물리학, 양자컴퓨팅, 지리공간, 생물 다양성, 단백질 시퀀싱 등 6개 과학 분야에서 580개 문제로 구성된 테스트다.기존에도 물론 STEM 벤치마크처럼 과학이나 수학, 공학 등 전문 분야 지식을 평가하는 벤치마크가 존재했다. 다만 구글은 “기존 벤치마크가 단답형 질문과 객관식 응답에 집중돼 있다”며 “AI 모델이 긴 분량의 정보를 이해하고 추론할 수 있는지를 측정하는 것이 필요했다”고 큐리를 개발한 이유를 설명했다.큐리의 경우 AI 모델이 일반적인 과학 논문 수준의 분량의 글을 읽고 수행하는 추론, 멀티모달 이해, 분야별 전문 지식 능력 등을 복합적으로 분석한다. 8개 주요 LLM 모델에 대해 측정한 결과, 가장 높은 점수를 보인 모델인 ‘제미나이 2.0 플래시’가 정답률 32%에 머물 정도로 매우 까다롭게 구성됐다.이러한 벤치마크가 탄생하는 것은 LLM이 이제는 복잡한 추론을 요구하는 문제 해결에도 능숙한 추론 특화 모델로 진화하고 있기 때문이다. 구글 연구진은 “LLM은 단순히 지식만을 긁어오는 단계에서 추론하며 문제를 적극 해결하는 단계로 전환되고 있다”고 설명했다.오픈AI가 지난해 12월 추론 모