Article Weekly, Issue 52
|Period
2024-12-22 ~ 2024-12-28
Can AI do maths yet? Thoughts from a mathematician.
- OpenAI의 새로운 언어 모델 o3가 FrontierMath에서 25% 성과를 달성
- FrontierMath 데이터셋 소개:
- Epoch AI가 큐레이팅한 수백 개의 어려운 수학 문제 포함
- “숫자 찾기” 형식의 문제로 구성
- 자동 검증이 가능한 명확한 답변 요구
- FrontierMath 문제의 난이도:
- 연구 수학자에게도 쉽지 않은 수준
- 일반적인 수학 학부생은 한 문제 해결도 어려울 것으로 예상
- 테렌스 타오: “극도로 도전적인” 문제라고 평가
- AI의 수학 능력에 대한 저자의 견해:
- 현재 AI는 학부생 또는 그 이하 수준으로 인식
- o3의 25% 성과에 놀람 표현
- 실제 데이터셋의 25%가 “IMO/학부 수준” 문제라는 정보에 의문 제기
- “정리 증명” vs “숫자 찾기” 문제:
- 리처드 보처즈: 수치 답변 생성은 원래 증명과 다르다고 지적
- 연구 수학에서는 “정리 증명"이 더 중요
- AI의 수학 능력 평가 과제:
- 언어 모델과 정리 증명기의 차이점 설명
- 정확성과 인간이 이해할 수 있는 설명의 중요성 강조
- 결론:
- AI의 수학 능력이 빠르게 발전 중이나 여전히 한계 존재
- “학부생 수준 넘기"의 시기는 불확실