프로세스 감독을 통한 수학적 추론 향상
https://openai.com/research/improving-mathematical-reasoning-with-process-supervision?fbclid=IwAR3ICUhp_ALBMBUMOG_vqe1cqCMpLNTzm0yWkbIP2hbeeKX7OF-11_RCXQo
OpenAI가 또 다른 돌파구를 마련했군요! 최종 정답뿐만 아니라 각 정답 단계마다 보상을 제공하는 접근으로 수학 문제 풀이에서 새로운 기록을 세운 모델을 훈련시켰 다고 합니다. 우리가 학교에서 수학을 배우는 방식과 비슷하죠? 최종 정답을 맞힌 AI의 등을 두드리는 대신, 이제 올바른 단계를 밟을 때마다 보상을 제공합니다. 마치 수학 선생님이 최종 정답뿐만 아니라 학습 과정까지 신경 써주는 것처럼요. 이를 '과정 감독(Process Supervision)'이라고 부르는데, 이는 획기적인 변화입니다. 🧮💡
* 논문의 제목은 "Let’s Verify Step by Step"입니다. (작년에 CoT - '생각의 사슬' 붐을 일으켰던 마법의 표현 Step by Step 입니다)
https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf?fbclid=IwAR1LojRtgWmMYERWatOlHsD_9AAxalBPDd2i9WiDfRwV_F_Scm3eT2IUB1k
이것은 단순히 수학 문제를 더 잘 푸는 것만이 아닙니다. 프로세스 감독은 모델이 사람이 승인한 프로세스를 따라 우리와 더 비슷하게 생각하도록 도와줍니다. 마치 인공지능의 마음을 들여다보고 작동하는 과정을 지켜보는 것과 비슷합니다. 이 방법은 매우 신뢰할 수 있는 것으로 입증되었으며, AI를 더 잘 이해하고 우리의 목표에 부합하도록 만들 수도 있습니다.
이것은 AI의 속도를 늦추는 것이 아니라 오히려 더 나은 성능을 제공합니다! 안전과 성능 모두에서 윈윈인 셈이죠.
매우 까다로운 수학 문제를 테스트한 결과, '과정 감독형' AI가 '결과 감독형' AI보다 전반적으로 더 뛰어난 성능을 보였습니다. 심지어 대부분의 시도가 실패로 돌아간 어려운 삼각형 문제에 대한 유효한 해결책을 찾아내기도 했습니다! 😮
하지만 이 성과를 칭찬하는데만 그치는 것이 아니라 진지하게 고민해야 할 부분이 있습니다. 🤔
이 방법을 다른 문제 해결 작업에서 AI를 훈련하는 데 사용할 수 있을까요? 그리고 이것이 AI의 윤리와 투명성을 어떻게 변화시킬 수 있을까요? AI의 의사결정을 더 잘 이해하고 규제하는 데 도움이 될 수 있을까요?
AI가 이 정도로 발전하면 일부 직업이 영향을 받을 수도 있습니다. 우리는 어떻게 대응해야 할까요? 편견은 어떻게 할까요? 이 방법이 편견을 식별하고 수정하는 데 도움이 될 수 있을까요?
그리고 중요한 질문이 하나 더 있습니다. AI가 우리보다 추론에 더 능숙해진다면, 우리가 함께 일하는 방식이 어떻게 바뀔까요?
마지막으로, 이 방법은 인간이 승인한 프로세스를 따르기 때문에 AI의 창의성이나 혁신 잠재력을 제한할 수 있을까요?
고려해야 할 사항이 많지만 한 가지 확실한 것은 있습니다: AI는 점점 더 똑똑해지고 있으며, 이를 활용하는 것은 우리의 몫이라는 것입니다. #AI #OpenAI #프로세스감독 #MathWhizAI 🤖👩🏫🔢
----
저자에 얼라인먼트팀의 Jan Leike가 있는 것이 흥미롭군요.
Jan Leike: https://twitter.com/janleike/status/1663977494058520576?fbclid=IwAR2uKE0yDJOc9V_2Ihh0AJY56TrFPs-BcAhG4kPBHmwR7fFaWrlmAtVq_nI
Leike는 이것이 기본적으로 AI가 우리가 원하는 방식으로 작동하도록 하는 '정렬'이라는 측면에서 큰 뉴스가 될 것이라고 생각하는군요.
AI 업계에서는 '정렬 세금'이라고 불리는 것, 즉 AI를 정렬해서 작동하게 만들면 AI의 성능이 떨어질 수 있다는 우려가 있었습니다. 그런데 이 사례의 경우, AI는 실제로 면밀한 감독을 받았을 때 더 잘 수행했다는 것이죠.
Leike 자신도 이 사실에 놀랐나 봅니다. 그는 더 큰 AI 모델이나 다른 영역에서도 같은 일이 일어날지 확신하지 못했지만, 지금은 확실히 이 아이디어에 대해 더 개방적이군요.
그는 또한 이것이 정렬 연구에 큰 의미를 가질 수 있다고 생각합니다. AI의 작동 방식을 더 잘 이해할 수 있다면 AI가 더 잘 작동하도록 할 수 있지 않을까요?
* PRM800K: A Process Supervision Dataset: https://github.com/openai/prm800k
----
* 포스팅 작성 과정: https://chat.openai.com/share/28921572-7b11-496c-a533-9898733d6577?fbclid=IwAR0qLLSN6H3aaiamCK-XFeZfCIa_wEXwBUBtlMjn9dN7h7F7UQH9f6l4qEQ
과연 이렇게 글쓰기를 하는 것은 제가 썼다고 볼 수 있는 것인지, 과연 저는 원문의 내용을 읽었다고 볼 수 있는 것인지... 글쎄요.
마치 원문을 읽은 다른 사람이 쓴 포스팅을 보고, 그걸 통해 대강 파악하는 느낌이랄까요. 정보의 흡수라는게 늘 이런 단계가 있는 것이긴 하지만... 뭔가의 갈림길이구나 싶습니다. 여기서 더 들어서 제대로 읽고 생각할지 아니면 게으름을 피우고 말지. 그런데 제대로 읽고 생각한다손 치더라도 시간이 지나 남는 것이 이런 게으른 포스팅 대비 과연 뭐가 더 있을 것인가... 이게 고민 지점입니다.
* 뭔가 찜찜해서 결국 블로그 원문은 다 읽었습니다. 읽고 나서 이 포스팅의 본문에 이렇다할 수정을 하지 않는 것도 아이러니합니다. 논문도 둘러봐야죠.
https://openai.com/research/improving-mathematical-reasoning-with-process-supervision?fbclid=IwAR3ICUhp_ALBMBUMOG_vqe1cqCMpLNTzm0yWkbIP2hbeeKX7OF-11_RCXQo
OpenAI가 또 다른 돌파구를 마련했군요! 최종 정답뿐만 아니라 각 정답 단계마다 보상을 제공하는 접근으로 수학 문제 풀이에서 새로운 기록을 세운 모델을 훈련시켰 다고 합니다. 우리가 학교에서 수학을 배우는 방식과 비슷하죠? 최종 정답을 맞힌 AI의 등을 두드리는 대신, 이제 올바른 단계를 밟을 때마다 보상을 제공합니다. 마치 수학 선생님이 최종 정답뿐만 아니라 학습 과정까지 신경 써주는 것처럼요. 이를 '과정 감독(Process Supervision)'이라고 부르는데, 이는 획기적인 변화입니다. 🧮💡
* 논문의 제목은 "Let’s Verify Step by Step"입니다. (작년에 CoT - '생각의 사슬' 붐을 일으켰던 마법의 표현 Step by Step 입니다)
https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf?fbclid=IwAR1LojRtgWmMYERWatOlHsD_9AAxalBPDd2i9WiDfRwV_F_Scm3eT2IUB1k
이것은 단순히 수학 문제를 더 잘 푸는 것만이 아닙니다. 프로세스 감독은 모델이 사람이 승인한 프로세스를 따라 우리와 더 비슷하게 생각하도록 도와줍니다. 마치 인공지능의 마음을 들여다보고 작동하는 과정을 지켜보는 것과 비슷합니다. 이 방법은 매우 신뢰할 수 있는 것으로 입증되었으며, AI를 더 잘 이해하고 우리의 목표에 부합하도록 만들 수도 있습니다.
이것은 AI의 속도를 늦추는 것이 아니라 오히려 더 나은 성능을 제공합니다! 안전과 성능 모두에서 윈윈인 셈이죠.
매우 까다로운 수학 문제를 테스트한 결과, '과정 감독형' AI가 '결과 감독형' AI보다 전반적으로 더 뛰어난 성능을 보였습니다. 심지어 대부분의 시도가 실패로 돌아간 어려운 삼각형 문제에 대한 유효한 해결책을 찾아내기도 했습니다! 😮
하지만 이 성과를 칭찬하는데만 그치는 것이 아니라 진지하게 고민해야 할 부분이 있습니다. 🤔
이 방법을 다른 문제 해결 작업에서 AI를 훈련하는 데 사용할 수 있을까요? 그리고 이것이 AI의 윤리와 투명성을 어떻게 변화시킬 수 있을까요? AI의 의사결정을 더 잘 이해하고 규제하는 데 도움이 될 수 있을까요?
AI가 이 정도로 발전하면 일부 직업이 영향을 받을 수도 있습니다. 우리는 어떻게 대응해야 할까요? 편견은 어떻게 할까요? 이 방법이 편견을 식별하고 수정하는 데 도움이 될 수 있을까요?
그리고 중요한 질문이 하나 더 있습니다. AI가 우리보다 추론에 더 능숙해진다면, 우리가 함께 일하는 방식이 어떻게 바뀔까요?
마지막으로, 이 방법은 인간이 승인한 프로세스를 따르기 때문에 AI의 창의성이나 혁신 잠재력을 제한할 수 있을까요?
고려해야 할 사항이 많지만 한 가지 확실한 것은 있습니다: AI는 점점 더 똑똑해지고 있으며, 이를 활용하는 것은 우리의 몫이라는 것입니다. #AI #OpenAI #프로세스감독 #MathWhizAI 🤖👩🏫🔢
----
저자에 얼라인먼트팀의 Jan Leike가 있는 것이 흥미롭군요.
Jan Leike: https://twitter.com/janleike/status/1663977494058520576?fbclid=IwAR2uKE0yDJOc9V_2Ihh0AJY56TrFPs-BcAhG4kPBHmwR7fFaWrlmAtVq_nI
Leike는 이것이 기본적으로 AI가 우리가 원하는 방식으로 작동하도록 하는 '정렬'이라는 측면에서 큰 뉴스가 될 것이라고 생각하는군요.
AI 업계에서는 '정렬 세금'이라고 불리는 것, 즉 AI를 정렬해서 작동하게 만들면 AI의 성능이 떨어질 수 있다는 우려가 있었습니다. 그런데 이 사례의 경우, AI는 실제로 면밀한 감독을 받았을 때 더 잘 수행했다는 것이죠.
Leike 자신도 이 사실에 놀랐나 봅니다. 그는 더 큰 AI 모델이나 다른 영역에서도 같은 일이 일어날지 확신하지 못했지만, 지금은 확실히 이 아이디어에 대해 더 개방적이군요.
그는 또한 이것이 정렬 연구에 큰 의미를 가질 수 있다고 생각합니다. AI의 작동 방식을 더 잘 이해할 수 있다면 AI가 더 잘 작동하도록 할 수 있지 않을까요?
* PRM800K: A Process Supervision Dataset: https://github.com/openai/prm800k
----
* 포스팅 작성 과정: https://chat.openai.com/share/28921572-7b11-496c-a533-9898733d6577?fbclid=IwAR0qLLSN6H3aaiamCK-XFeZfCIa_wEXwBUBtlMjn9dN7h7F7UQH9f6l4qEQ
과연 이렇게 글쓰기를 하는 것은 제가 썼다고 볼 수 있는 것인지, 과연 저는 원문의 내용을 읽었다고 볼 수 있는 것인지... 글쎄요.
마치 원문을 읽은 다른 사람이 쓴 포스팅을 보고, 그걸 통해 대강 파악하는 느낌이랄까요. 정보의 흡수라는게 늘 이런 단계가 있는 것이긴 하지만... 뭔가의 갈림길이구나 싶습니다. 여기서 더 들어서 제대로 읽고 생각할지 아니면 게으름을 피우고 말지. 그런데 제대로 읽고 생각한다손 치더라도 시간이 지나 남는 것이 이런 게으른 포스팅 대비 과연 뭐가 더 있을 것인가... 이게 고민 지점입니다.
* 뭔가 찜찜해서 결국 블로그 원문은 다 읽었습니다. 읽고 나서 이 포스팅의 본문에 이렇다할 수정을 하지 않는 것도 아이러니합니다. 논문도 둘러봐야죠.
Openai
Improving mathematical reasoning with process supervision
We've trained a model to achieve a new state-of-the-art in mathematical problem solving by rewarding each correct step of reasoning (“process supervision”) instead of simply rewarding the correct final answer (“outcome supervision”). In addition to boosting…
Forwarded from BZCF | 비즈까페
인공지능 관련 뉴스들은 하루가 무섭게 새로운 일들이 벌어집니다. 조금만 정신을 놓고 있으면 뒤쳐질 것 같은 느낌도 들고요. 그래서 시작했던 공부가 하나둘씩 쌓이다 보니 모음으로 공유할 정도가 되었네요. OpenAI부터, 테슬라까지 인공지능과 관련되어 유익했던 영상들 7개를 추려보았습니다. 주말에 시간내어 공부하시며 보시면 도움이 많이 되시지 않을까 합니다. 마음껏 공유 혹은 저장해주셔도 좋습니다.
- BZCF 텔레그램 : https://t.me/bzcftel
<인공지능 한글번역 셀렉션>
1. 샘알트만 | 인공지능(Chat GPT)은 구글을 대체할 수 있을까?
- https://youtu.be/cgfFg5s_wXs
2. 일론 머스크가 새로운 인공지능 회사를 만드는 이유
- https://youtu.be/M5MT7dRo1I4
3. AI가 만드는 기회 (Nat Friedman - Former GitHub CEO)
- https://youtu.be/z47Hx-acRdU
4. 인공지능 : 우리는 이대로 괜찮을까?
- https://youtu.be/FuIsdCHPoDs
5. 2030년에는 컴퓨터와 사람의 뇌가 합쳐질 겁니다 | 레이 커즈와일
- https://youtu.be/uc66zrI28UY
6. 테슬라 자율주행의 설계자 안드레 카파시
- https://youtu.be/ay8E_moegfk
7. OpenAI 샘 알트만 | 인공지능 chatGPT는 균형을 잡아갈 것
- https://youtu.be/vZ8J36xrK3s
- BZCF 텔레그램 : https://t.me/bzcftel
<인공지능 한글번역 셀렉션>
1. 샘알트만 | 인공지능(Chat GPT)은 구글을 대체할 수 있을까?
- https://youtu.be/cgfFg5s_wXs
2. 일론 머스크가 새로운 인공지능 회사를 만드는 이유
- https://youtu.be/M5MT7dRo1I4
3. AI가 만드는 기회 (Nat Friedman - Former GitHub CEO)
- https://youtu.be/z47Hx-acRdU
4. 인공지능 : 우리는 이대로 괜찮을까?
- https://youtu.be/FuIsdCHPoDs
5. 2030년에는 컴퓨터와 사람의 뇌가 합쳐질 겁니다 | 레이 커즈와일
- https://youtu.be/uc66zrI28UY
6. 테슬라 자율주행의 설계자 안드레 카파시
- https://youtu.be/ay8E_moegfk
7. OpenAI 샘 알트만 | 인공지능 chatGPT는 균형을 잡아갈 것
- https://youtu.be/vZ8J36xrK3s