Pluralis - Protocol Learning을 활용한 오픈소스 AI

간단한 소개

• 유니온 스퀘어 벤쳐스(USV)와 코인펀드(CoinFund)가 주도한 7.6M$의 시드라운드 투자
• 프로토콜 러닝(Protocol Learning)을 통해 진정한 오픈소스 AI 생태계를 구축하려는 프로젝트
• Pluralis의 파이프라인 병렬성 논문이 ICML에 채택되기도 함 (International Conference on Machine Learning 은 머신러닝 분야에서 가장 권위 있고 경쟁이 치열한 학술 대회 중 하나)

프로토콜 모델

• 컴퓨팅 자원 제공자들은 오픈소스 AI 모델 훈련에 자신의 컴퓨팅 파워를 기여
• 대가로 해당 모델이 나중에 생성하는 추론 수익(모델 사용 수익)에 대한 소유권 지분을 획득
• 소유권 가치는 모델의 성능과 활용도에 따라 결정되므로, 참여자들은 자연스럽게 좋은 품질의 훈련을 제공할 동기가 생김

핵심 기술적 혁신: 모델 병렬 처리

• 일반적인 접근법과 달리, 전체 모델을 여러 참여자에게 나누어 분산 저장(샤딩)
• 각 참여자는 전체 가중치의 아주 작은 부분만 볼 수 있어, 누구도 모델 전체를 추출할 수 없음
• 이를 통해 여러 참여자가 함께 대규모 모델을 훈련할 수 있으면서도, 누구도 모델을 훔칠 수 없음.

"추출 불가능한(Unmaterializable)" 모델의 개념

• 가장 혁신적인 부분은 모델이 "추출 불가능"하다는 점
• 모델은 훈련도 가능하고 사용도 가능하지만, 모델이 여러 조각으로 나뉘어 있어, 어느 누구도 전체 모델을 복사하거나 유출할 수 없음..
• 모델을 처음부터 다시 훈련하는 것보다 더 많은 컴퓨팅 파워가 필요하기 때문

=> 이런 특성은 오픈소스 AI의 중요한 문제점인 대형 기업이 오픈소스 프로젝트의 성과물을 쉽게 가져가서 독점적으로 활용하는 것을 방지

오픈소스 AI의 자원 문제 해결

위와 같은 접근법이 오픈소스 AI의 "자원 문제"를 해결하는 방법
• 소유권(토큰)을 통한 인센티브 구조 제공
• 자원 기여자에게 경제적 보상을 제공하여 지속 가능한 생태계 구축
• 개인도 대규모 AI 모델 개발에 참여할 수 있는 길 제공

지금 할수 있는것

• compute allowlist (지금 단계에서는 개인으로 참여할수 있는지가 명확하지 않음. 확인 후 추가 예정)
• Participate in the reading group : 리딩그룹에 참여하기

(중요) 디스코드롤 획득

커뮤니티 롤
• Early : 우리 커뮤니티의 개척자들. 초창기에 합류
• Content Creator : 글쓰기와 예술적 표현으로 커뮤니티에 생명과 개성을 불어넣는 창의적인 사람
• Citizen : 토론에 꾸준히 참여하고 긍정적인 분위기를 만드는 핵심 멤버
• Patron " 이벤트를 조직하고, 새 멤버를 환영하며, 긍정적인 분위기를 유지하는 모범적인 구성원
• Archon : 오랜 기간 커뮤니티의 가치에 헌신하고, 문화와 미래를 함께 만들어가는 베테랑 리더들입니다.

Reading group 롤
• Student : 독서 모임에 새로 합류해 호기심과 배움의 의지를 보이는 신입 멤버
• Scholar : 독서 자료를 깊이 이해하고 토론에서 소중한 통찰을 제공하는 헌신적인 멤버
• Sage : 꾸준히 뛰어난 통찰을 보여주고, 토론을 이끌며 다른 멤버의 학습을 돕는 독서 모임의 베테랑

전 Archon, Sage를 한번 노려보겠습니다!!!

프로젝트를 첨 알게 해준 https://t.me/ewlresearch 아울에게 감사!!
https://x.com/jeg6322/status/1918951512874844307

디스코드 | X

#ai #pluralis