Bee's 데이터 과학

구글, 새로운 Gemini 모델구글이 최근에 발표한 Gemini 모델이 LLM 리더보드인 Imarena Chatbot Arena 차트에서 GPT-4o를 제치고 1위를 차지했다. Imarena Chatbot Arena(구 LMSys Arena): 이 플랫폼은 블라인드 테스트 방식을 사용해 사용자들의 투표로 순위를 정하는 방식이다. 새 모델은 수학, 시각적 이해, 추론 능력 성능이 크게 향상되었다고 한다. 현재는 API나 구글 AI Studio을 통해서 사용해 볼 수 있다. 아직 공식적인 발표는 없으나, 다음 달 출시 예정인 Gemini 2 초기버전일 거라 추측이 나오고 있다.  출처: https://www.tomsguide.com/ai/google-gemini/google-drops-new-gemini-m..

읽기 편하도록 추가 설명은 접은 글로 정리해 두었습니다. GPT와 같은 대규모 사전 학습 언어 모델은 다양한 다운스트림 작업에 활용된다. 예를 들어, GPT 모델을 의료 데이터를 사용해 추가로 훈련하여 의료 데이터를 분석하거나, 챗봇에 특화된 대화 능력을 강화하는 등 여러 방식으로 활용할 수 있다. 하지만 모델의 크기가 워낙 커서 기존의 훈련 방식으로는 효율적으로 학습시키기 어렵다. 이를 해결하기 위한 접근 중 하나인 LoRA는 모델의 파라미터를 고정한 채 빠르게 학습을 진행할 수 있게 한다.  🔗 [arxiv 링크]👨‍👩‍👧 Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, We..