[머신러닝/딥러닝] Foundation Model이란?

파운데이션 모델 foundation model

딥러닝 기술의 발전과 더불어, '파운데이션 모델'이라는 (나름) 새로운 개념이 등장하며 주목받고 있습니다. 

본 포스트에서는 파운데이션 모델이 무엇인지 자세히 살펴보겠습니다.

 

파운데이션 모델이란?

파운데이션 모델은 엄청난 양의 데이터로 학습된 인공 지능 모델로서 많은 양의 데이터를 통해 일반적인 지식과 패턴을 먼저 흡수한 후, 이를 바탕으로 다양한 분야의 작업을 할 수 있는 모델입니다. 

 

Gemini로 생성된 이미지입니다.

 

기존 딥러닝 모델을 특정 레시피만 숙지한 요리사라고 생각해 보면 이해가 쉽습니다. 이 요리사는 특정 요리를 만드는 데는 능숙하지만, 다른 요리는 만들 수 없습니다. 반면에 파운데이션 모델은 요리의 기본 원리를 터득한 셰프라고 생각하면 됩니다. 셰프는 다양한 재료와 기법을 활용하여 새로운 요리를 창조하고, 기존 요리법을 개선할 수 있습니다.

 

 

파운데이션 모델의 특징

• 대규모 데이터 훈련: 파운데이션 모델은 텍스트, 이미지, 코드 등 주로 엄청난 양의 데이터로 훈련됩니다.
• 다양한 작업에 적용: 파운데이션 모델 자체는 특정 작업을 수행하도록 완전히 훈련되지는 않습니다. 하지만 파운데이션 모델을 기반으로 특정 분야의 작업을 수행하도록 추가적으로 훈련시킬 수 있습니다.
  예시로는 OpenAI의 GPT 모델이 있습니다. GPT 모델은 대량의 텍스트 데이터를 학습하여 언어 이해 및 생성 작업에 활용됩니다. 이 모델은 기본적으로 번역, 질문 응답, 텍스트 생성 등 다양한 자연어 처리 작업에 적용될 수 있습니다.
• 사전 훈련pre-training + 미세조정 fine tuning: 파운데이션 모델은 기본적으로 대규모 데이터로 사전 훈련(pre-training)되며, 이후 특정 작업에 맞게 미세 조정(fine-tuning)됩니다. 
  예를 들어, 웹에서 다양한 텍스트로 사전 훈련된 GPT-3 모델을 고객 대화 기록 데이터셋으로 미세 조정되어 챗봇으로 활용될 수 있습니다.
  

 

예시 모델들

다음은 몇 가지 잘 알려진 파운데이션 모델입니다.

출처: 트위터 @MajmudarAdam

1. BERT (Google):
   • 자연어 처리 작업에서 널리 사용되는 사전 훈련된 모델입니다. BERT는 문장의 의미를 이해하고, 문장 간의 관계를 파악하는 데 강력한 성능을 보입니다. 텍스트 분류, 질문 응답, 요약 등 다양한 작업에 BERT를 미세 조정할 수 있습니다. 
2. GPT-3 (OpenAI):
   • OpenAI에서 개발한  자연어 처리 모델입니다. 이 모델은 대규모 텍스트 데이터를 사용하여 학습되었으며, 다양한 자연어 처리 작업을 수행할 수 있습니다.
3. CLIP (OpenAI):
   • CLIP은 이미지와 텍스트 간의 상호작용을 이해하고, 이미지와 관련된 질문에 자연어로 답변할 수 있는 능력을 갖추고 있습니다. 예를 들어, 이미지의 내용을 설명하는 문장을 생성하거나, 텍스트 설명에 맞는 이미지를 검색하는 데 사용할 수 있습니다.
4. DALL-E (OpenAI):
   • OpenAI에서 개발한 이미지 생성 모델입니다. 이 모델은 텍스트 설명을 바탕으로 새로운 이미지를 생성하는 데 사용됩니다. 예를 들어, "우주에 둥둥 떠다니는 아보카도 우주비행사"라는 설명을 입력하면, 그에 맞는 이미지를 생성해 줍니다.

DALL-E 생성 이미지

 

 

파운데이션 모델의 장점과 한계

 

장점:

• 범용성: 다양한 작업에 활용할 수 있어, 여러 분야에서 유용합니다.
• 고성능: 대규모 데이터로 훈련되기 때문에 높은 성능을 자랑합니다.
• 시간 절약: 사전 학습된 모델을 사용하면 모델을 처음부터 훈련시키는 시간과 비용을 절약할 수 있습니다.

한계:

• 자원 소모: 파운데이션 모델을 훈련시키기 위해서는 엄청난 양의 데이터와 강력한 컴퓨팅 자원이 필요합니다.
• 데이터 편향: 훈련 데이터의 편향이 모델에도 반영될 수 있습니다.