메타(페이스북)도 AI기반 대용량 언어 모델(LLM) 라마(LLaMa) 출시, 그래서 LLM이 뭐야? (1)

현지시간 기준 24일 메타(구 페이스북)도 chatGPT의 대항마인 AI기반 대용량 언어모델(Large Language Model, LLM) 라마(LLaMa)를 출시했습니다. 이번 포스트에서는 대용량 언어모델과 관련하여 LLM의 정의, 원리, 언어 모델의 종류, 장점과 한계, 윤리 및 사회적 영향, 응용 분야에 대해 살펴보겠습니다.

 

관련된 내용이 많아서 이번 포스트에서는 우선 LLM의 정의, 원리, 모델의 종류를 알아보고 ,

다음 포스트에서 LLM의 장점과 한계, 윤리 및 사회적 영향, 응용 분야에 대해 살펴보겠습니다.

 

1. 들어가며

https://ai.facebook.com/blog/large-language-model-llama-meta-ai/

Introducing LLaMA: A foundational, 65-billion-parameter language model

 

메타가 AI기반 LLM 모델 라마 (LLaMa)를 공개했습니다. 라마를 훈련하기 위해 라틴어와, 키릴문자 기반의 언어에 초점을 맞추어 가장 많은 화자가 있는 20개 언어에서 텍스트를 선택했다고 합니다.

chatGPT와 비교해서는 openAI의 GPT-3에 비해 용량이 10분의 1에 불과하지만 성능은 더 뛰어나다고 하네요.

(자세한 내용은 위의 링크에서 확인하실 수 있습니다.)

 

결국 메타의 LLaMA도 오픈AI의  GPT-3도 LLM(Large Language Model)이라고 불리는 대용량 언어 모델에 해당하는데요.

도대체 LLM이란 무엇일까요?

 

2. 대용량 언어모델(Large Language Model, LLM)의 정의

 

 대용량 언어모델 (이하 LLM) 은 자연어를 이해하고 생성하며 처리하기 위해 설계된 인공지능 시스템입니다. 이러한 모델들은 일반적으로 딥러닝 신경망에 기반을 두며 대규모의 텍스트 데이터로 학습됩니다.

 대형 언어 모델은 언어 번역, 감정 분석, 언어 모델링, 질문-답변 및 텍스트 요약과 같은 다양한 자연어 처리 작업을 수행할 수 있습니다. 이러한 모델은 챗봇, 가상 어시스턴트 및 언어 번역 서비스 등 다양한 응용 분야에서 사용될 수 있습니다.

가장 잘 알려진 LLM 중 하나는 OpenAI에서 개발한 GPT (Generative Pre-trained Transformer)입니다. GPT는 책, 기사 및 웹사이트와 같은 대규모 텍스트 데이터셋으로 학습되는 신경망의 일종입니다. 학습된 후 GPT는 입력 텍스트와 유사한 스타일과 내용의 새로운 텍스트를 생성할 수 있습니다.

최근 대형 언어 모델은 GPT-3와 같이 1750억 개의 파라미터를 가지며 점점 더 강력해지고 있습니다. 이러한 모델은 이제 챗봇부터 콘텐츠 생성까지 다양한 분야에서 사용되고 있으며 앞으로 자연어 처리 기술의 발전에 중요한 역할을 할 것으로 예상됩니다.

 

3. LLM의 원리

 

 LLM은, 데이터를 학습하고 예측하는 컴퓨터 알고리즘인 신경망을 기반으로 합니다. 특히, 대규모 언어 모델은 복잡한 데이터 구조와 패턴을 처리할 수 있는 딥러닝 신경망에 기반합니다.
 대체로 LLM은 입력 텍스트를 처리하고, 스타일과 내용이 비슷한 출력 텍스트를 생성하는 방식으로 작동합니다. 예를 들어, 대규모 언어 모델은 "The cat sat on the mat"과 같은 문장을 받아들이고, "A lazy dog lay on the rug."과 같은 새로운 문장을 생성할 수 있습니다.
 입력 텍스트에서 출력 텍스트를 생성하는 과정에는 여러 단계가 있습니다. 첫 단계는 토큰화(tokenization)로, 입력 텍스트를 단어 또는 접두사와 접미사와 같은 부분으로 나눕니다.
다음 단계는 임베딩(embedding)으로, 각 토큰을 의미와 문맥을 포착하는 숫자 벡터로 나타냅니다. 이는 사전 학습된 임베딩 모델을 사용하여 수행됩니다. 이 모델은 많은 텍스트 코퍼스에서 토큰과 다른 토큰 간의 관계에 따라 토큰을 숫자 벡터로 매핑하는 방법을 학습합니다.
 입력 텍스트가 토큰화되고 임베딩되면, 신경망은 각 단계마다 가능한 출력 토큰에 대한 확률 분포를 생성하며, 이는 네트워크의 학습된 가중치와 편향에 기반합니다.
 출력 토큰은 한 번에 하나씩 생성되며, 이전에 생성된 토큰에 영향을 받아 각 단계에서 가능한 토큰에 대한 확률 분포가 영향을 받습니다. 이를 통해 모델은 입력 텍스트와 일관된 의미를 가지는 텍스트를 생성할 수 있습니다.
대규모 언어 모델의 학습 과정은 대량의 텍스트 데이터를 입력하고, 다음 토큰을 더 잘 예측하기 위해 가중치와 편향을 조정하는 것을 포함합니다. 이는 역전파라는 기술을 사용하여 예측된 출력과 실제 출력 간의 차이에 따라 가중치와 편향을 조정하는 것을 의미합니다.
 전반적으로, 대규모 언어 모델은 여러 단계의 처리와 예측을 거치는 복잡한 시스템입니다. 그러나 그들은 사람이 작성한 것과 구분하기 어려운 텍스트를 생성할 수 있으며, 자연어 처리 분야에서 많은 실제적인 응용 분야가 있습니다.

 

4. LLM의 종류 : 트랜스포머 기반 모델 (Transformer-based models) , 순환신경망 모델 (Recurrent neural networks (RNNs))

 

 대규모 언어 모델에는 트랜스포머(transformer) 기반 모델과 순환 신경망(Recurrent neural network, RNN) 기반 모델 등 여러 유형이 있습니다.

1) 변형기 기반 모델:

 변형기 기반 모델은 OpenAI의 GPT(Generative Pre-trained Transformer) 시리즈와 같이 self-attention 메커니즘에 기반합니다. 이 메커니즘은 모델이 입력 시퀀스의 다른 부분에 서로 다른 시점에 집중할 수 있도록 하여, 입력을 선형적으로 처리하지 않습니다.
 변형기 아키텍처는 여러 층의 self-attention 및 feedforward 신경망으로 구성됩니다. 각 층은 이전 층을 기반으로 구축되어 입력 데이터의 점점 복잡한 패턴을 포착할 수 있도록 합니다.
 변형기 기반 모델의 장점 중 하나는 입력 텍스트에서 매우 먼 단어의 문맥을 이해할 수 있는 장거리 의존성(long-range dependencies)을 다룰 수 있다는 것입니다. 이러한 이유로, 언어 모델링, 텍스트 생성 및 기계 번역과 같은 작업에 적합합니다.

2) 순환 신경망(Recurrent neural network, RNN):

 RNN은 텍스트와 같은 순차적인 데이터를 처리하기 위해 설계된 신경망입니다. 이를 위해 이전 시퀀스 요소에 대한 정보를 캡처하는 숨겨진 상태(hidden state)를 유지합니다.
 RNN의 한 인기 있는 변형으로는 기존 RNN의 학습 중 사라질 수 있는 그래디언트 소실(vanishing gradients) 문제를 해결하기 위해 설계된 LSTM(long short-term memory) 신경망이 있습니다.
 RNN은 언어 모델링 및 텍스트 분류와 같은 작업에 적합하며, 입력 텍스트가 순차적으로 처리될 때 사용할 수 있습니다. 또한, 음성 인식 및 기계 번역과 같은 작업에도 사용될 수 있습니다.

 

트랜스포머 기반 모델과 RNN은 모두 자연어 처리 작업에 대한 강력한 도구입니다. 사용할 모델의 유형은 특정 작업과 입력 데이터의 성격에 따라 달라집니다.

 

 

 

* 다음 포스트에서 "LLM의 장점과 한계, 윤리 및 사회적 영향, 응용 분야"로 이어집니다.

2023.02.26 - [테크&IT 이슈] - 메타(페이스북)도 AI기반 대용량 언어 모델(LLM) 라마(LLaMa) 출시, 그래서 LLM이 뭐야? (2)

메타(페이스북)도 AI기반 대용량 언어 모델(LLM) 라마(LLaMa) 출시, 그래서 LLM이 뭐야? (2)