Decoder Model
[Encoder Model](https://texonom.com/encoder-model-321d79943c8940fcaac0c9ccca0b5f6f) [Text Generation](https://texonom.com/text-generation-cb0e475216c043fdbb4f309d324c9d19) 


## **Autoregressive Model, **Causal language model
이전 시점의 출력을 현재 시점의 입력으로 사용하여, 시퀀스 데이터를 생성하는 모델
단방향 모델을 통해 다음 단어를 예측, 추측하는 언어모델

[Decoder Input IDs](https://texonom.com/decoder-input-ids-2b1e1d3c7c274b0880191a54290bed27)


### Autoregressive
현재 값이 이전 값들의 선형 조합으로 나타나는 모델을 의미
Transformer의 Decoder만 사용하므로 이전 시점의 출력을 현재 시점의 입력으로 사용하여, 시퀀스 데이터를 생성하는 방식을 사용
이 방식은 문장 전체를 한 번에 처리하지 않고, 단어나 토큰 단위로 처리
이전 단어들을 기반으로 다음 단어를 예측 즉 문장 전체를 한 번에 처리하지 않기 때문에, 문장 전체를 볼 수 없다



> [Some Intuition on Attention and the Transformer](https://eugeneyan.com/writing/attention/)

> [Decoder models - Hugging Face NLP Course](https://huggingface.co/learn/nlp-course/chapter1/6?fw=pt)





