Encoder Model
[Decoder Model](https://texonom.com/decoder-model-36e78a40265c473d90197089aebfa83b) 


## Auto*-encoding model, Masked Language Model*
transform text or images into a condensed numerical representation called an embedding
### These models are often characterized as having bi-directional attention
입력 문장을 벡터화하고 다시 복원하는 모델
입력 문장의 의미를 보존하면서, 모델이 처리하기 쉬운 형태로 변환
The pretraining of these models usually revolves around somehow corrupting a given sentence and tasking the model with finding or reconstructing the initial sentence

### *auto-encoding*
입력 시퀀스를 인코딩하여 전부 [Latent Space](https://texonom.com/latent-space-d67b6bdef18b4058bfbc3d25f87ec087) 에 매핑한다
입력 시퀀스를 토큰 단위로 처리하지만 Self-Attention으로 입력 시퀀스의 각 위치마다 해당 위치와 다른 모든 위치 간의 유사도를 계산하기 때문에 문맥고려 가능하다. 이때 유사도가 높은 위치들은 해당 위치의 임베딩 벡터에 더 많은 가중치가 부여




> [Some Intuition on Attention and the Transformer](https://eugeneyan.com/writing/attention/)

> [Encoder models - Hugging Face NLP Course](https://huggingface.co/learn/nlp-course/chapter1/5?fw=pt)





