Cross-Attention
[MLLM](https://texonom.com/mllm-98172e9446c04bcc9cf52b2bc5d0bd17) 


## Encoder-Decoder Attention
in [Decoder Model](https://texonom.com/decoder-model-36e78a40265c473d90197089aebfa83b) 
Query : 디코더 벡터 / **Key **= Value : 인코더 벡터
인코더의 출력과 디코더의 현재 상태를 이용하여 디코더가 다음 단어를 예측하는 데 사용
MLLM에서 매우 중요한 부분
이미지나 비디오 데이터와 텍스트 데이터 간의 상호작용을 모델링
$$h_i = softmax((x_i * K_v) / sqrt(d_k)) * V_v$$









