LoRA


### Low-Rank Adaptation
큰 모델의 파라미터를 적은 computing resource로 학습가능
전체 가중치는 고정시킨 상태에서 별도의 파라매터들을 각 Transformer의 Layer들에 추가하고 해당 파라매터들만 학습
### LoRA Usages
|Title|
|:-:|
|[QLoRA](https://texonom.com/qlora-c6b36db321c4470bbfe72804c4c43409)|
|[AdaLoRa](https://texonom.com/adalora-e93b8dedde8542e99be72d6509ecfbae)|




> [적은 GPU 메모리로 대규모 언어 모델을 트레이닝 하는 기법 「QLoRA」가 등장](https://doooob.tistory.com/1029)

> [QLoRA: 48GB GPU로 65B 모델의 미세조정(파인튜닝)이 가능하다고요?](https://discuss.pytorch.kr/t/qlora-48gb-gpu-65b/1682)





