metadata
license: mit
language:
- ko
base_model:
- klue/bert-base
๐ SapBERT-Ko-EN
- ํ๊ตญ์ด ๋ชจ๋ธ์ ์ด์ฉํ SapBERT(Self-alignment pretraining for BERT)์ ๋๋ค.
- ํยท์ ์๋ฃ ์ฉ์ด ์ฌ์ ์ธ KOSTOM์ ์ฌ์ฉํด ํ๊ตญ์ด ์ฉ์ด์ ์์ด ์ฉ์ด๋ฅผ ์ ๋ ฌํ์ต๋๋ค.
- ์ฐธ๊ณ : SapBERT, Original Code
1. SapBERT-KO-EN
- SapBERT๋ ์๋ง์ ์๋ฃ ๋์์ด๋ฅผ ๋์ผํ ์๋ฏธ๋ก ์ฒ๋ฆฌํ๊ธฐ ์ํ ์ฌ์ ํ์ต ๋ฐฉ๋ฒ๋ก ์ ๋๋ค.
- Multi-Similarity Loss๋ฅผ ์ด์ฉํด ๋์ผํ ์๋ฃ ์ฝ๋๋ฅผ ์ง๋ ์ฉ์ด ๊ฐ์ ์ ์ฌ๋๋ฅผ ํค์ฐ๋ ๋ฐฉ์์ผ๋ก ํ์ตํฉ๋๋ค.
- SapBERT-KO-EN๋ ํยท์ ํผ์ฉ์ฒด๋ก ์ด๋ฃจ์ด์ง ํ๊ตญ ์๋ฃ ๊ธฐ๋ก์ ์ฒ๋ฆฌํ๊ธฐ ์ํด ํยท์ ์๋ฃ ์ฉ์ด๋ฅผ ์ ๋ ฌํ ๋ชจ๋ธ์ ๋๋ค.