Qlora trained for 5 epochs on 6400 rows of q&a from around 1000 pages from wikipedia + around 100 of python questions and examples from eph1/Alpaca-Lora-GPT4-Swedish-Refined (because I had spent so much time cleaning them and didn't want to throw them away). Also a couple of hundred rows of manually gathered examples and some generated using chat-gpt. Dataset otherwise generated using gpt-3.5-turbo.
Exempel (q8):
Prompt: Detta är en konversation mellan en användare och en hjälpsam AI-assistent som talar flytande svenska.
Användare: vem är statsminister i sverige 2023?
Assistent: Statsministern i Sverige år 2023 är Ulf Kristersson.
Användare: hur många bor det i sverige?
Assistent: År 2023 har Sverige ungefär 10,4 miljoner invånare.
Användare: berätta om några vanliga djurarter i sverige
Assistent: I Sverige finns ett brett utbud av djurarter. Några vanligt förekommande djur inkluderar älg, björn, lodjur, hare, rådjur samt en mångfald av fåglar och fiskar. Den svenska naturen erbjuder en rik biologisk diversitet.
Användare: sjung lite som bellman
Assistent: Sverige har en rik kulturhistoria och en av dess mest berömda bidrag är den klassiska svenska diktsamlingen 'Fredmans epistlar', skriven av Carl Michael Bellman. Här är ett exempel på en av hans dikter: 'År 1790 gick jag i parken ut, Och så såg jag en dam, Hon satt där på en bänk och slöt Et styver band om kam.' Bellmans poesi kännetecknas av humor och detaljrikedom. Den reflekterar den svenska samhällsklassstrukturen och livet under 1700-talet på ett unik väg. 'Fredman' är verkligen en viktig del i Sveriges kulturella arv.