license: apache-2.0
datasets:
- neph1/bellman-7b-finetune
language:
- sv
Update 240103: I'm currently retraining on Colab with a larger dataset but I'm running into issues due to reaching the limits of the V100. A100 don't seem to be available. May be some time before the new version is done.
Qlora trained for 5 epochs on 6400 rows of q&a from around 1000 pages from wikipedia + around 100 of python questions and examples from eph1/Alpaca-Lora-GPT4-Swedish-Refined (because I had spent so much time cleaning them and didn't want to throw them away). Also a couple of hundred rows of manually gathered examples and some generated using chat-gpt. Dataset otherwise generated using gpt-3.5-turbo.
The goal is to improve knowledge in Swedish topics, while improving the quality of the language. The model seems to have a thing for history and will, if free to speak, probably tell you some tidbit about historical people.
The name comes from the Swedish bard and poet Carl Mikael Bellman who lived in the 1700s. As with any bard, what this model says should be taken with a grain of salt. Even though it has the best of intentions.
Configuration:
Rank: 16
Alpha: 16
Dropout: 0.1
Context length: 1024
I may run another 5 epochs on this. But I feel like it's 'aligned' pretty well. (Regular mistral insists Magdalena Andersson is prime minister, still.)
Example (q8, temp: 0.7):
Prompt: Detta är en konversation mellan en användare och en hjälpsam AI-assistent som talar flytande svenska.
Användare: vem är statsminister i sverige 2023?
Assistent: Statsministern i Sverige år 2023 är Ulf Kristersson.
Användare: hur många bor det i sverige?
Assistent: År 2023 har Sverige ungefär 10,4 miljoner invånare.
Användare: berätta om några vanliga djurarter i sverige
Assistent: I Sverige finns ett brett utbud av djurarter. Några vanligt förekommande djur inkluderar älg, björn, lodjur, hare, rådjur samt en mångfald av fåglar och fiskar.
Den svenska naturen erbjuder en rik biologisk diversitet.
Användare: sjung lite som bellman
Assistent: Sverige har en rik kulturhistoria och en av dess mest berömda bidrag är den klassiska svenska diktsamlingen 'Fredmans epistlar', skriven av Carl Michael Bellman.
Här är ett exempel på en av hans dikter:
'År 1790 gick jag i parken ut,
Och så såg jag en dam,
Hon satt där på en bänk och slöt
Et styver band om kam.'
Bellmans poesi kännetecknas av humor och detaljrikedom. Den reflekterar den svenska samhällsklassstrukturen och livet under 1700-talet på ett unik väg.
'Fredman' är verkligen en viktig del i Sveriges kulturella arv.
Regular mistral-instruct-0.2 (q8, temp: 0.7):
Användare: vem är statsminister i sverige 2023?
Assistent: Jag kan inte ge dig en säker svar på detta, eftersom jag inte har tillgång till uppdaterade information om framtida politiska ledare. Statsministern i Sverige år 2023 kommer att bestämmas av de svenska allmänna valen den tidpunkten. För närvarande är Magdalena Andersson statsminister (sedan december 2021).
Användare: berätta om några vanliga djurarter i sverige
Assistent: Absolutt! Sverige är känt för sin rika och olikartade fauna. Här är några vanliga djurarter som du kan möta i Sverige:
Elk: Elken är Europas största däggdjur och är ett nationaldjur i Sverige. De lever i skogsbiotoper över hela landet.
Rådjur: Rådjuret är ett av vår lands vanligaste djur. De lever i skogar, marker och trädgårdar överallt i Sverige.
Fälgar: Fälgar är gräsätande djur som lever i öppna områden såsom ängar, parker och jordbruksmark. Det finns flera olika arter av fälgar i Sverige, bland dem rödhalsad fälg och vargfälg.
Älg: Älger är en art av vilt som lever i Sverige, främst i skogsbiotoper men även på torra betesmarker.
Björn: Björnen är det största däggdjuret i Sverige. De bor i skogar och alpina områden, och de har ett stort territorium.
Vildsvin: Vildsvinet lever i skogsbiotoper och kustområden runt Öresundsregionen. De äter rotstoffor samt grönsaker och frukter.
Hare: Harar är små och snabba djur som lever i skogar, buskmarker och öppna planer överallt i Sverige.
Användare: sjung lite som bellman
Assistent: Jag ska ge besök åt Carl Michael Bellmans "Anakreons visa" som är ett av hans mest berömda verk. Sångtexten går därför att läsa ut loud och jag ska recitera den för dig i stil av ett sångutdrag:
I Gripenberg, på Tyska grundet, stod Carl Michael Bellman,
Och sången började han sjunga, sådan som han bara kunde.
Om vackert Maja i blommorna sitter,
Så rosa och vacker, i den gula trädgården,
Hon sörjer sin lilla Josses sak,
När hon sitter ensam med vindens kyss,
Och röser sitt hjärta, fullt av brinnande kärleksask.
.....
Maja, Maja, om ni ser mig stå här,
Har ni sett mig stå med mina händer krossade?
Så har jag sett din Josses lik ligga,
Kvar i det gröna och med sina ögon stängda.
Maja, Maja, förlåt mig nu, min snuskiga mage,
(and it goes on)