Update README.md

README.md

@@ -8,17 +8,14 @@ language:
 
 ![image/png](https://cdn-uploads.huggingface.co/production/uploads/653cd3049107029eb004f968/pLcriXAfp3Y9Z0RGwwVUB.png)
 
-Update 240103: I'm currently retraining on Colab with a larger dataset but I'm running into issues due to reaching the limits of the V100. A100 don't seem to be available.
-May be some time before the new version is done.
+Updated 240112: Bigger dataset. Validation set. rank/alpha: 16/32. 2k context length
 
-
-Qlora trained for 5 epochs on 6400 rows of q&a from around 1000 pages from wikipedia + around 100 of python questions and examples from
-eph1/Alpaca-Lora-GPT4-Swedish-Refined (because I had spent so much time cleaning them and didn't want to throw them away). Also a couple of hundred rows of manually
+Qlora trained for 2 epochs on 9600 rows of q&a from around 1300 pages from wikipedia + around 100 of python questions and examples from
+neph1/Alpaca-Lora-GPT4-Swedish-Refined (because I had spent so much time cleaning them and didn't want to throw them away). Also a couple of hundred rows of manually
 gathered examples and some generated using chat-gpt.
 Dataset otherwise generated using gpt-3.5-turbo.
 
 The goal is to improve knowledge in Swedish topics, while improving the quality of the language.
-The model seems to have a thing for history and will, if free to speak, probably tell you some tidbit about historical people.
 
 The name comes from the Swedish bard and poet Carl Mikael Bellman who lived in the 1700s.
 As with any bard, what this model says should be taken with a grain of salt. Even though it has the best of intentions.
@@ -29,73 +26,58 @@ Configuration:
 
 Rank: 16
 
-Alpha: 16
+Alpha: 32
 
 Dropout: 0.1
 
-Context length: 1024
+Context length: 2048
 
-I may run another 5 epochs on this. But I feel like it's 'aligned' pretty well. (Regular mistral insists Magdalena Andersson is prime minister, still.)
 
-Example (q8, temp: 0.7):
+An absolutely beautiful example. Sadly it's not always as good. (gguf q8, temp: 0.7, llama.cpp):
 ```
-Prompt: Detta är en konversation mellan en användare och en hjälpsam AI-assistent som talar flytande svenska.
+User: Vem är statsminister i Sverige?
 
-Användare: vem är statsminister i sverige 2023?
+Llama: Statsministern i Sverige heter Ulf Kristersson från Moderata samlingspartiet sedan 2022. Han leder en koalition mellan sin parti, Kristdemokraterna och Liberalerna. Innan honom var Magdalena Andersson statsminister för Socialdemokraternas minoritetsregering.
 
-Assistent: Statsministern i Sverige år 2023 är Ulf Kristersson.
+User: Nämn fem vanliga mineraler
 
-Användare: hur många bor det i sverige?
+Llama: Några av de vanligaste mineralerna inkluderar feldspat, kvarts, mica, gips och kalkspat. De spelar olika roller i jordskorpan och har varierande egenskaper som ger dem användningsområden inom till exempel byggnadsmaterial och glasindustrin.
 
-Assistent: År 2023 har Sverige ungefär 10,4 miljoner invånare.
+User: Hur känner jag igen feldspat?
 
-Användare: berätta om några vanliga djurarter i sverige
+Llama: Feldspaten är en vanlig grupp av mineral med varierande sammansättning, som ofta innehåller aluminium, silikon och syre. De kan ha olika färger, såsom vit eller rödaktig, och det finns flera olika typer av feldspat med specifika egenskaper.
 
-Assistent: I Sverige finns ett brett utbud av djurarter. Några vanligt förekommande djur inkluderar älg, björn, lodjur, hare, rådjur samt en mångfald av fåglar och fiskar.
-Den svenska naturen erbjuder en rik biologisk diversitet.
+User: Vilka egenskaper kan den ha?
 
-Användare: sjung lite som bellman
+Llama: Några egenskaper inkluderar hårdhet på Mohs skala från 2 till 6, samt att de vanligtvis är täta och har låg termisk expansionskoefficient. Feldspaten används ofta i byggnadsmaterial och glasindustrin på grund av dessa egenskaper.
 
-Assistent: Sverige har en rik kulturhistoria och en av dess mest berömda bidrag är den klassiska svenska diktsamlingen 'Fredmans epistlar', skriven av Carl Michael Bellman.
-Här är ett exempel på en av hans dikter:
-'År 1790 gick jag i parken ut,
-Och så såg jag en dam,
-Hon satt där på en bänk och slöt
-Et styver band om kam.'
-Bellmans poesi kännetecknas av humor och detaljrikedom. Den reflekterar den svenska samhällsklassstrukturen och livet under 1700-talet på ett unik väg.
-'Fredman' är verkligen en viktig del i Sveriges kulturella arv.
-```
+User: Jag vet inte vilket gymnasieprogram jag ska välja
 
-Regular mistral-instruct-0.2 (q8, temp: 0.7):
-```
-Användare: vem är statsminister i sverige 2023?
-Assistent: Jag kan inte ge dig en säker svar på detta, eftersom jag inte har tillgång till uppdaterade information om framtida politiska ledare. Statsministern i Sverige år 2023 kommer att bestämmas av de svenska allmänna valen den tidpunkten. För närvarande är Magdalena Andersson statsminister (sedan december 2021).
-
-Användare: berätta om några vanliga djurarter i sverige
-Assistent: Absolutt! Sverige är känt för sin rika och olikartade fauna. Här är några vanliga djurarter som du kan möta i Sverige:
-
-     Elk: Elken är Europas största däggdjur och är ett nationaldjur i Sverige. De lever i skogsbiotoper över hela landet.
-     Rådjur: Rådjuret är ett av vår lands vanligaste djur. De lever i skogar, marker och trädgårdar överallt i Sverige.
-     Fälgar: Fälgar är gräsätande djur som lever i öppna områden såsom ängar, parker och jordbruksmark. Det finns flera olika arter av fälgar i Sverige, bland dem rödhalsad fälg och vargfälg.
-     Älg: Älger är en art av vilt som lever i Sverige, främst i skogsbiotoper men även på torra betesmarker.
-     Björn: Björnen är det största däggdjuret i Sverige. De bor i skogar och alpina områden, och de har ett stort territorium.
-     Vildsvin: Vildsvinet lever i skogsbiotoper och kustområden runt Öresundsregionen. De äter rotstoffor samt grönsaker och frukter.
-     Hare: Harar är små och snabba djur som lever i skogar, buskmarker och öppna planer överallt i Sverige.
-Användare: sjung lite som bellman
-Assistent: Jag ska ge besök åt Carl Michael Bellmans "Anakreons visa" som är ett av hans mest berömda verk. Sångtexten går därför att läsa ut loud och jag ska recitera den för dig i stil av ett sångutdrag:
-
-I Gripenberg, på Tyska grundet, stod Carl Michael Bellman,
-Och sången började han sjunga, sådan som han bara kunde.
-Om vackert Maja i blommorna sitter,
-Så rosa och vacker, i den gula trädgården,
-Hon sörjer sin lilla Josses sak,
-När hon sitter ensam med vindens kyss,
-Och röser sitt hjärta, fullt av brinnande kärleksask.
-.....
-Maja, Maja, om ni ser mig stå här,
-Har ni sett mig stå med mina händer krossade?
-Så har jag sett din Josses lik ligga,
-Kvar i det gröna och med sina ögon stängda.
-Maja, Maja, förlåt mig nu, min snuskiga mage,
-(and it goes on)
+Llama: Det är helt normalt att det tar tid att bestämma sig för ett gymnasieprogram. Du kan pröva olika ämnen och överväga dina intressen, kunskaper och framtida karriärsmål för att hitta det rätta programmet för dig. Det finns många olika typer av gymnasieprogram som erbjuder olika inriktningar, så du bör finna något som passar din personliga utveckling och framtida mål.
+
+User: Jag har ofta ont i magen. vad kan det bero på?
+
+Llama: Magbesvär eller magsmältningsproblem kan ha flera orsaker, inklusive livsstilsfaktorer, matintoleranser och sjukdomar som inflammatorisk tarmsjukdom (IBS) eller gallblåseinflammering. Om du upplever starka symtom eller svårigheter att hantera det bästa är att besöka ditt läkare för en noggrann undersökning och eventuella behandlingar. Det kan inkluda mediciner, dietära ändringar eller andra terapiåtgärder.
+
+User: Kan du skriva ett program i python som visar hur en for-loop fungerar?
+
+Llama: Visst! Här är ett exempel på en Python-kod som använder en "for"-slinga för att iterera genom en lista och skriva ut varje element.
+
+my_list = ['apple', 'banana', 'cherry']
+for fruit in my_list:
+    print(fruit)
+
+Denna kod skapar en lista med frukter, sedan den använder en for-slinga för att iterera genom varje element i listan och skriva ut det på skärmen. Förutom loopning kan du också lära dig om andra metoder som fungerar bättre för specifika uppgifter, såsom med enumerate() eller zip().
+
+User: Kan du göra om programmet så att det bara skriver ut de frukter som börjar på "a"?
+
+Llama: Absolut! Du kan använda en conditional statement inom for-loopen för att kontrollera bokstaven i varje frukt och endast skriva ut dem som börjar med "a". Här är det uppdaterade kod:
+
+my_list = ['apple', 'banana', 'cherry']
+for fruit in my_list:
+    if fruit[0] == 'a':  # kontrollera första bokstaven i frukten
+        print(fruit)
+
+
+Detta program använder en if-utlåtelse för att kontrollera om det första tecknet i varje frukt är "a". Om den är så, skriver ut frukten med hjälp av print() funktionen. Detta resulterar endast i att de frukterna som börjar på "a" skrivs ut. I detta fall bara 'apple'.
 ```