README.md

---
license: apache-2.0
datasets:
- neph1/bellman-7b-finetune
language:
- sv
---

![image/png](https://cdn-uploads.huggingface.co/production/uploads/653cd3049107029eb004f968/pLcriXAfp3Y9Z0RGwwVUB.png)

Updated 240124: Dataset: 11300 rows. Rank: 32/64. Included a set of "summarize" tasks and longer "essay" style input. The dataset for the 240112 update had about 2000 duplicated rows, sadly.

Updated 240112: Bigger dataset. Validation set. rank/alpha: 16/32. 2k context length. Please note that unquantized version is NOT updated.

Qlora trained for 2 epochs on 11300 rows of q&a + around 100 of python questions and examples from
neph1/Alpaca-Lora-GPT4-Swedish-Refined (because I had spent so much time cleaning them and didn't want to throw them away). Also a couple of hundred rows of manually
gathered examples and some generated using chat-gpt.
Dataset otherwise generated using gpt-3.5-turbo and Mixtral 8x7b (about on third).

The goal is to improve knowledge in Swedish topics, while improving the quality of the language.

The name comes from the Swedish bard and poet Carl Mikael Bellman who lived in the 1700s.
As with any bard, what this model says should be taken with a grain of salt. Even though it has the best of intentions.

[![ko-fi](https://ko-fi.com/img/githubbutton_sm.svg)](https://ko-fi.com/T6T3S8VXY)

Configuration:

Rank: 32

Alpha: 64

Dropout: 0.1

Learning rate (at start): 2e-5

Context length: 2048

Training length: ca 2.1 epochs

Prompt format: ```[INST]Hur bakar jag sockerkaka?[/INST]```


Example (240112 version). Sadly it's not always as good. (gguf q8, temp: 0.7, llama.cpp):
```
User: Vem är statsminister i Sverige?

Llama: Statsministern i Sverige heter Ulf Kristersson från Moderata samlingspartiet sedan 2022. Han leder en koalition mellan sin parti, Kristdemokraterna och Liberalerna. Innan honom var Magdalena Andersson statsminister för Socialdemokraternas minoritetsregering.

User: Nämn fem vanliga mineraler

Llama: Några av de vanligaste mineralerna inkluderar feldspat, kvarts, mica, gips och kalkspat. De spelar olika roller i jordskorpan och har varierande egenskaper som ger dem användningsområden inom till exempel byggnadsmaterial och glasindustrin.

User: Hur känner jag igen feldspat?

Llama: Feldspaten är en vanlig grupp av mineral med varierande sammansättning, som ofta innehåller aluminium, silikon och syre. De kan ha olika färger, såsom vit eller rödaktig, och det finns flera olika typer av feldspat med specifika egenskaper.

User: Vilka egenskaper kan den ha?

Llama: Några egenskaper inkluderar hårdhet på Mohs skala från 2 till 6, samt att de vanligtvis är täta och har låg termisk expansionskoefficient. Feldspaten används ofta i byggnadsmaterial och glasindustrin på grund av dessa egenskaper.

User: Jag vet inte vilket gymnasieprogram jag ska välja

Llama: Det är helt normalt att det tar tid att bestämma sig för ett gymnasieprogram. Du kan pröva olika ämnen och överväga dina intressen, kunskaper och framtida karriärsmål för att hitta det rätta programmet för dig. Det finns många olika typer av gymnasieprogram som erbjuder olika inriktningar, så du bör finna något som passar din personliga utveckling och framtida mål.

User: Jag har ofta ont i magen. vad kan det bero på?

Llama: Magbesvär eller magsmältningsproblem kan ha flera orsaker, inklusive livsstilsfaktorer, matintoleranser och sjukdomar som inflammatorisk tarmsjukdom (IBS) eller gallblåseinflammering. Om du upplever starka symtom eller svårigheter att hantera det bästa är att besöka ditt läkare för en noggrann undersökning och eventuella behandlingar. Det kan inkluda mediciner, dietära ändringar eller andra terapiåtgärder.

User: Kan du skriva ett program i python som visar hur en for-loop fungerar?

Llama: Visst! Här är ett exempel på en Python-kod som använder en "for"-slinga för att iterera genom en lista och skriva ut varje element.

my_list = ['apple', 'banana', 'cherry']
for fruit in my_list:
    print(fruit)

Denna kod skapar en lista med frukter, sedan den använder en for-slinga för att iterera genom varje element i listan och skriva ut det på skärmen. Förutom loopning kan du också lära dig om andra metoder som fungerar bättre för specifika uppgifter, såsom med enumerate() eller zip().

User: Kan du göra om programmet så att det bara skriver ut de frukter som börjar på "a"?

Llama: Absolut! Du kan använda en conditional statement inom for-loopen för att kontrollera bokstaven i varje frukt och endast skriva ut dem som börjar med "a". Här är det uppdaterade kod:

my_list = ['apple', 'banana', 'cherry']
for fruit in my_list:
    if fruit[0] == 'a':  # kontrollera första bokstaven i frukten
        print(fruit)


Detta program använder en if-utlåtelse för att kontrollera om det första tecknet i varje frukt är "a". Om den är så, skriver ut frukten med hjälp av print() funktionen. Detta resulterar endast i att de frukterna som börjar på "a" skrivs ut. I detta fall bara 'apple'.
```