init

dummy.py

@@ -0,0 +1,134 @@
+"""
+Interaktywny skrypt do testowania klasyfikatora jakości tekstu.
+
+Ten moduł dostarcza prosty interfejs wiersza poleceń (CLI) do analizy
+pojedynczych tekstów. Po uruchomieniu, skrypt wczytuje te same modele
+i komponenty, które są używane w procesie przetwarzania wsadowego
+(TextAnalyzer, Scaler, Classifier).
+
+Jest to narzędzie przeznaczone do szybkich testów, debugowania i demonstracji
+działania modelu, zapewniając spójność wyników z przetwarzaniem masowym.
+
+Użycie:
+    python interactive_classifier.py
+"""
+
+# --- Importy bibliotek ---
+
+# Biblioteki standardowe
+import os
+import pickle
+import joblib
+import pandas as pd
+from text_analyzer.analyzer import TextAnalyzer
+from text_analyzer import constants
+
+# --- Stałe globalne ---
+
+MODELS_DIR = 'models'
+
+# --- Ładowanie modeli ---
+
+# Modele i analizator są ładowane globalnie tylko raz przy starcie skryptu.
+# Dzięki temu unika się wielokrotnego, kosztownego odczytu plików z dysku
+# w pętli interaktywnej, co zapewnia natychmiastową odpowiedź na zapytanie użytkownika.
+print("Ładowanie modeli i analizatora...")
+
+with open('models/scaler.pkl', 'rb') as f:
+    scaler = pickle.load(f)
+classifier = joblib.load("models/model.joblib")
+text_analyzer = TextAnalyzer()
+
+
+# --- Definicje funkcji ---
+
+def classify_single_text(text_to_classify: str) -> tuple[str | None, float | None]:
+    """
+    Analizuje pojedynczy tekst i dokonuje predykcji jego jakości,
+    używając tego samego potoku co w przetwarzaniu wsadowym.
+
+    Potok inferencyjny:
+    1. Ekstrakcja cech lingwistycznych za pomocą TextAnalyzer.
+    2. Uporządkowanie cech zgodnie z `constants.COLUMN_ORDER`.
+    3. Skalowanie cech za pomocą wczytanego skalera.
+    4. Predykcja prawdopodobieństw klas za pomocą modelu.
+    5. Wybór najbardziej prawdopodobnej klasy i formatowanie wyniku.
+
+    Args:
+        text_to_classify (str): Ciąg znaków do analizy.
+
+    Returns:
+        tuple[str | None, float | None]: zawiera:
+            - Przewidywaną kategorię ('LOW', 'MEDIUM', 'HIGH') lub None w przypadku błędu.
+            - Pewność predykcji (w procentach, 0-100) lub None w przypadku błędu.
+    """
+    # Krok walidacji wejścia
+    if not isinstance(text_to_classify, str) or not text_to_classify.strip():
+        print("Błąd: Wprowadzony tekst jest pusty lub nie jest typu string.")
+        return None, None
+        
+    try:
+        # Krok 1: Ekstrakcja cech. Używamy `analyze_batch` z listą jednoelementową,
+        # aby zapewnić identyczne przetwarzanie jak w skrypcie masowym.
+        # `next()` pobiera pierwszy (i jedyny) wynik z generatora.
+        features_dict = next(text_analyzer.analyze_batch([text_to_classify]))
+        
+        # Krok 2: Uporządkowanie cech. To kluczowe dla spójności z modelem.
+        ordered_features = [features_dict.get(fname, 0.0) for fname in constants.COLUMN_ORDER]
+
+        # Krok 3: Przygotowanie danych do predykcji (DataFrame z jedną próbką).
+        features_df = pd.DataFrame([ordered_features], columns=constants.COLUMN_ORDER)
+        input_features_scaled = scaler.transform(features_df)
+        
+        # Krok 4: Wykonanie predykcji.
+        # Używamy `predict_proba` aby uzyskać pewność (confidence score).
+        y_pred_proba = classifier.predict_proba(input_features_scaled)
+
+        # Krok 5: Przetworzenie wyników predykcji.
+        # `y_pred_proba` ma kształt (1, 3), więc bierzemy pierwszy element `[0]`.
+        hardcoded_labels = ["LOW", "MEDIUM", "HIGH"]
+        category_probabilities = {
+            label: prob 
+            for label, prob in zip(hardcoded_labels, y_pred_proba[0])
+        }
+        
+        most_probable_category = max(category_probabilities, key=category_probabilities.get)
+        confidence = round(category_probabilities[most_probable_category] * 100, 2)
+        
+        return most_probable_category, confidence
+    
+    except Exception as e:
+        print(f"\nWystąpił nieoczekiwany błąd podczas przetwarzania tekstu.")
+        print(f"Szczegóły błędu: {e}")
+        return None, None
+
+
+# --- Główny blok wykonawczy ---
+
+if __name__ == '__main__':
+    # Wyświetlenie instrukcji dla użytkownika.
+    print("\n--- Interaktywny Klasyfikator Jakości Tekstu ---")
+    print("Wpisz tekst i naciśnij Enter, aby uzyskać klasyfikację.")
+    print("Wpisz 'quit' lub 'exit', aby zakończyć.")
+
+    # Główna pętla interaktywna (REPL: Read-Evaluate-Print Loop).
+    while True:
+        try:
+            # Read: Pobierz dane wejściowe od użytkownika.
+            user_input = input("\n> ")
+
+            # Sprawdź warunek wyjścia z pętli.
+            if user_input.lower() in ['quit', 'exit']:
+                print("Zamykanie programu...")
+                break
+
+            # Evaluate: Przetwórz dane wejściowe.
+            category, confidence = classify_single_text(user_input)
+
+            # Print: Wyświetl wynik, jeśli przetwarzanie zakończyło się sukcesem.
+            if category is not None:
+                print(f"  └── Predykcja: {category} (Pewność: {confidence}%)")
+        
+        except KeyboardInterrupt: # Obsługa Ctrl+C
+            print("\nPrzerwano przez użytkownika. Zamykanie programu...")
+            break

input_jsonl/test.jsonl

@@ -0,0 +1,10 @@
+{"text": "Pierwszy kamienny kościół w stylu romańskim powstał w tym miejscu już w XII wieku. Część romańskiej świątyni następnie rozebrano i zastąpiono budowlą gotycką. Obecnie najstarszą częścią budowli jest wieża pochodząca z pierwszej połowy XIII wieku. Prezbiterium i zakrystia pochodzą z końca XIII wieku, natomiast nawa została zbudowana na początku XIV wieku. Podejrzewa się, że planowano również rozebrać stosunkowo małą wieżę i zastąpić ją bardziej proporcjonalną, gotycką. Świątynia zachowała bardzo dużo ze swojego średniowiecznego charakteru. Renowację przeszła w 1937 roku"}
+{"text": "FJM.B.ZP \n cykl kształcenia 2019-2024\nKARTA PRZEDMIOTU (SYLABUS) \nI. INFORMACJE OGÓLNE \n1.Nazwa przedmiotu\nZdrowie publiczne\n2. Kod przedmiotu\nFJM.B.ZP\n3. Karta przedmiotu ważna od roku akademickiego \n4.Status przedmiotuobowiązkowy\n5. Wydział\nWydział Nauk o Zdrowiu w Katowicach\n6. Kierunek\nFizjoterapia\n7. Profil kształcenia\nOgólnoakademicki\n8. Poziom kształcenia (studiów)\nJednolite magisterskie\n9. Forma prowadzenia studiów\nStacjonarne\n10. Semestr\nII\n11. Jednostka realizująca \nZakład Promocji Zdrowia i Pielęgniarstwa Środowiskowego\n12. Adres, telefon kontaktowy\nKatowice, <address>, tel: 32 20-88-300\n13. Strona internetowa\n14. Kierownik jednostkidr hab. n. med. Tomasz Irzyniec\n15. Osoba odpowiedzialna za prowadzenie przedmiotudr hab. n. med. Tomasz Irzyniec\n16. Nauczyciele akademiccy realizujący przedmiot\nDR N. MED. JADWIGA KAŹMIERCZAK,ZOFIA NOWAK-KAPUSTA, DR N. MED. KATARZYNA LESZCZYŃSKA, DR N. FARM. IZABELA MACIEJEWSKA-PASZEK, MGR IZABELA PAŁKA,MGR MAGDALENA SZOSTAK-TRYBUŚ, DR MAGDALENA SZOTOWSKA\n17. Przynależność do grupy przedmiotów\nB Nauki ogólne\n18. Język prowadzenia zajęć\nPolski\n19. Wymagania wstępne i dodatkowe w zakresie wiedzy, umiejętności i innych kompetencjiogólna wiedza z nauk społecznych, epidemiologicznych, biologii, higieny\n20. Cele przedmiotu \nSymbol\nCel przedmiotu \nC1\nDostarczenie wiedzy o założeniach i zadaniach Zdrowia Publicznego. \nC2\nWyrobienie umiejętności wskazywania na kulturowe, społeczne i ekonomiczne uwarunkowania zdrowia publicznego oraz zagrożenia zdrowotne współczesnego człowieka. \nC3\nWyposażenie absolwenta w umiejętności związane z profilaktyką chorób oraz promocją zdrowia w zakresie dysfunkcji i niepełnosprawności. Badanie przesiewowe w profilaktyce dysfunkcji i niepełnosprawności.\n C4\nDostarczenie wiedzy o założeniach , zadaniach i organizacji narodowego systemu opieki zdrowotnej w Polsce i na świecie, a także działaniach NFZ. \n C5\n Dostarczenie wiedzy o jakości w opiece zdrowotnej.\n II. OPIS EFEKTÓW UCZENIA SIĘ DLA PRZEDMIOTU I ODNIESIENIE DO CELÓW PRZEDMIOTU I EUs ZE STANDARDU\nNumer efektu uczenia się dla przedmiotu (symbol)\nStudent, który zaliczył przedmiotznarozumiepotrafijest gotów do:\nOdniesienie do celów przedmiotu\nOdniesienie do efektów uczenia się ze standardu\nEUs_W1\nczynniki decydujące o zdrowiu oraz o zagrożeniu zdrowia;\nC1\nB.W11.\nEUs_W2\nzasady edukacji zdrowotnej i promocji zdrowia oraz elementy polityki społecznej dotyczącej ochrony zdrowia;\nC2\nB.W12.\nEUs_U1\norganizować działania ukierunkowane na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności;\nC1, C4\nB.U4.\nEUs_U2\nprzeprowadzić badanie przesiewowe w profilaktyce dysfunkcji i niepełnosprawności.\nC1, C3\nB.U5.\nIII. MACIERZ EFEKTÓW KSZTAŁCENIA DLA PRZEDMIOTU W ODNIESIENIU DO FORM ZAJĘĆ, STOSOWANYCH METOD DYDAKTYCZNYCH ORAZ SPOSOBÓW WERYFIKACJI\nNumer efektu uczenia się DLA PRZEDMIOTU (symbol)\nForma zajęć dydaktycznych\nMetody dydaktyczne\nSposób weryfikacji efektów kształcenia (forma zaliczeń)\nWykład\nZajęcia seminaryjne\nĆwiczenia\nZajęcia praktyczne\nPraktyka zawodowa\nBez nauczyciela\nEUs_W1\n2 \nWykład, prezentacja multimedialna\nZaliczenie na ocenę, test pytań zamkniętych, jednokrotnego wyboru\nEUs_W2\nWykład, prezentacja multimedialna\nZaliczenie na ocenę, test pytań zamkniętych, jednokrotnego wyboru\nEUs_U1\nPrezentacja multimedialnadyskusja\nZaliczenie na ocenę, test pytań zamkniętych, jednokrotnego wyboru\nEUs_U2\nprezentacja multimedialnadyskusja\nZaliczenie na ocenę, test pytań zamkniętych, jednokrotnego wyboru\nIV. TREŚCI PRZEDMIOTU I ODNIESIENIE DO EFEKTÓW UCZENIA SIĘ DLA PRZEDMIOTU\nSYMBOL\nWYKŁADY\nLICZBA GODZIN\nOdniesienie do efektów uczenia się dla przedmiotu\nWk1\n Kulturowe, społeczne i ekonomiczne uwarunkowania zdrowia publicznego. Charakterystyka istoty profilaktyki i prewencji chorób. Podstawy organizacji Narodowego Systemu Zdrowia w Polsce. Zasady funkcjonowania rynku usług medycznych w Polsce oraz wybranych krajach Unii Europejskiej\nEUs_W1\nEUs_W2\nWk2\nStruktura i funkcje jednostek opieki zdrowotnej. Definiowanie pojęć jakości w opiece zdrowotnej, kryteria opieki zdrowotnej. Metody i techniki oceny stanu zdrowia populacji\nEUs_W1\nEUs_W2\nSUMA GODZIN\nSYMBOL\nSEMINARIA\nLICZBA GODZIN\nOdniesienie do efek-tów uczenia się dla przedmiotu\nS1\nPrzedstawienia modeli poznawczych zachowań zdrowotnych\nEUs_U1\nEUs_U2\nS2\nWyjaśnienia podstawowych pojęć medycyny środowiskowej\nWyjaśnienia znaczenie stresu dla zdrowia. \nŹródła zanieczyszczenia powietrza, gleby i wód\nEUs_U1\nS3\nWyjaśnienia znaczenie stresu dla zdrowia. \nŹródła zanieczyszczenia powietrza, gleby i wód\nEUs_U2\nS4\nMiędzynarodowe programy ochrony ludności przed niekorzystnymi wpływami środowiska. Organizacja działań ukierunkowane na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności.\nEUs_U1\nS5\nCele strategiczne i cele szczegółowe Narodowego Programu Zdrowia. Badania przesiewowe w profilaktyce dysfunkcji i niepełnosprawności.\nEUs_U1\nEUs_U2\nSUMA GODZIN\nSYMBOL\nĆWICZENIA\nLICZBA GODZIN\nOdniesienie do efek-tów uczenia się dla przedmiotu\nĆw1\nĆw2\nĆw3\nSUMA GODZIN\nSYMBOL\nSYMULACJA MEDYCZNA\nLICZBA GODZIN\nOdniesienie do efektów uczenia się dla przedmiotu\nSM1\nSM2\nSUMA GODZIN\nSYMBOL\nZAJĘCIA PRAKTYCZNE\nLICZBA GODZIN\nOdniesienie do efektów uczenia się dla przedmiotu\nZ1\nZ2\nSUMA GODZIN\nSYMBOL\nPARKTYKA ZAWODOWA\nLICZBA GODZIN\nOdniesienie do efektów uczenia się dla przedmiotu\nP1\nP2\nSUMA GODZIN\nV. METODY WALIDACJI KOŃCOWYCH EFEKTÓW UCZENIA SIĘ\nZaliczenia:\nZaliczenie na ocenę, test pytań zamkniętych, jednokrotnego wyboru\nEgzamin:\n Nie dotyczy\nPraktyka zawodowa:\n Nie dotyczy\nVI. ZALECANA LITERATURA \nPODSTAWOWA\n1. Jethon Z.: Medycyna zapobiegawcza i środowiskowa. PZWL, Warszawa 2000\n2. Kozierkiewicz A.: Zdrowie 21. Zdrowie dla wszystkich w XXI w. Kraków, Uniwersyteckie Wydanie Medyczne, Vesalius 2001\n3. Kulik B., Latalski M.: Zdrowie Publiczne. Czelej sp. z oo, Lublin 2002\nWojt 4. Wojtczak A. Zdrowie Publiczne , PZWL, Warszawa , 2008\n5. Wojtczak A: Zdrowie publiczne wyzwaniem dla systemów zdrowia XXI wieku. PZWL, Warszawa, 2009.\nUZUPEŁNIAJĄCA\n1. Leowski J: Polityka zdrowotna a zdrowie publiczne. CEDEWU. Warszawa, 2008. \nVII. INNE PRZYDATNE INFORMACJE O PRZEDMIOCIE\nMateriały do zajęć\nX\nMiejsca odbywania się zajęć\nX \nMiejsca i godziny konsultacji\n X \nVIII. NAKŁAD PRACY STUDENTA (BILANS PUNKTÓW ECTS)\nRodzaj zajęć\nLiczba godzin\nPunkty ECTS\nWykłady\nSeminaria \nSymulacja medyczna\nĆwiczenia\nBezkontaktowe\nZajęcia praktyczne\nPraktyki zawodowe\nSUMA\nIX. KRYTERIA OCENIANIA\nEfekt uczenia się dla przedmiotu\nNa ocenę niedostateczną (2,0)\nNa ocenę dostateczną (3,0)\nNa ocenę dość dobrą (3,5)\nNa ocenę dobrą (4,0)\nNa ocenę ponad dobrą (4,5)\nNa ocenę bardzo dobrą (5,0)\nEUs_W1\nNie opanował materiału o czynnikach decydujących o zdrowiu oraz o zagrożeniu zdrowia\nOpanował materiał w minimalnym zakresię o czynnikach decydujących o zdrowiu oraz o zagrożeniu zdrowia\nOpanował materiał w niewielkim zakresie o czynnikach decydujących o zdrowiu oraz o zagrożeniu zdrowia\nOpanował materiał w podstawowym zakresie o czynnikach decydujących o zdrowiu oraz o zagrożeniu zdrowia\nOpanował materiał w niemal całkowitym zakresie o czynnikach decydujących o zdrowiu oraz o zagrożeniu zdrowia\nOpanował materiał w całkowitym zakresie o czynnikach decydujących o zdrowiu oraz o zagrożeniu zdrowia\nEUs_W2\nNie opanował materiału nt. zasad edukacji zdrowotnej i promocji zdrowia\nOpanował materiał w minimalnym zakresie nt. zasad edukacji zdrowotnej i promocji zdrowia\nOpanował materiał w niewielkim zakresie nt. zasad edukacji zdrowotnej i promocji zdrowia\nOpanował materiał w podstawowym zakresie nt. zasad edukacji zdrowotnej i promocji zdrowia\nOpanował materiał w niemal całkowitym zakresie nt. zasad edukacji zdrowotnej i promocji zdrowia\nOpanował materiał w całkowitym zakresie nt. zasad edukacji zdrowotnej i promocji zdrowia\nEUs_U1\nNie opanował materiału o organizowaniu działań ukierunkowanych na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności\nOpanował materiał w minimalnym zakresie o organizowaniu działań ukierunkowanych na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności\nOpanował materiał w niewielkim zakresie o organizowaniu działań ukierunkowanych na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności\nOpanował materiał w podstawowym zakresie o organizowaniu działań ukierunkowanych na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności\nOpanował materiał w niemal całkowitym zakresie o organizowaniu działań ukierunkowanych na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności\nOpanował materiał w całkowitym zakresie o organizowaniu działań ukierunkowanych na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności\nEUs_U2\nNie opanował materiału nt. przeprowadzenia badań przesiewowych w profilaktyce dysfunkcji i niepełnosprawności\nOpanował materiał w minimalnym zakresie nt. przeprowadzenia badań przesiewowych w profilaktyce dysfunkcji i niepełnosprawności\nOpanował materiał w niewielkim zakresie nt. przeprowadzenia badań przesiewowych w profilaktyce dysfunkcji i niepełnosprawności\nOpanował materiał w podstawowym zakresie nt. przeprowadzenia badań przesiewowych w profilaktyce dysfunkcji i niepełnosprawności\nOpanował materiał w niemal całkowitym zakresie nt. przeprowadzenia badań przesiewowych w profilaktyce dysfunkcji i niepełnosprawności\nOpanował materiał w całkowitym zakresie nt. przeprowadzenia badań przesiewowych w profilaktyce dysfunkcji i niepełnosprawności\n Zatwierdzono:\n ...\n (data i podpis Kierownika Katedry lub Zakładu"}
+{"text": "Sztuka romańska (styl romański, romanizm, romańszczyzna) – styl w sztukach plastycznych XI–XIII wieku, ukształtowany w Europie zachodniej (na zachód od Renu), na terenach zajmowanych obecnie przez dzisiejsze północne Włochy, Francję i zachodnie Niemcy. Wkrótce zasięgiem nowego stylu objęte zostały kolejne tereny Europy i wraz z prowadzonymi wyprawami krzyżowymi przeniknął na Bliski Wschód. Czas trwania sztuki romańskiej był niejednolity; występowały także różnice w stylu między poszczególnymi regionami. Sztuka ta wyrosła na bazie antyku oraz doświadczeń sztuki karolińskiej i ottońskiej, także bizantyńskiej. Romanizm związany był z działalnością Kościoła katolickiego i stąd obecny był w głównej mierze w sztuce sakralnej."}
+{"text": "Przypisy\n Jerzy Z. Łoziński: Pomniki sztuki w Polsce. T. 1: Małopolska. Warszawa: Wydawnictwo „Arkady”, 1985, s. 401–402. ISBN 83-213-3005-3.\nLinki zewnętrzne\nTransRomanica – The Romanesque Routes of European Heritage\nKlasztor Cystersów w Sulejowie – Podklasztorzu\nEwangeliarz Anastazji na stronie Polona.pl\nSakramentarz tyniecki na stronie Polona.pl\nKontrola autorytatywna (ruch artystyczny):\nLCCN: sh85007873GND: 4050482-7NDL: 00569670BnF: 11930977jBNCF: 4264NKC: ph125218BNE: XX525353J9U: 987007295497105171\nEncyklopedie internetowe:\nBritannica: art/Romanesque-art\nKategoria: Sztuka romańska"}
+{"text": "Na temat historii sakramentarza w wiekach XII–XIX jest niewiele informacji. Prawdopodobnie przynajmniej do XIII w. był używany jako księga liturgiczna, później traktowano go jako cenny zabytek. Wiadomo, że w 1656, w czasie wojen szwedzkich, księga została zrabowana z Tyńca przez Szwedów, a następnie odkupiona w Krakowie, skąd powróciła do klasztoru. Informuje o tym notka na pierwszej karcie: Anno domini 1656 die 11 Augusti tę xięgę w klasztorze tynieckim wyrabowano gdy obóz Szwedzi rozproszyli Polaków tamże pod tymże klasztorem y tę xiążkę odkupiono w Krakowie. Obecna oprawa rękopisu pochodzi z XVII wieku[4]. W opracowaniach przyjmowano, że księga mogła mieć wcześniej drogocenną oprawę z kości słoniowej, która została odłączona po zrabowaniu przez Szwedów[6]. Możliwe jednak, że zniszczona oprawa została wymieniona jeszcze przed zrabowaniem rękopisu."}
+{"text": "Przednia okładka\nPrzednia okładka\n \nMiniatura Maiestas Domini\nMiniatura Maiestas Domini\n \nMiniatura Ukrzyżowanie\nMiniatura Ukrzyżowanie\n \nInicjał całostronnicowy V\nInicjał całostronnicowy V\n \nInicjał całostronnicowy D\nInicjał całostronnicowy D\n \nOzdobna strona spisana na purpurze\nOzdobna strona spisana na purpurze\n \nOzdobna strona spisana na purpurze\nOzdobna strona spisana na purpurze\n \nPierwsza strona tekstu\nPierwsza strona tekstu\n \nStrona z inicjałem C\nStrona z inicjałem C\n \nStrona z dopisanymi glosami i neumami\nStrona z dopisanymi glosami i neumami"}
+{"text": "Uchwała Nr 19\nZarządu Związku Rzemiosła Polskiego\nz dnia 5 grudnia 2017 r.\nznak: NO-I-130/Standardy/17\nw sprawie: ustalenia standardów wymagań egzaminacyjnych na egzamin czeladniczy przeprowadzany\nprzez komisje egzaminacyjne izb rzemieślniczych.\nNa podstawie art.3, ust.3a ustawy o rzemiośle z dnia 22 marca 1989 r. (Dz. U. 2016, poz. 1285) oraz §2\nust.2, pkt.7 Statutu Związku Rzemiosła Polskiego - Zarząd Związku Rzemiosła Polskiego uchwala co\nnastępuje:\n§1\n1. Ustala się standard wymagań egzaminacyjnych w zawodzie odpowiadającym danemu rodzajowi\nrzemiosła, występującym w klasyfikacji zawodów i specjalności rynku pracy oraz klasyfikacji zawodów\nszkolnictwa zawodowego uwzględniając wymagania określone w podstawie programowej\nkształcenia w zawodach, dla n/w zawodu:\nNr\nstandardu\nKod z wykazu zawodów, wg\nklasyfikacji zawodów i\nspecjalności dla potrzeb\nrynku pracy\nNazwa zawodu\n6/cz 721104 MODELARZ ODLEWNICZY\n§2\nStandard, o którym mowa w § 1, uwzględniony jest w ramach przygotowywania zadań egzaminacyjnych\ndo etapu praktycznego i do części pisemnej oraz części ustnej etapu teoretycznego egzaminu\nczeladniczego, o którym mowa w § 12 rozporządzenia Ministra Edukacji Narodowej z dnia 10 stycznia\n2017 r. w sprawie egzaminu czeladniczego, egzaminu mistrzowskiego oraz egzaminu sprawdzającego\nprzeprowadzanych przez komisje egzaminacyjne izb rzemieślniczych (Dz.U. z 2017 r., poz. 89)\n§3\nUchwała wchodzi w życie z dniem podjęcia.\n/-/ /-/\n ZASTĘPCA PREZESA PREZES Zarządu ZRP\n "}
+{"text": "Alternatywy 4 to jeden z najważniejszych i najbardziej kultowych polskich seriali komediowych, który stał się nie tylko rozrywką, ale i wyjątkowym zwierciadłem epoki schyłkowego PRL-u. Wyreżyserowany przez Stanisława Bareję według scenariusza Janusza Płońskiego i Macieja Rybińskiego (wzbogaconego o autorskie pomysły Barei), serial powstał na początku lat 80., a jego emisja była przez kilka lat blokowana przez cenzurę ze względu na ostrą, satyryczną krytykę rzeczywistości socjalistycznej.\n\nFabuła i bohaterowie\nAkcja serialu rozgrywa się w nowo wybudowanym bloku na warszawskim Ursynowie przy fikcyjnej ulicy Alternatywy 4, gdzie wprowadzają się lokatorzy pochodzący z różnych grup społecznych: robotnik, lekarz, nauczycielka, karierowicz, emerytka, naukowiec, artystka, przedstawiciel prywatnej inicjatywy, a nawet stypendysta z Harvardu. Ich codzienne życie staje się areną walki z absurdami PRL-owskiej biurokracji, niedoróbkami budowlanymi, reglamentacją towarów i wszechobecną kontrolą. Centralną postacią jest gospodarz domu Stanisław Anioł (Roman Wilhelmi) - drobny karierowicz, marzący o władzy i porządku, który swoimi działaniami doprowadza mieszkańców do granic wytrzymałości.\n\nW obsadzie znaleźli się wybitni polscy aktorzy: Bożena Dykiel (Mieczysława Anioł), Witold Pyrkosz (Józef Balcerek), Zofia Czerwińska (Zofia Balcerkowa), Jerzy Turek (Tadeusz Kubiak), Wojciech Pokora (docent Furman), Stanisława Celińska (Bożena Lewicka), Mieczysław Voit (profesor Rozwadowski), Jerzy Bończak (Krzysztof Manc), Jerzy Kryszak (lekarz Kołek), Kazimierz Kaczor (Zygmunt Kotek), Janusz Gajos (Jan Winnicki) i wielu innych.\n\nTematyka i przesłanie\nSerial jest mistrzowską satyrą na realia późnego PRL-u. Bareja i jego współscenarzyści stworzyli spójny ekranowy mikrokosmos, będący parafrazą państwa policyjnego z całą machiną nacisku i obywatelami, których jedynym celem wydaje się przechytrzenie wszechwładnego gospodarza. Każdy odcinek to ironiczny komentarz do absurdów codzienności: walki o towar, awarii budowlanych, biurokracji, kolejek, czy prób narzucania ideologii. Serial nie stroni od aluzji do wydarzeń historycznych i politycznych - pojawiają się odniesienia do emigracji po Marcu 1968, strajków robotniczych, a nawet zbrodni katyńskiej, przemycane w dialogach i retrospekcjach bohaterów.\n\nWażnym motywem jest również siła wspólnoty - mieszkańcy, mimo różnic, uczą się współpracować i przeciwstawiać się opresji, co w finale prowadzi do spektakularnej „zemsty” na Aniele podczas wizyty zagranicznej delegacji, gdy blok zostaje celowo przemieniony w ruderę, a Anioł kompromituje się przed władzami.\n\nProdukcja i recepcja\nProdukcja serialu rozpoczęła się w 1981 roku, jednak ze względu na wprowadzenie stanu wojennego i bojkot telewizji przez aktorów, realizacja była kilkakrotnie przerywana i wznowiona dopiero w 1982 roku. Po ukończeniu w 1983 roku emisja została zablokowana przez cenzurę na ponad trzy lata. Serial krążył w nielegalnym obiegu na kasetach wideo, a do oficjalnej telewizji trafił dopiero w 1986 roku, już po usunięciu niektórych najbardziej krytycznych scen. Dopiero w 2014 roku Telewizja Polska opublikowała zrekonstruowaną wersję, przywracającą ocenzurowane fragmenty.\n\nPoczątkowo przyjęcie przez krytyków było chłodne - zarzucano brak spójności i chaotyczny montaż, jednak widzowie szybko docenili serial za inteligentny humor, celne obserwacje i galerię barwnych postaci. „Alternatywy 4” zyskały status kultowego dzieła, a cytaty, sceny i postacie na stałe weszły do polskiej popkultury.\n\nDziedzictwo i znaczenie\nDziś „Alternatywy 4” są nie tylko rozrywką, ale także cenną lekcją historii i socjologicznym portretem schyłkowego PRL-u. Serial regularnie powraca na antenę, doczekał się cyfrowej rekonstrukcji, a jego bohaterowie i motywy są przedmiotem analiz, wspomnień i licznych odniesień w kulturze współczesnej. Stanowi wzorzec polskiej satyry, będąc jednocześnie świadectwem epoki, w której powstał - epoki absurdu, sprytu i walki o godność w codziennym życiu.\n"}
+{"text": "Akslop, może to jakieś duńskie miasto\njestem tu przejazdem, co prawda na\nnieco dłużej, bo ministrowie rolnictwa\nusiedli na bańkach z mlekiem i zatarasowali\nwszystkie szosy, zdążono mnie trochę rozwałkować\nlokalnymi osobliwościami, jak Diwron\nczy Cziweżór. kochałem tutejsze dziewczyny,\npolicja parę razy pogoniła mnie po\nchodnikach, mieszkańcy są bardzo serdeczni,\nnamawiają, żebym został na dłużej, obiecuję\nwam, gdziekolwiek się znajdę, zawsze pamiętać będę\nAkslop."}
+{"text": "Bielik - orzeł, czy nie orzeł?\nBielik, birkut, orzeł bielik, orzeł białogłów, orzeł białogon. Z pewnością znalazłoby się jeszcze kilka nazw określających tego potężnego drapieżnika, którego sylwetka prawdopodobnie od wieków zdobi godło naszego państwa. Prawdopodobnie, bo nierozwiązany spór o to trwa od wielu lat. Przedmiotem sporu są oczywiście dwa największe ptaki drapieżne występujące w naszym kraju - tytułowy bielik oraz minimalnie mniejszy orzeł przedni.\n\nGdyby wziąć pod uwagę fakt, że ten pierwszy z wiekiem stają się coraz jaśniejszy, niemal siwy z czysto białym ogonem, to jest mu już całkiem blisko do orła z naszego godła. Kolejnym argumentem przemawiającym za bielikiem są nieopierzone skoki widoczne na symbolu narodowym. Orły z rodzaju Aquila, do których należy orzeł przedni, mają skoki pokryte piórami do samej nasady palców.\n\nWedług naukowców bielik jednak nie jest orłem, ale należy do rodzaju Haliaeetus, czyli orłanów. Genetycznie więc bliżej mu do kani rudej, niż do rodzaju Aquila (orłów właściwych), którego przedstawicielem jest wspomniany już orzeł przedni. Nie zmienia to faktu, że w wielu językach, wliczając w to również nazwę naukową, bielik jest nazywany orłem. Przykładami mogą być niemiecki Seeadler (orzeł morski), angielski White-tailed eagle (orzeł z białym ogonem), czy wreszcie Haliaeetus albicilla, gdzie pierwszy człon jest połączeniem dwóch greckich słów hals – morze i aetos – orzeł. Określenie albi-cilla oznacza biały ogon.\n\nSporo zamieszania w nazewnictwo wprowadziło również dodanie bielikowi przedrostka orzeł w latach 70., kiedy gatunkowi zagrażało wyginięcie. Bezlitośnie był wówczas tępiony jako szkodnik, rzekomo siejący spustoszenie w hodowlach ryb. Nazwanie go orłem miało podnieść jego prestiż i wzbudzić większy szacunek wśród potencjalnych prześladowców. Faktycznie, bielik żywi się rybami. Zwłaszcza tymi łatwo dostępnymi - słabszymi, chorymi, martwymi, czy przebywającymi tuż pod powierzchnią wody. Ptaki te nauczyły się również doskonale korzystać z resztek wyrzucanych za burtę przez statki rybackie. Często można obserwować bieliki podążające za kutrami i cierpliwie wyczekujące na wyrzuconą z jego pokładu rybę, którą błyskawicznie podejmują z powierzchni wody.\n\nCiekawostką jest, że uprawiają również kleptopasożytnictwo, czyli podbierają upolowaną zdobycz wydrom, kormoranom, mewom, czy rybołowom. Ryby nie są jednak jedynym składnikiem diety bielików. Równie chętnie polują one na ptactwo wodno-błotne, zwłaszcza łyski i krzyżówki. W tym przypadku wyspecjalizowały się w polowaniu w tandemie, polegającym na tym, że jeden z osobników przelatując nad szuwarami, stara się wypłoszyć z nich kaczki lub łyski, a w tym samym czasie drugi przypuszcza atak na ofiarę, która nieostrożnie pojawiła się na otwartej wodzie.\n\nBardzo ważnym składnikiem diety bielików jest również padlina, która w okresie zimowym, zwłaszcza u osobników młodych stanowi znaczący procent pobieranego pokarmu. Drapieżniki te słysząc stado kruków, które już wcześniej namierzyły resztki, po ich głosie szybko lokalizują stołówkę. Jeśli jest ona atrakcyjna, może się na niej zgromadzić nawet kilkanaście bielików.\n\nPo kryzysie z lat 70. sytuacja gatunku w naszym kraju zdecydowanie się poprawiła i aktualnie bielik nie jest ptakiem, którego spotkanie graniczy z cudem. Pamiętać jednak należy, że nadal podlega statusowi ochrony ścisłej, a wokół jego gniazd wyznacza się strefy ochronne. Umieszczony jest również w Polskiej Czerwonej Księdze Zwierząt i Załączniku Dyrektywy Ptasiej."}

input_parquet/test.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:afcf64008a9d28a6f5dc04c5094b79bfdaf398d16ae7499261c6d93812b86f49
+size 21796

main_jsonl.py

@@ -0,0 +1,155 @@
+# -*- coding: utf-8 -*-
+"""
+Skrypt do masowego przetwarzania plików JSONL w celu klasyfikacji jakości tekstu.
+
+Ten moduł jest przeznaczony do wydajnej analizy dużych zbiorów danych.
+Skanuje folder wejściowy w poszukiwaniu plików .jsonl, przetwarza każdy z nich
+równolegle z użyciem wielu procesów (`multiprocessing`), a następnie zapisuje
+wyniki do nowego pliku w folderze wyjściowym, zachowując oryginalną strukturę
+danych i dodając wyniki klasyfikacji.
+"""
+
+# --- Importy bibliotek ---
+import os
+import glob
+import time
+import pickle
+import joblib
+import pandas as pd
+import json
+import numpy as np
+from tqdm import tqdm
+from typing import List
+
+from text_analyzer.analyzer import TextAnalyzer
+from text_analyzer import constants # Potrzebujemy COLUMN_ORDER
+
+# --- Ładowanie modeli i konfiguracja ---
+
+# Modele są ładowane na poziomie globalnym. W systemach uniksowych (Linux/macOS)
+# dzięki mechanizmowi 'fork', procesy-dzieci dziedziczą te obiekty bez ponownego
+# odczytu z dysku. Na Windowsie ('spawn'), każdy proces-dziecko musi zaimportować
+# skrypt i załadować modele od nowa.
+
+with open('models/scaler.pkl', 'rb') as f:
+    scaler = pickle.load(f)
+classifier = joblib.load("models/model.joblib")
+text_analyzer = TextAnalyzer()
+
+# Liczba procesów roboczych do wykorzystania podczas analizy tekstów wewnątrz jednego pliku.
+NUM_PROCESSES = 10
+
+class NumpyJSONEncoder(json.JSONEncoder):
+    """
+    Specjalny enkoder JSON do obsługi typów danych z NumPy,
+    które nie są domyślnie serializowalne.
+    """
+    def default(self, obj):
+        if isinstance(obj, np.integer):
+            return int(obj)
+        if isinstance(obj, np.floating):
+            return float(obj)
+        if isinstance(obj, np.ndarray):
+            return obj.tolist()
+        return super(NumpyJSONEncoder, self).default(obj)
+
+# --- Definicje funkcji ---
+
+def predict_batch(texts: List[str], analyzer: TextAnalyzer, scaler_model, classifier_model) -> List[tuple[str | None, float | None]]:
+    """
+    Przetwarza całą listę tekstów wsadowo i zwraca listę predykcji.
+    """
+    all_features = []
+    
+    # Krok 1: Ekstrakcja cech dla wszystkich tekstów za jednym zamachem
+    # Używamy tqdm, aby śledzić postęp analizy wsadowej
+    feature_generator = analyzer.analyze_batch(texts, batch_size=NUM_PROCESSES) # Dostosuj batch_size
+    for features_dict in tqdm(feature_generator, total=len(texts), desc="Analiza cech"):
+        ordered_features = [features_dict.get(fname, 0.0) for fname in constants.COLUMN_ORDER]
+        all_features.append(ordered_features)
+    
+    if not all_features:
+        return []
+
+    # Krok 2: Przygotowanie i skalowanie wszystkich wektorów naraz
+    features_df = pd.DataFrame(all_features, columns=constants.COLUMN_ORDER)
+    features_scaled = scaler_model.transform(features_df)
+
+    # Krok 3: Predykcja dla całej paczki
+    pred_probas = classifier_model.predict_proba(features_scaled)
+
+    # Krok 4: Przetworzenie wyników
+    results = []
+    hardcoded_labels = ["LOW", "MEDIUM", "HIGH"]
+    for single_pred_proba in pred_probas:
+        category_prob = {
+            label: prob
+            for label, prob in zip(hardcoded_labels, single_pred_proba)
+        }
+        # Sortujemy, aby znaleźć kategorię z najwyższym prawdopodobieństwem
+        sorted_category_prob = sorted(category_prob.items(), key=lambda item: item[1], reverse=True)
+        
+        # Pobieramy nazwę i wartość
+        most_probable_category, confidence = sorted_category_prob[0]
+        
+        results.append((most_probable_category, round(float(confidence) * 100, 2)))
+        
+    return results
+
+def process_jsonl_file(input_file: str, output_file: str):
+    """Orkiestruje proces przetwarzania pojedynczego pliku .jsonl wsadowo."""
+    original_data = []
+    texts_to_process = []
+    try:
+        with open(input_file, 'r', encoding='utf-8') as f:
+            for line in f:
+                json_object = json.loads(line)
+                original_data.append(json_object)
+                texts_to_process.append(json_object.get('text', ''))
+    except Exception as e:
+        print(f"Nie udało się wczytać pliku {input_file}. Błąd: {e}")
+        return
+        
+    print(f"Wczytano {len(texts_to_process)} wierszy. Rozpoczynam przetwarzanie wsadowe...")
+    
+    # Wywołujemy funkcję wsadową
+    results = predict_batch(texts_to_process, text_analyzer, scaler, classifier)
+
+    # Zapisywanie wyników
+    try:
+        with open(output_file, 'w', encoding='utf-8') as f:
+            for i, (category, confidence) in enumerate(results):
+                output_object = original_data[i]
+                output_object['quality_ai'] = category
+                output_object['confidence'] = confidence
+                json_line = json.dumps(output_object, ensure_ascii=False, cls=NumpyJSONEncoder)
+                f.write(json_line + '\n')
+    except Exception as e:
+        print(f"Nie udało się zapisać pliku {output_file}. Błąd: {e}")
+
+# --- Główny blok wykonawczy ---
+
+if __name__ == '__main__':
+    print("Inicjalizacja skryptu przetwarzania wsadowego...")
+    
+    INPUT_FOLDER = 'input_jsonl'
+    OUTPUT_FOLDER = 'output'
+    os.makedirs(OUTPUT_FOLDER, exist_ok=True)
+    
+    # Skanowanie plików
+    jsonl_files = glob.glob(os.path.join(INPUT_FOLDER, '*.jsonl'))
+    
+    for file_path in jsonl_files:
+        start_time = time.time()
+        output_file = os.path.join(OUTPUT_FOLDER, os.path.basename(file_path))
+        
+        if os.path.exists(output_file):
+            print(f"POMIJAM - plik już istnieje: {output_file}")
+            continue
+            
+        print(f"\n--- Przetwarzanie pliku: {file_path} ---")
+        process_jsonl_file(file_path, output_file)
+        end_time = time.time()
+        print(f"Processing time: {end_time - start_time:.4f} seconds")
+        
+    print("\nWszystkie pliki zostały przetworzone!")

main_parquet.py

@@ -0,0 +1,167 @@
+# -*- coding: utf-8 -*-
+"""
+Skrypt do masowego przetwarzania plików parquet w celu klasyfikacji jakości tekstu.
+
+Ten moduł jest przeznaczony do wydajnej analizy dużych zbiorów danych.
+Skanuje folder wejściowy w poszukiwaniu plików .parquet, przetwarza każdy z nich
+równolegle z użyciem wielu procesów (`multiprocessing`), a następnie zapisuje
+wyniki do nowego pliku w folderze wyjściowym, zachowując oryginalną strukturę
+danych i dodając wyniki klasyfikacji.
+"""
+
+# --- Importy bibliotek ---
+import os
+import glob
+import time
+import pickle
+import joblib
+import pandas as pd
+import json
+import numpy as np
+from tqdm import tqdm
+from typing import List
+
+from text_analyzer.analyzer import TextAnalyzer
+from text_analyzer import constants # Potrzebujemy COLUMN_ORDER
+
+# --- Ładowanie modeli i konfiguracja ---
+
+# Modele są ładowane na poziomie globalnym. W systemach uniksowych (Linux/macOS)
+# dzięki mechanizmowi 'fork', procesy-dzieci dziedziczą te obiekty bez ponownego
+# odczytu z dysku. Na Windowsie ('spawn'), każdy proces-dziecko musi zaimportować
+# skrypt i załadować modele od nowa.
+
+with open('models/scaler.pkl', 'rb') as f:
+    scaler = pickle.load(f)
+classifier = joblib.load("models/model.joblib")
+text_analyzer = TextAnalyzer()
+
+# Liczba procesów roboczych do wykorzystania podczas analizy tekstów wewnątrz jednego pliku.
+NUM_PROCESSES = 10
+
+class NumpyJSONEncoder(json.JSONEncoder):
+    """
+    Specjalny enkoder JSON do obsługi typów danych z NumPy,
+    które nie są domyślnie serializowalne.
+    """
+    def default(self, obj):
+        if isinstance(obj, np.integer):
+            return int(obj)
+        if isinstance(obj, np.floating):
+            return float(obj)
+        if isinstance(obj, np.ndarray):
+            return obj.tolist()
+        return super(NumpyJSONEncoder, self).default(obj)
+
+# --- Definicje funkcji ---
+
+def predict_batch(texts: List[str], analyzer: TextAnalyzer, scaler_model, classifier_model) -> List[tuple[str | None, float | None]]:
+    """
+    Przetwarza całą listę tekstów wsadowo i zwraca listę predykcji.
+    """
+    all_features = []
+    
+    # Krok 1: Ekstrakcja cech dla wszystkich tekstów za jednym zamachem
+    # Używamy tqdm, aby śledzić postęp analizy wsadowej
+    feature_generator = analyzer.analyze_batch(texts, batch_size=NUM_PROCESSES) # Dostosuj batch_size
+    for features_dict in tqdm(feature_generator, total=len(texts), desc="Analiza cech"):
+        ordered_features = [features_dict.get(fname, 0.0) for fname in constants.COLUMN_ORDER]
+        all_features.append(ordered_features)
+    
+    if not all_features:
+        return []
+
+    # Krok 2: Przygotowanie i skalowanie wszystkich wektorów naraz
+    features_df = pd.DataFrame(all_features, columns=constants.COLUMN_ORDER)
+    features_scaled = scaler_model.transform(features_df)
+
+    # Krok 3: Predykcja dla całej paczki
+    pred_probas = classifier_model.predict_proba(features_scaled)
+
+    # Krok 4: Przetworzenie wyników
+    results = []
+    hardcoded_labels = ["LOW", "MEDIUM", "HIGH"]
+    for single_pred_proba in pred_probas:
+        category_prob = {
+            label: prob
+            for label, prob in zip(hardcoded_labels, single_pred_proba)
+        }
+        # Sortujemy, aby znaleźć kategorię z najwyższym prawdopodobieństwem
+        sorted_category_prob = sorted(category_prob.items(), key=lambda item: item[1], reverse=True)
+        
+        # Pobieramy nazwę i wartość
+        most_probable_category, confidence = sorted_category_prob[0]
+        
+        results.append((most_probable_category, round(float(confidence) * 100, 2)))
+        
+    return results
+
+def process_parquet_file(input_file: str, output_file: str):
+    """
+    Orkiestruje proces przetwarzania pojedynczego pliku .parquet wsadowo.
+    Wczytuje plik, przetwarza kolumnę 'text', a następnie dopisuje
+    wynikowe kolumny 'quality_ai' i 'confidence' do nowego pliku Parquet.
+    """
+    try:
+        # Krok 1: Wczytaj cały plik Parquet do ramki danych pandas
+        df = pd.read_parquet(input_file)
+    except Exception as e:
+        print(f"Nie udało się wczytać pliku {input_file}. Błąd: {e}")
+        return
+
+    # Sprawdzenie, czy kolumna 'text' istnieje
+    if 'text' not in df.columns:
+        print(f"Błąd: W pliku {input_file} brakuje wymaganej kolumny 'text'.")
+        return
+
+    # Krok 2: Przygotuj dane do przetwarzania wsadowego
+    texts_to_process = df['text'].tolist()
+    print(f"Wczytano {len(texts_to_process)} wierszy. Rozpoczynam przetwarzanie wsadowe...")
+
+    # Krok 3: Wywołaj funkcję wsadową (ta część pozostaje bez zmian)
+    # Zakładamy, że predict_batch zwraca listę krotek: [(kategoria, pewność), ...]
+    results = predict_batch(texts_to_process, text_analyzer, scaler, classifier)
+
+    # Krok 4: Dodaj wyniki jako nowe kolumny do ramki danych
+    # "Rozpakowujemy" listę krotek na dwie oddzielne listy
+    categories = [res[0] for res in results]
+    confidences = [res[1] for res in results]
+
+    df['quality_ai'] = categories
+    df['confidence'] = confidences
+
+    # Krok 5: Zapisz zmodyfikowaną ramkę danych do nowego pliku Parquet
+    try:
+        # index=False zapobiega zapisaniu indeksu pandas jako kolumny w pliku
+        df.to_parquet(output_file, index=False)
+        print(df.head(10))
+        print(f"Pomyślnie zapisano przetworzone dane do pliku {output_file}")
+    except Exception as e:
+        print(f"Nie udało się zapisać pliku {output_file}. Błąd: {e}")
+
+# --- Główny blok wykonawczy ---
+
+if __name__ == '__main__':
+    print("Inicjalizacja skryptu przetwarzania wsadowego...")
+    
+    INPUT_FOLDER = 'input_parquet'
+    OUTPUT_FOLDER = 'output'
+    os.makedirs(OUTPUT_FOLDER, exist_ok=True)
+    
+    # Skanowanie plików
+    parquet_files = glob.glob(os.path.join(INPUT_FOLDER, '*.parquet'))
+    
+    for file_path in parquet_files:
+        start_time = time.time()
+        output_file = os.path.join(OUTPUT_FOLDER, os.path.basename(file_path))
+        
+        if os.path.exists(output_file):
+            print(f"POMIJAM - plik już istnieje: {output_file}")
+            continue
+            
+        print(f"\n--- Przetwarzanie pliku: {file_path} ---")
+        process_parquet_file(file_path, output_file)
+        end_time = time.time()
+        print(f"Processing time: {end_time - start_time:.4f} seconds")
+        
+    print("\nWszystkie pliki zostały przetworzone!")

models/model.joblib

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:273db6e678f5c8cfd0fa4fde15c49996c9b4d49daeea4e7d6aaaac50e7c78b98
+size 1085977

models/scaler.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:fab48617bcd5953b85f6202bd1e65baec5f5664bd2e1bf3ad926e08d1b9f6945
+size 9468

output/test.jsonl

@@ -0,0 +1,10 @@
+{"text": "Pierwszy kamienny kościół w stylu romańskim powstał w tym miejscu już w XII wieku. Część romańskiej świątyni następnie rozebrano i zastąpiono budowlą gotycką. Obecnie najstarszą częścią budowli jest wieża pochodząca z pierwszej połowy XIII wieku. Prezbiterium i zakrystia pochodzą z końca XIII wieku, natomiast nawa została zbudowana na początku XIV wieku. Podejrzewa się, że planowano również rozebrać stosunkowo małą wieżę i zastąpić ją bardziej proporcjonalną, gotycką. Świątynia zachowała bardzo dużo ze swojego średniowiecznego charakteru. Renowację przeszła w 1937 roku", "quality_ai": "HIGH", "confidence": 99.97}
+{"text": "FJM.B.ZP \n cykl kształcenia 2019-2024\nKARTA PRZEDMIOTU (SYLABUS) \nI. INFORMACJE OGÓLNE \n1.Nazwa przedmiotu\nZdrowie publiczne\n2. Kod przedmiotu\nFJM.B.ZP\n3. Karta przedmiotu ważna od roku akademickiego \n4.Status przedmiotuobowiązkowy\n5. Wydział\nWydział Nauk o Zdrowiu w Katowicach\n6. Kierunek\nFizjoterapia\n7. Profil kształcenia\nOgólnoakademicki\n8. Poziom kształcenia (studiów)\nJednolite magisterskie\n9. Forma prowadzenia studiów\nStacjonarne\n10. Semestr\nII\n11. Jednostka realizująca \nZakład Promocji Zdrowia i Pielęgniarstwa Środowiskowego\n12. Adres, telefon kontaktowy\nKatowice, <address>, tel: 32 20-88-300\n13. Strona internetowa\n14. Kierownik jednostkidr hab. n. med. Tomasz Irzyniec\n15. Osoba odpowiedzialna za prowadzenie przedmiotudr hab. n. med. Tomasz Irzyniec\n16. Nauczyciele akademiccy realizujący przedmiot\nDR N. MED. JADWIGA KAŹMIERCZAK,ZOFIA NOWAK-KAPUSTA, DR N. MED. KATARZYNA LESZCZYŃSKA, DR N. FARM. IZABELA MACIEJEWSKA-PASZEK, MGR IZABELA PAŁKA,MGR MAGDALENA SZOSTAK-TRYBUŚ, DR MAGDALENA SZOTOWSKA\n17. Przynależność do grupy przedmiotów\nB Nauki ogólne\n18. Język prowadzenia zajęć\nPolski\n19. Wymagania wstępne i dodatkowe w zakresie wiedzy, umiejętności i innych kompetencjiogólna wiedza z nauk społecznych, epidemiologicznych, biologii, higieny\n20. Cele przedmiotu \nSymbol\nCel przedmiotu \nC1\nDostarczenie wiedzy o założeniach i zadaniach Zdrowia Publicznego. \nC2\nWyrobienie umiejętności wskazywania na kulturowe, społeczne i ekonomiczne uwarunkowania zdrowia publicznego oraz zagrożenia zdrowotne współczesnego człowieka. \nC3\nWyposażenie absolwenta w umiejętności związane z profilaktyką chorób oraz promocją zdrowia w zakresie dysfunkcji i niepełnosprawności. Badanie przesiewowe w profilaktyce dysfunkcji i niepełnosprawności.\n C4\nDostarczenie wiedzy o założeniach , zadaniach i organizacji narodowego systemu opieki zdrowotnej w Polsce i na świecie, a także działaniach NFZ. \n C5\n Dostarczenie wiedzy o jakości w opiece zdrowotnej.\n II. OPIS EFEKTÓW UCZENIA SIĘ DLA PRZEDMIOTU I ODNIESIENIE DO CELÓW PRZEDMIOTU I EUs ZE STANDARDU\nNumer efektu uczenia się dla przedmiotu (symbol)\nStudent, który zaliczył przedmiotznarozumiepotrafijest gotów do:\nOdniesienie do celów przedmiotu\nOdniesienie do efektów uczenia się ze standardu\nEUs_W1\nczynniki decydujące o zdrowiu oraz o zagrożeniu zdrowia;\nC1\nB.W11.\nEUs_W2\nzasady edukacji zdrowotnej i promocji zdrowia oraz elementy polityki społecznej dotyczącej ochrony zdrowia;\nC2\nB.W12.\nEUs_U1\norganizować działania ukierunkowane na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności;\nC1, C4\nB.U4.\nEUs_U2\nprzeprowadzić badanie przesiewowe w profilaktyce dysfunkcji i niepełnosprawności.\nC1, C3\nB.U5.\nIII. MACIERZ EFEKTÓW KSZTAŁCENIA DLA PRZEDMIOTU W ODNIESIENIU DO FORM ZAJĘĆ, STOSOWANYCH METOD DYDAKTYCZNYCH ORAZ SPOSOBÓW WERYFIKACJI\nNumer efektu uczenia się DLA PRZEDMIOTU (symbol)\nForma zajęć dydaktycznych\nMetody dydaktyczne\nSposób weryfikacji efektów kształcenia (forma zaliczeń)\nWykład\nZajęcia seminaryjne\nĆwiczenia\nZajęcia praktyczne\nPraktyka zawodowa\nBez nauczyciela\nEUs_W1\n2 \nWykład, prezentacja multimedialna\nZaliczenie na ocenę, test pytań zamkniętych, jednokrotnego wyboru\nEUs_W2\nWykład, prezentacja multimedialna\nZaliczenie na ocenę, test pytań zamkniętych, jednokrotnego wyboru\nEUs_U1\nPrezentacja multimedialnadyskusja\nZaliczenie na ocenę, test pytań zamkniętych, jednokrotnego wyboru\nEUs_U2\nprezentacja multimedialnadyskusja\nZaliczenie na ocenę, test pytań zamkniętych, jednokrotnego wyboru\nIV. TREŚCI PRZEDMIOTU I ODNIESIENIE DO EFEKTÓW UCZENIA SIĘ DLA PRZEDMIOTU\nSYMBOL\nWYKŁADY\nLICZBA GODZIN\nOdniesienie do efektów uczenia się dla przedmiotu\nWk1\n Kulturowe, społeczne i ekonomiczne uwarunkowania zdrowia publicznego. Charakterystyka istoty profilaktyki i prewencji chorób. Podstawy organizacji Narodowego Systemu Zdrowia w Polsce. Zasady funkcjonowania rynku usług medycznych w Polsce oraz wybranych krajach Unii Europejskiej\nEUs_W1\nEUs_W2\nWk2\nStruktura i funkcje jednostek opieki zdrowotnej. Definiowanie pojęć jakości w opiece zdrowotnej, kryteria opieki zdrowotnej. Metody i techniki oceny stanu zdrowia populacji\nEUs_W1\nEUs_W2\nSUMA GODZIN\nSYMBOL\nSEMINARIA\nLICZBA GODZIN\nOdniesienie do efek-tów uczenia się dla przedmiotu\nS1\nPrzedstawienia modeli poznawczych zachowań zdrowotnych\nEUs_U1\nEUs_U2\nS2\nWyjaśnienia podstawowych pojęć medycyny środowiskowej\nWyjaśnienia znaczenie stresu dla zdrowia. \nŹródła zanieczyszczenia powietrza, gleby i wód\nEUs_U1\nS3\nWyjaśnienia znaczenie stresu dla zdrowia. \nŹródła zanieczyszczenia powietrza, gleby i wód\nEUs_U2\nS4\nMiędzynarodowe programy ochrony ludności przed niekorzystnymi wpływami środowiska. Organizacja działań ukierunkowane na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności.\nEUs_U1\nS5\nCele strategiczne i cele szczegółowe Narodowego Programu Zdrowia. Badania przesiewowe w profilaktyce dysfunkcji i niepełnosprawności.\nEUs_U1\nEUs_U2\nSUMA GODZIN\nSYMBOL\nĆWICZENIA\nLICZBA GODZIN\nOdniesienie do efek-tów uczenia się dla przedmiotu\nĆw1\nĆw2\nĆw3\nSUMA GODZIN\nSYMBOL\nSYMULACJA MEDYCZNA\nLICZBA GODZIN\nOdniesienie do efektów uczenia się dla przedmiotu\nSM1\nSM2\nSUMA GODZIN\nSYMBOL\nZAJĘCIA PRAKTYCZNE\nLICZBA GODZIN\nOdniesienie do efektów uczenia się dla przedmiotu\nZ1\nZ2\nSUMA GODZIN\nSYMBOL\nPARKTYKA ZAWODOWA\nLICZBA GODZIN\nOdniesienie do efektów uczenia się dla przedmiotu\nP1\nP2\nSUMA GODZIN\nV. METODY WALIDACJI KOŃCOWYCH EFEKTÓW UCZENIA SIĘ\nZaliczenia:\nZaliczenie na ocenę, test pytań zamkniętych, jednokrotnego wyboru\nEgzamin:\n Nie dotyczy\nPraktyka zawodowa:\n Nie dotyczy\nVI. ZALECANA LITERATURA \nPODSTAWOWA\n1. Jethon Z.: Medycyna zapobiegawcza i środowiskowa. PZWL, Warszawa 2000\n2. Kozierkiewicz A.: Zdrowie 21. Zdrowie dla wszystkich w XXI w. Kraków, Uniwersyteckie Wydanie Medyczne, Vesalius 2001\n3. Kulik B., Latalski M.: Zdrowie Publiczne. Czelej sp. z oo, Lublin 2002\nWojt 4. Wojtczak A. Zdrowie Publiczne , PZWL, Warszawa , 2008\n5. Wojtczak A: Zdrowie publiczne wyzwaniem dla systemów zdrowia XXI wieku. PZWL, Warszawa, 2009.\nUZUPEŁNIAJĄCA\n1. Leowski J: Polityka zdrowotna a zdrowie publiczne. CEDEWU. Warszawa, 2008. \nVII. INNE PRZYDATNE INFORMACJE O PRZEDMIOCIE\nMateriały do zajęć\nX\nMiejsca odbywania się zajęć\nX \nMiejsca i godziny konsultacji\n X \nVIII. NAKŁAD PRACY STUDENTA (BILANS PUNKTÓW ECTS)\nRodzaj zajęć\nLiczba godzin\nPunkty ECTS\nWykłady\nSeminaria \nSymulacja medyczna\nĆwiczenia\nBezkontaktowe\nZajęcia praktyczne\nPraktyki zawodowe\nSUMA\nIX. KRYTERIA OCENIANIA\nEfekt uczenia się dla przedmiotu\nNa ocenę niedostateczną (2,0)\nNa ocenę dostateczną (3,0)\nNa ocenę dość dobrą (3,5)\nNa ocenę dobrą (4,0)\nNa ocenę ponad dobrą (4,5)\nNa ocenę bardzo dobrą (5,0)\nEUs_W1\nNie opanował materiału o czynnikach decydujących o zdrowiu oraz o zagrożeniu zdrowia\nOpanował materiał w minimalnym zakresię o czynnikach decydujących o zdrowiu oraz o zagrożeniu zdrowia\nOpanował materiał w niewielkim zakresie o czynnikach decydujących o zdrowiu oraz o zagrożeniu zdrowia\nOpanował materiał w podstawowym zakresie o czynnikach decydujących o zdrowiu oraz o zagrożeniu zdrowia\nOpanował materiał w niemal całkowitym zakresie o czynnikach decydujących o zdrowiu oraz o zagrożeniu zdrowia\nOpanował materiał w całkowitym zakresie o czynnikach decydujących o zdrowiu oraz o zagrożeniu zdrowia\nEUs_W2\nNie opanował materiału nt. zasad edukacji zdrowotnej i promocji zdrowia\nOpanował materiał w minimalnym zakresie nt. zasad edukacji zdrowotnej i promocji zdrowia\nOpanował materiał w niewielkim zakresie nt. zasad edukacji zdrowotnej i promocji zdrowia\nOpanował materiał w podstawowym zakresie nt. zasad edukacji zdrowotnej i promocji zdrowia\nOpanował materiał w niemal całkowitym zakresie nt. zasad edukacji zdrowotnej i promocji zdrowia\nOpanował materiał w całkowitym zakresie nt. zasad edukacji zdrowotnej i promocji zdrowia\nEUs_U1\nNie opanował materiału o organizowaniu działań ukierunkowanych na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności\nOpanował materiał w minimalnym zakresie o organizowaniu działań ukierunkowanych na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności\nOpanował materiał w niewielkim zakresie o organizowaniu działań ukierunkowanych na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności\nOpanował materiał w podstawowym zakresie o organizowaniu działań ukierunkowanych na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności\nOpanował materiał w niemal całkowitym zakresie o organizowaniu działań ukierunkowanych na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności\nOpanował materiał w całkowitym zakresie o organizowaniu działań ukierunkowanych na edukację zdrowotną, promocję zdrowia i profilaktykę niepełnosprawności\nEUs_U2\nNie opanował materiału nt. przeprowadzenia badań przesiewowych w profilaktyce dysfunkcji i niepełnosprawności\nOpanował materiał w minimalnym zakresie nt. przeprowadzenia badań przesiewowych w profilaktyce dysfunkcji i niepełnosprawności\nOpanował materiał w niewielkim zakresie nt. przeprowadzenia badań przesiewowych w profilaktyce dysfunkcji i niepełnosprawności\nOpanował materiał w podstawowym zakresie nt. przeprowadzenia badań przesiewowych w profilaktyce dysfunkcji i niepełnosprawności\nOpanował materiał w niemal całkowitym zakresie nt. przeprowadzenia badań przesiewowych w profilaktyce dysfunkcji i niepełnosprawności\nOpanował materiał w całkowitym zakresie nt. przeprowadzenia badań przesiewowych w profilaktyce dysfunkcji i niepełnosprawności\n Zatwierdzono:\n ...\n (data i podpis Kierownika Katedry lub Zakładu", "quality_ai": "LOW", "confidence": 99.97}
+{"text": "Sztuka romańska (styl romański, romanizm, romańszczyzna) – styl w sztukach plastycznych XI–XIII wieku, ukształtowany w Europie zachodniej (na zachód od Renu), na terenach zajmowanych obecnie przez dzisiejsze północne Włochy, Francję i zachodnie Niemcy. Wkrótce zasięgiem nowego stylu objęte zostały kolejne tereny Europy i wraz z prowadzonymi wyprawami krzyżowymi przeniknął na Bliski Wschód. Czas trwania sztuki romańskiej był niejednolity; występowały także różnice w stylu między poszczególnymi regionami. Sztuka ta wyrosła na bazie antyku oraz doświadczeń sztuki karolińskiej i ottońskiej, także bizantyńskiej. Romanizm związany był z działalnością Kościoła katolickiego i stąd obecny był w głównej mierze w sztuce sakralnej.", "quality_ai": "HIGH", "confidence": 99.92}
+{"text": "Przypisy\n Jerzy Z. Łoziński: Pomniki sztuki w Polsce. T. 1: Małopolska. Warszawa: Wydawnictwo „Arkady”, 1985, s. 401–402. ISBN 83-213-3005-3.\nLinki zewnętrzne\nTransRomanica – The Romanesque Routes of European Heritage\nKlasztor Cystersów w Sulejowie – Podklasztorzu\nEwangeliarz Anastazji na stronie Polona.pl\nSakramentarz tyniecki na stronie Polona.pl\nKontrola autorytatywna (ruch artystyczny):\nLCCN: sh85007873GND: 4050482-7NDL: 00569670BnF: 11930977jBNCF: 4264NKC: ph125218BNE: XX525353J9U: 987007295497105171\nEncyklopedie internetowe:\nBritannica: art/Romanesque-art\nKategoria: Sztuka romańska", "quality_ai": "LOW", "confidence": 92.54}
+{"text": "Na temat historii sakramentarza w wiekach XII–XIX jest niewiele informacji. Prawdopodobnie przynajmniej do XIII w. był używany jako księga liturgiczna, później traktowano go jako cenny zabytek. Wiadomo, że w 1656, w czasie wojen szwedzkich, księga została zrabowana z Tyńca przez Szwedów, a następnie odkupiona w Krakowie, skąd powróciła do klasztoru. Informuje o tym notka na pierwszej karcie: Anno domini 1656 die 11 Augusti tę xięgę w klasztorze tynieckim wyrabowano gdy obóz Szwedzi rozproszyli Polaków tamże pod tymże klasztorem y tę xiążkę odkupiono w Krakowie. Obecna oprawa rękopisu pochodzi z XVII wieku[4]. W opracowaniach przyjmowano, że księga mogła mieć wcześniej drogocenną oprawę z kości słoniowej, która została odłączona po zrabowaniu przez Szwedów[6]. Możliwe jednak, że zniszczona oprawa została wymieniona jeszcze przed zrabowaniem rękopisu.", "quality_ai": "HIGH", "confidence": 96.03}
+{"text": "Przednia okładka\nPrzednia okładka\n \nMiniatura Maiestas Domini\nMiniatura Maiestas Domini\n \nMiniatura Ukrzyżowanie\nMiniatura Ukrzyżowanie\n \nInicjał całostronnicowy V\nInicjał całostronnicowy V\n \nInicjał całostronnicowy D\nInicjał całostronnicowy D\n \nOzdobna strona spisana na purpurze\nOzdobna strona spisana na purpurze\n \nOzdobna strona spisana na purpurze\nOzdobna strona spisana na purpurze\n \nPierwsza strona tekstu\nPierwsza strona tekstu\n \nStrona z inicjałem C\nStrona z inicjałem C\n \nStrona z dopisanymi glosami i neumami\nStrona z dopisanymi glosami i neumami", "quality_ai": "LOW", "confidence": 92.64}
+{"text": "Uchwała Nr 19\nZarządu Związku Rzemiosła Polskiego\nz dnia 5 grudnia 2017 r.\nznak: NO-I-130/Standardy/17\nw sprawie: ustalenia standardów wymagań egzaminacyjnych na egzamin czeladniczy przeprowadzany\nprzez komisje egzaminacyjne izb rzemieślniczych.\nNa podstawie art.3, ust.3a ustawy o rzemiośle z dnia 22 marca 1989 r. (Dz. U. 2016, poz. 1285) oraz §2\nust.2, pkt.7 Statutu Związku Rzemiosła Polskiego - Zarząd Związku Rzemiosła Polskiego uchwala co\nnastępuje:\n§1\n1. Ustala się standard wymagań egzaminacyjnych w zawodzie odpowiadającym danemu rodzajowi\nrzemiosła, występującym w klasyfikacji zawodów i specjalności rynku pracy oraz klasyfikacji zawodów\nszkolnictwa zawodowego uwzględniając wymagania określone w podstawie programowej\nkształcenia w zawodach, dla n/w zawodu:\nNr\nstandardu\nKod z wykazu zawodów, wg\nklasyfikacji zawodów i\nspecjalności dla potrzeb\nrynku pracy\nNazwa zawodu\n6/cz 721104 MODELARZ ODLEWNICZY\n§2\nStandard, o którym mowa w § 1, uwzględniony jest w ramach przygotowywania zadań egzaminacyjnych\ndo etapu praktycznego i do części pisemnej oraz części ustnej etapu teoretycznego egzaminu\nczeladniczego, o którym mowa w § 12 rozporządzenia Ministra Edukacji Narodowej z dnia 10 stycznia\n2017 r. w sprawie egzaminu czeladniczego, egzaminu mistrzowskiego oraz egzaminu sprawdzającego\nprzeprowadzanych przez komisje egzaminacyjne izb rzemieślniczych (Dz.U. z 2017 r., poz. 89)\n§3\nUchwała wchodzi w życie z dniem podjęcia.\n/-/ /-/\n ZASTĘPCA PREZESA PREZES Zarządu ZRP\n ", "quality_ai": "MEDIUM", "confidence": 62.49}
+{"text": "Alternatywy 4 to jeden z najważniejszych i najbardziej kultowych polskich seriali komediowych, który stał się nie tylko rozrywką, ale i wyjątkowym zwierciadłem epoki schyłkowego PRL-u. Wyreżyserowany przez Stanisława Bareję według scenariusza Janusza Płońskiego i Macieja Rybińskiego (wzbogaconego o autorskie pomysły Barei), serial powstał na początku lat 80., a jego emisja była przez kilka lat blokowana przez cenzurę ze względu na ostrą, satyryczną krytykę rzeczywistości socjalistycznej.\n\nFabuła i bohaterowie\nAkcja serialu rozgrywa się w nowo wybudowanym bloku na warszawskim Ursynowie przy fikcyjnej ulicy Alternatywy 4, gdzie wprowadzają się lokatorzy pochodzący z różnych grup społecznych: robotnik, lekarz, nauczycielka, karierowicz, emerytka, naukowiec, artystka, przedstawiciel prywatnej inicjatywy, a nawet stypendysta z Harvardu. Ich codzienne życie staje się areną walki z absurdami PRL-owskiej biurokracji, niedoróbkami budowlanymi, reglamentacją towarów i wszechobecną kontrolą. Centralną postacią jest gospodarz domu Stanisław Anioł (Roman Wilhelmi) - drobny karierowicz, marzący o władzy i porządku, który swoimi działaniami doprowadza mieszkańców do granic wytrzymałości.\n\nW obsadzie znaleźli się wybitni polscy aktorzy: Bożena Dykiel (Mieczysława Anioł), Witold Pyrkosz (Józef Balcerek), Zofia Czerwińska (Zofia Balcerkowa), Jerzy Turek (Tadeusz Kubiak), Wojciech Pokora (docent Furman), Stanisława Celińska (Bożena Lewicka), Mieczysław Voit (profesor Rozwadowski), Jerzy Bończak (Krzysztof Manc), Jerzy Kryszak (lekarz Kołek), Kazimierz Kaczor (Zygmunt Kotek), Janusz Gajos (Jan Winnicki) i wielu innych.\n\nTematyka i przesłanie\nSerial jest mistrzowską satyrą na realia późnego PRL-u. Bareja i jego współscenarzyści stworzyli spójny ekranowy mikrokosmos, będący parafrazą państwa policyjnego z całą machiną nacisku i obywatelami, których jedynym celem wydaje się przechytrzenie wszechwładnego gospodarza. Każdy odcinek to ironiczny komentarz do absurdów codzienności: walki o towar, awarii budowlanych, biurokracji, kolejek, czy prób narzucania ideologii. Serial nie stroni od aluzji do wydarzeń historycznych i politycznych - pojawiają się odniesienia do emigracji po Marcu 1968, strajków robotniczych, a nawet zbrodni katyńskiej, przemycane w dialogach i retrospekcjach bohaterów.\n\nWażnym motywem jest również siła wspólnoty - mieszkańcy, mimo różnic, uczą się współpracować i przeciwstawiać się opresji, co w finale prowadzi do spektakularnej „zemsty” na Aniele podczas wizyty zagranicznej delegacji, gdy blok zostaje celowo przemieniony w ruderę, a Anioł kompromituje się przed władzami.\n\nProdukcja i recepcja\nProdukcja serialu rozpoczęła się w 1981 roku, jednak ze względu na wprowadzenie stanu wojennego i bojkot telewizji przez aktorów, realizacja była kilkakrotnie przerywana i wznowiona dopiero w 1982 roku. Po ukończeniu w 1983 roku emisja została zablokowana przez cenzurę na ponad trzy lata. Serial krążył w nielegalnym obiegu na kasetach wideo, a do oficjalnej telewizji trafił dopiero w 1986 roku, już po usunięciu niektórych najbardziej krytycznych scen. Dopiero w 2014 roku Telewizja Polska opublikowała zrekonstruowaną wersję, przywracającą ocenzurowane fragmenty.\n\nPoczątkowo przyjęcie przez krytyków było chłodne - zarzucano brak spójności i chaotyczny montaż, jednak widzowie szybko docenili serial za inteligentny humor, celne obserwacje i galerię barwnych postaci. „Alternatywy 4” zyskały status kultowego dzieła, a cytaty, sceny i postacie na stałe weszły do polskiej popkultury.\n\nDziedzictwo i znaczenie\nDziś „Alternatywy 4” są nie tylko rozrywką, ale także cenną lekcją historii i socjologicznym portretem schyłkowego PRL-u. Serial regularnie powraca na antenę, doczekał się cyfrowej rekonstrukcji, a jego bohaterowie i motywy są przedmiotem analiz, wspomnień i licznych odniesień w kulturze współczesnej. Stanowi wzorzec polskiej satyry, będąc jednocześnie świadectwem epoki, w której powstał - epoki absurdu, sprytu i walki o godność w codziennym życiu.\n", "quality_ai": "HIGH", "confidence": 99.98}
+{"text": "Akslop, może to jakieś duńskie miasto\njestem tu przejazdem, co prawda na\nnieco dłużej, bo ministrowie rolnictwa\nusiedli na bańkach z mlekiem i zatarasowali\nwszystkie szosy, zdążono mnie trochę rozwałkować\nlokalnymi osobliwościami, jak Diwron\nczy Cziweżór. kochałem tutejsze dziewczyny,\npolicja parę razy pogoniła mnie po\nchodnikach, mieszkańcy są bardzo serdeczni,\nnamawiają, żebym został na dłużej, obiecuję\nwam, gdziekolwiek się znajdę, zawsze pamiętać będę\nAkslop.", "quality_ai": "HIGH", "confidence": 73.6}
+{"text": "Bielik - orzeł, czy nie orzeł?\nBielik, birkut, orzeł bielik, orzeł białogłów, orzeł białogon. Z pewnością znalazłoby się jeszcze kilka nazw określających tego potężnego drapieżnika, którego sylwetka prawdopodobnie od wieków zdobi godło naszego państwa. Prawdopodobnie, bo nierozwiązany spór o to trwa od wielu lat. Przedmiotem sporu są oczywiście dwa największe ptaki drapieżne występujące w naszym kraju - tytułowy bielik oraz minimalnie mniejszy orzeł przedni.\n\nGdyby wziąć pod uwagę fakt, że ten pierwszy z wiekiem stają się coraz jaśniejszy, niemal siwy z czysto białym ogonem, to jest mu już całkiem blisko do orła z naszego godła. Kolejnym argumentem przemawiającym za bielikiem są nieopierzone skoki widoczne na symbolu narodowym. Orły z rodzaju Aquila, do których należy orzeł przedni, mają skoki pokryte piórami do samej nasady palców.\n\nWedług naukowców bielik jednak nie jest orłem, ale należy do rodzaju Haliaeetus, czyli orłanów. Genetycznie więc bliżej mu do kani rudej, niż do rodzaju Aquila (orłów właściwych), którego przedstawicielem jest wspomniany już orzeł przedni. Nie zmienia to faktu, że w wielu językach, wliczając w to również nazwę naukową, bielik jest nazywany orłem. Przykładami mogą być niemiecki Seeadler (orzeł morski), angielski White-tailed eagle (orzeł z białym ogonem), czy wreszcie Haliaeetus albicilla, gdzie pierwszy człon jest połączeniem dwóch greckich słów hals – morze i aetos – orzeł. Określenie albi-cilla oznacza biały ogon.\n\nSporo zamieszania w nazewnictwo wprowadziło również dodanie bielikowi przedrostka orzeł w latach 70., kiedy gatunkowi zagrażało wyginięcie. Bezlitośnie był wówczas tępiony jako szkodnik, rzekomo siejący spustoszenie w hodowlach ryb. Nazwanie go orłem miało podnieść jego prestiż i wzbudzić większy szacunek wśród potencjalnych prześladowców. Faktycznie, bielik żywi się rybami. Zwłaszcza tymi łatwo dostępnymi - słabszymi, chorymi, martwymi, czy przebywającymi tuż pod powierzchnią wody. Ptaki te nauczyły się również doskonale korzystać z resztek wyrzucanych za burtę przez statki rybackie. Często można obserwować bieliki podążające za kutrami i cierpliwie wyczekujące na wyrzuconą z jego pokładu rybę, którą błyskawicznie podejmują z powierzchni wody.\n\nCiekawostką jest, że uprawiają również kleptopasożytnictwo, czyli podbierają upolowaną zdobycz wydrom, kormoranom, mewom, czy rybołowom. Ryby nie są jednak jedynym składnikiem diety bielików. Równie chętnie polują one na ptactwo wodno-błotne, zwłaszcza łyski i krzyżówki. W tym przypadku wyspecjalizowały się w polowaniu w tandemie, polegającym na tym, że jeden z osobników przelatując nad szuwarami, stara się wypłoszyć z nich kaczki lub łyski, a w tym samym czasie drugi przypuszcza atak na ofiarę, która nieostrożnie pojawiła się na otwartej wodzie.\n\nBardzo ważnym składnikiem diety bielików jest również padlina, która w okresie zimowym, zwłaszcza u osobników młodych stanowi znaczący procent pobieranego pokarmu. Drapieżniki te słysząc stado kruków, które już wcześniej namierzyły resztki, po ich głosie szybko lokalizują stołówkę. Jeśli jest ona atrakcyjna, może się na niej zgromadzić nawet kilkanaście bielików.\n\nPo kryzysie z lat 70. sytuacja gatunku w naszym kraju zdecydowanie się poprawiła i aktualnie bielik nie jest ptakiem, którego spotkanie graniczy z cudem. Pamiętać jednak należy, że nadal podlega statusowi ochrony ścisłej, a wokół jego gniazd wyznacza się strefy ochronne. Umieszczony jest również w Polskiej Czerwonej Księdze Zwierząt i Załączniku Dyrektywy Ptasiej.", "quality_ai": "HIGH", "confidence": 99.92}

output/test.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:835c69e800a83f0149deb32f0834f191eb5369db1d1994a090949427241949f7
+size 22777

requirements.txt

@@ -0,0 +1,62 @@
+annotated-types==0.7.0
+blis==1.3.0
+catalogue==2.0.10
+certifi==2025.7.9
+charset-normalizer==3.4.2
+click==8.2.1
+cloudpathlib==0.21.1
+cmudict==1.0.33
+colorama==0.4.6
+confection==0.1.5
+cymem==2.0.11
+idna==3.10
+importlib_metadata==8.7.0
+importlib_resources==6.5.2
+Jinja2==3.1.6
+joblib==1.5.1
+langcodes==3.5.0
+language_data==1.3.0
+marisa-trie==1.2.1
+markdown-it-py==3.0.0
+MarkupSafe==3.0.2
+mdurl==0.1.2
+murmurhash==1.0.13
+numpy==2.2.6
+packaging==25.0
+pandas==2.3.1
+pl_core_news_md @ https://github.com/explosion/spacy-models/releases/download/pl_core_news_md-3.8.0/pl_core_news_md-3.8.0-py3-none-any.whl#sha256=4f433a556880c0b7ef01970e7c612c0e30103b893e6d26ed54672d8e056ad9b1
+preshed==3.0.10
+pyarrow==20.0.0
+pydantic==2.11.7
+pydantic_core==2.33.2
+Pygments==2.19.2
+pyphen==0.17.2
+python-dateutil==2.9.0.post0
+pytz==2025.2
+requests==2.32.4
+rich==14.0.0
+scikit-learn==1.7.0
+scipy==1.16.0
+setuptools==78.1.1
+shellingham==1.5.4
+six==1.17.0
+smart_open==7.3.0.post1
+spacy==3.8.2
+spacy-legacy==3.0.12
+spacy-loggers==1.0.5
+srsly==2.5.1
+textstat==0.7.7
+thinc==8.3.6
+threadpoolctl==3.6.0
+tqdm==4.67.1
+typer==0.16.0
+typing-inspection==0.4.1
+typing_extensions==4.14.1
+tzdata==2025.2
+urllib3==2.5.0
+wasabi==1.1.3
+weasel==0.4.1
+wheel==0.45.1
+wrapt==1.17.2
+xgboost==2.0.3
+zipp==3.23.0

text_analyzer/analyzer.py

@@ -0,0 +1,86 @@
+# text_analyzer/analyzer.py (WERSJA POPRAWIONA)
+
+"""
+Główny moduł biblioteki zawierający klasę TextAnalyzer.
+"""
+import spacy
+import textstat
+import re
+from typing import Dict, List, Tuple, Iterable
+
+from . import constants
+from .features import base_features, linguistic_features, regex_features, spacy_features, structural_features
+
+class TextAnalyzer:
+    """
+    Główna klasa do kompleksowej analizy tekstu w języku polskim.
+    """
+    def __init__(self, disable_pipelines: List[str] = None):
+        """
+        Inicjalizuje analizator.
+        
+        Args:
+            disable_pipelines (List[str], optional): Lista komponentów spaCy do wyłączenia
+                                                     w celu przyspieszenia przetwarzania.
+                                                     Np. ["parser", "ner"] jeśli nie są potrzebne.
+        """
+        try:
+            # Wyłączamy komponenty, jeśli użytkownik tego zażąda
+            self.nlp = spacy.load(constants.SPACY_MODEL_PL, disable=disable_pipelines or [])
+            self.nlp.max_length = constants.NLP_MAX_LENGTH
+        except OSError:
+            # ... (obsługa błędu bez zmian) ...
+            print(f"Błąd: Nie znaleziono modelu spaCy '{constants.SPACY_MODEL_PL}'.")
+            print(f"python -m spacy download {constants.SPACY_MODEL_PL}")
+            raise
+        textstat.set_lang('pl_PL')
+
+    def _preprocess(self, text: str) -> Tuple:
+        # Ta metoda jest teraz bardziej pomocnicza, doc jest przekazywany z zewnątrz
+        text_lower = text.lower()
+        words = text.split()
+        words_lower = text_lower.split()
+        lines = text.splitlines()
+        sentences = re.findall(r'[^.!?]+[.!?]', text)
+        return text_lower, words, words_lower, lines, sentences
+
+    def analyze(self, text: str) -> Dict[str, float]:
+        """Analizuje pojedynczy tekst. Dobre do testów, mniej wydajne dla wielu tekstów."""
+        doc = self.nlp(text)
+        return self._analyze_single_doc(text, doc)
+
+    def _analyze_single_doc(self, text: str, doc: spacy.tokens.Doc) -> Dict[str, float]:
+        """Wewnętrzna logika analizy dla pojedynczego tekstu i obiektu doc."""
+        if not isinstance(text, str) or not text.strip():
+            return {feature_name: 0.0 for feature_name in constants.COLUMN_ORDER}
+
+        text_lower, words, words_lower, lines, sentences = self._preprocess(text)
+        
+        all_features = {}
+        all_features.update(base_features.calculate_all_base_features(text, text_lower, words, words_lower, lines))
+        all_features.update(linguistic_features.calculate_all_linguistic_features(text, text_lower, words, words_lower, sentences))
+        all_features.update(structural_features.calculate_all_structural_features(text, lines, sentences))
+        all_features.update(regex_features.calculate_all_regex_features(text))
+        all_features.update(spacy_features.calculate_all_spacy_features(doc, text, sentences))
+        
+        return all_features
+
+    def analyze_batch(self, texts: Iterable[str], batch_size: int = 100) -> Iterable[Dict[str, float]]:
+        """
+        Analizuje wsadowo kolekcję tekstów używając nlp.pipe dla maksymalnej wydajności.
+
+        Args:
+            texts (Iterable[str]): Kolekcja (np. lista) tekstów do analizy.
+            batch_size (int): Rozmiar paczki przekazywanej do spaCy.
+
+        Yields:
+            Iterable[Dict[str, float]]: Generator zwracający słownik cech dla każdego tekstu.
+        """
+        # Używamy nlp.pipe, który jest generatorem i przetwarza teksty wsadowo
+        # as_tuples=True pozwala przekazać teksty razem z ich oryginalnym kontekstem (choć tu nie używamy)
+        docs = self.nlp.pipe(texts, batch_size=batch_size)
+        
+        # Przetwarzamy każdy dokument z generatora
+        for i, doc in enumerate(docs):
+            original_text = texts[i] # Potrzebujemy oryginalnego tekstu
+            yield self._analyze_single_doc(original_text, doc)

text_analyzer/constants.py

@@ -0,0 +1,284 @@
+"""
+Moduł zawierający stałe, listy słów i prekompilowane wyrażenia regularne
+używane w całej bibliotece do analizy tekstu.
+"""
+
+import re
+
+BAD_WORDS  = ['burdel', 'burdelmama', 'chuj', 'chujnia', 'ciota', 'cipa', 'cyc', 'debil', 'dmuchać', 'do kurwy nędzy',
+             'dupa', 'dupek', 'duperele', 'dziwka', 'fiut', 'gówno', 'gówno prawda', 'huj', 'huj ci w dupę', 'jajco',
+             'ja pierdolę', 'jebać', 'jebany', 'kurwa', 'kurwy', 'kutafon', 'kutas', 'lizać pałę', 'obciągać chuja',
+             'obciągać fiuta', 'pierdolec', 'pierdolić', 'pierdolnąć', 'pierdolnięty', 'pizda', 'pojeb', 'pojebany',
+             'popierdolony', 'robić loda', 'ruchać', 'rzygać', 'skurwysyn', 'sraczka', 'srać', 'suka', 'syf', 'wkurwiać', 'zajebisty']
+
+STOP_WORDS  = ["a","aby","ach","acz","aczkolwiek","aj","albo","ale","ależ","ani","aż","bardziej","bardzo","bez","bo","bowiem",
+              "by","byli","bym","bynajmniej","być","był","była","było","były","będzie","będą","cali","cała","cały","chce","choć","ci",
+              "ciebie","cię","co","cokolwiek","coraz","coś","czasami","czasem","czemu","czy","czyli","często","daleko","dla","dlaczego",
+              "dlatego","do","dobrze","dokąd","dość","dr","dużo","dwa","dwaj","dwie","dwoje","dzisiaj","dziś","gdy","gdyby","gdyż","gdzie",
+              "gdziekolwiek","gdzieś","go","godz","hab","i","ich","ii","iii","ile","im","inna","inne","inny","innych","inż","iv","ix","iż",
+              "ja","jak","jakaś","jakby","jaki","jakichś","jakie","jakiś","jakiż","jakkolwiek","jako","jakoś","je","jeden","jedna","jednak",
+              "jednakże","jedno","jednym","jedynie","jego","jej","jemu","jest","jestem","jeszcze","jeśli","jeżeli","już","ją","każdy","kiedy",
+              "kierunku","kilka","kilku","kimś","kto","ktokolwiek","ktoś","która","które","którego","której","który","których","którym","którzy",
+              "ku","lat","lecz","lub","ma","mają","mam","mamy","mało","mgr","mi","miał","mimo","między","mnie","mną","mogą","moi","moim","moja",
+              "moje","może","możliwe","można","mu","musi","my","mój","na","nad","nam","nami","nas","nasi","nasz","nasza","nasze","naszego","naszych",
+              "natomiast","natychmiast","nawet","nic","nich","nie","niech","niego","niej","niemu","nigdy","nim","nimi","nią","niż","no","nowe","np",
+              "nr","o","o.o.","obok","od","ok","około","on","ona","one","oni","ono","oraz","oto","owszem","pan","pana","pani","pl","po","pod",
+              "podczas","pomimo","ponad","ponieważ","powinien","powinna","powinni","powinno","poza","prawie","prof","przecież","przed","przede","przedtem",
+              "przez","przy","raz","razie","roku","również","sam","sama","się","skąd","sobie","sobą","sposób","swoje","są","ta","tak","taka","taki","takich",
+              "takie","także","tam","te","tego","tej","tel","temu","ten","teraz","też","to","tobie","tobą","toteż","totobą","trzeba","tu","tutaj","twoi","twoim",
+              "twoja","twoje","twym","twój","ty","tych","tylko","tym","tys","tzw","u","ul","vi","vii","viii","vol","w","wam","wami","was","wasi","wasz","wasza",
+              "wasze","we","według","wie","wiele","wielu","więc","więcej","wszyscy","wszystkich","wszystkie","wszystkim","wszystko","wtedy","www","wy","właśnie",
+              "wśród","xi","xii","xiii","xiv","xv","z","za","zapewne","zawsze","zaś","ze","zeznowu","znowu","znów","został","zł","żaden","żadna","żadne","żadnych",
+              "że","żeby"]
+
+PII_REGEX_PATTERNS  = {
+    'date_reg' : re.compile(r'(?<!\w)([1-2]\d{3}[\/.\\-](12|11|[0-1]?[0-9])[\/.\\-](3[0-1]|2[0-9]|1[0-9]|0?[1-9]))|((?<!\w)(3[0-1]|2[0-9]|1[0-9]|0?[1-9])([\/.\\-](12|11|1[0-9]|0?[1-9])|([\/.\\ -](stycz\w+|lut\w+|mar[cz]\w+|kwie\w+|maj\w|czerw\w+|lip\w+|sierp\w+|wrze[sś]\w+|paź\w+|listop\w+|grud\w+)))(([\/.\\ -]([0-9]){2}|[\/.\\ -]([1-2][0-9]{3})))?)(?![\d])'),
+    'address_reg' : re.compile(r"(?<=\W)(?:ul\.|pl\.|al\.|bulw\.|os\.|aleja|bulwar|ulica|skwer|park|rondo)[^\S\r\n]?"
+                                r"(?:(?:świętego|trasa|bł\.|im\.|gen\.|dr\.|ks\.|ks\.[^\S\r\n]bp\.|kpt\.|ks\.[^\S\r\n]kan\.|"
+                                r"ks\.[^\S\r\n]+kard\.|marsz\.|mjr\.|o\.|ppłk\.|prof\.|św\.|[^\S\r\n])*)"
+                                r"(?:(?:\d{1,3}\s+)?[A-ZĄĆĘŁŃÓŚŻŹ][\w'-]+(?:\s*[A-ZĄĆĘŁŃÓŚŻŹ][\w'-]+)*"
+                                r"(?:\s*\d{1,3})*){1,}(?:(?:[^\S\r\n]+(?:i|z|im\.)[^\S\r\n]+)?"
+                                r"(?:[^\S\r\n]*(?:\d{1,3}[^\S\r\n]+)?[A-ZĄĆĘŁŃÓŚŻŹ][\w'-]+(?:\s*[A-ZĄĆĘŁŃÓŚŻŹ][\w'-]+)*"
+                                r"(?:\s*\d{1,3})*)*)*(?!\n\d{2}-\d{3})"),
+    'post_code_reg' : re.compile(r'(?<=\s)([0-9]{2}-[0-9]{3})(?!\w)'),
+    'ip_reg' : re.compile(r'(?<=\s)((25[0-5]|2[0-4][0-9]|\d?[1-9][0-9]|\d)(\.|$)){3}(25[0-5]|2[0-4][0-9]|\d?[1-9][0-9]|\d)(?!:\s)'),
+    'nip_reg' : re.compile(r'(?:(?<=NIP: )|(?<=NIP ))([0-9]{10}|\d{3}-\d{2}-\d{2}-\d{3}|\d{3}-\d{3}-\d{2}-\d{2})(?!\w)'),
+    'regon_reg' : re.compile(r'(?:(?<=REGON: )|(?<=REGON ))([0-9]{9})(?!\w)'),
+    'phone_reg' : re.compile(r'(?<=\s)((?P<a>\()?(\+|00)?48(?(2)\)|)?)?(\s{0,}(4|5|6|7|8)\d{2})((?P<char>[ -]?)\d{3})((?P=char)\d{3})(?!\w)'),
+    'domestic_phone_reg' : re.compile(r'(?!\s)((?P<a>\()?(\+|00)?48(?(2)\)|)?)?(\s*\d{2})?((\s*[2-9]\d{2})((?P<char>[ -]+)\d{2})((?P=char)\d{2})|(\s*[2-9]\d{1})((?P<char2>[ -]+)\d{3})((?P=char2)\d{2}))\s'),
+    'iban_reg' : re.compile(r'(?<=\s)(?:PL)?(?:\d{2}(?:[\s]*\d{4}){6})(?!\w)'),
+    'email_reg' : re.compile(r'(?<=\s)([a-zA-Z0-9][\w.+-]*@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]{2,20})(?!\w)'),
+    'pesel_reg' : re.compile(r'(?<=\s)(\d{2})(1[0-2]|2[1-9]|3[1-2]|0[1-9])(3[0-1]|2\d|1\d|0[1-9])(\d{5})(?!\w)'),
+    'currency_reg' : re.compile(r'(?<=\s)(([1-9]\d{0,2}[,. ]){0,2}[,. ]?([1-9]\d{1,2}|\d{1,3})([,.]\d{2}|\d+)\s*(zł|Zł|pln|PLN|\$|€|£)|(\$|€|£)\s*([1-9]\d{0,2}[,. ]){0,2}[,. ]?([1-9]\d{1,2}|\d{1,3})([,.]\d{2}|\d+))'),
+    'isbn_reg' : re.compile(r'(?<=\s)978(?:-?\d){10}(?!\w)'),
+    'issn_reg' : re.compile(r'(?<=\s)((ISSN|eISSN) [\S]{4}\-[\S]{4})(?!\w)')
+}
+
+MARKDOWN_PATTERNS = {
+    'header': re.compile(r'^#+\s', re.MULTILINE),
+    'bold': re.compile(r'\*\*[^*\n]+?\*\*'),
+    'italic': re.compile(r'\*[^*\n]+?\*'),
+    'unordered_list': re.compile(r'^\s*[-*+]\s', re.MULTILINE),
+    'ordered_list': re.compile(r'^\s*\d+\.\s', re.MULTILINE),
+    'link': re.compile(r'\[([^\]]+)\]\(([^\)]+)\)'),
+    'image': re.compile(r'!\[([^\]]*)\]\(([^\)]+)\)'),
+    'inline_code': re.compile(r'`[^`\n]+`'),
+    'code_block': re.compile(r'```[\s\S]*?```'),
+    'blockquote': re.compile(r'^>\s', re.MULTILINE),
+    'horizontal_rule': re.compile(r'^([-*_])\1{2,}$', re.MULTILINE)
+}
+
+PUNCTUATION_PATTERN = re.compile(r'[.,!?;:]')
+NON_WORD_CHARS_PATTERN = re.compile(r'[^\w\s]')
+EXCESSIVE_SPACES_PATTERN = re.compile(r' {4,}')
+CAMEL_CASE_PATTERN = re.compile(r"\b[a-ząęćłńóśżź]+[A-ZĄĘĆŁŃÓŚŻŹ]+[a-ząęćłńóśżź]+[a-ząęćłńóśżźA-ZĄĘĆŁŃÓŚŻŹ]*\b")
+ALLOWED_CHARS_PATTERN = re.compile(r'[a-zA-Z0-9ąćęłńóśźż\s.,;:\-!?]')
+COMMON_CHARACTERS = list(" \t\n!\"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^`°abcdefghijklmnopqrstuvwxyz{|}~ÓóĄąĆćĘꣳŃńŚśŹźŻż")
+SPACY_MODEL_PL = 'pl_core_news_md'
+NLP_MAX_LENGTH = 5_000_000
+
+
+COLUMN_ORDER = [
+        'characters',
+        'words',
+        'sentences',
+        'avg_sentence_length',
+        'nouns',
+        'verbs',
+        'adjectives',
+        'adverbs',
+        'punctuations',
+        'symbols',
+        'stopwords',
+        'oovs',
+        'avg_word_length',
+        'noun_ratio',
+        'verb_ratio',
+        'adj_ratio',
+        'lexical_density',
+        'gunning_fog',
+        'camel_case',
+        'pos_x',
+        'pos_num',
+        'capitalized_words',
+        'unique_characters_all',
+        'unique_characters_lower',
+        'characters_out_of_common',
+        'word_isupper<5',
+        'word_isupper>5',
+        'count_caps',
+        'single_char_count',
+        'single_char_ratio',
+        'digit_count',
+        'digit_ratio',
+        'punct_frequency',
+        'count_digit_to_caps',
+        'bracet_count',
+        'bracket_ratio',
+        'average_lines',
+        'short_line_count_3',
+        'short_line_count_5',
+        'short_line_count_10',
+        'short_line_ratio_3',
+        'short_line_ratio_5',
+        'short_line_ratio_10',
+        'lexical_diversity',
+        'contextual_word_repetitions_count',
+        'contextual_word_repetitions_ratio',
+        'html_tags',
+        'bbcode_tags',
+        'urls',
+        'text_to_markup_ratio',
+        'emoticons',
+        'slang_words',
+        'slang_words_ratio',
+        'incomplete_sentences',
+        'excessive_chars',
+        'blank_lines',
+        'blank_lines_ratio',
+        'duplicated_lines',
+        'duplicate_line_ratio',
+        'count_special_chars',
+        'tabs',
+        'multispaces',
+        'short_line_count_20',
+        'date_reg',
+        'address_reg',
+        'post_code_reg',
+        'ip_reg',
+        'nip_reg',
+        'regon_reg',
+        'phone_reg',
+        'iban_reg',
+        'email_reg',
+        'pesel_reg',
+        'currency_reg',
+        'isbn_reg',
+        'issn_reg',
+        'short_line_ratio_20',
+        'ellipsis_fractions',
+        'line_counts',
+        'non_alpha_word_fractions',
+        'lorem_ipsum_ratio',
+        'mean_word_length',
+        'stop_word_ratio',
+        'entropy',
+        'javascript_counts_per_line',
+        'lines_with_bullet',
+        'ratio_of_bulletpoints',
+        'overall_uppercase_ratio',
+        'bad_word_count',
+        'fraction_duplicate_5_ngram',
+        'fraction_duplicate_6_ngram',
+        'fraction_duplicate_7_ngram',
+        'fraction_duplicate_8_ngram',
+        'fraction_duplicate_9_ngram',
+        'fraction_duplicate_10_ngram',
+        'fraction_top_2_ngram',
+        'fraction_top_3_ngram',
+        'fraction_top_4_ngram',
+        'fraction_top_5_ngram',
+        'symbol_to_word_ratio',
+        'avg_paragraph_length',
+        'paragraph_length_variance',
+        'unique_sentence_beginnings_ratio',
+        'semicolons_per_sentence',
+        'dashes_per_sentence',
+        'colons_per_sentence',
+        'formal_words_ratio',
+        'commas_per_sentence',
+        'short_sentences_ratio',
+        'long_sentences_ratio',
+        'cohesive_words_per_sentence',
+        'quotes_and_references_per_sentence',
+        'headers_per_1000_chars_md',
+        'average_header_level_md',
+        'bold_per_1000_chars_md',
+        'italic_per_1000_chars_md',
+        'unordered_list_items_per_1000_chars_md',
+        'ordered_list_items_per_1000_chars_md',
+        'links_per_1000_chars_md',
+        'images_per_1000_chars_md',
+        'inline_code_fragments_per_1000_chars_md',
+        'code_blocks_per_1000_chars_md',
+        'blockquotes_per_1000_chars_md',
+        'horizontal_rules_per_1000_chars_md',
+        'char_ratio_#',
+        'char_ratio_*',
+        'char_ratio_-',
+        'char_ratio_+',
+        'char_ratio_[',
+        'char_ratio_]',
+        'char_ratio_(',
+        'char_ratio_)',
+        'char_ratio_`',
+        'char_ratio_>',
+        'char_ratio__',
+        'char_ratio_!',
+        'special_chars_ratio_md',
+        'lowercase_ratio_md',
+        'uppercase_ratio_md',
+        'digit_ratio_md',
+        'whitespace_ratio_md',
+        'table_pipe_count',
+        'table_pipe_ratio',
+        'table_pipe_per_1000_chars',
+        'table_lines_count',
+        'table_lines_ratio',
+        'table_header_separators_count',
+        'avg_pipes_per_table_line',
+        'estimated_avg_columns',
+        'word_count',
+        'unique_word_count',
+        'top_word_count',
+        'top_word_ratio',
+        'top_5_ratio',
+        'top_10_ratio',
+        'hapax_legomena_ratio',
+        'looping_suspicion',
+        'polish_diacritics_count',
+        'polish_diacritics_ratio',
+        'polish_diacritics_per_word',
+        'diacritics_to_letters_ratio',
+        'replacement_char_count',
+        'replacement_char_ratio',
+        'not_allowed_chars_count',
+        'not_allowed_chars_ratio',
+        'encoding_suspicion',
+        'single_char_word_count',
+        'single_char_unique_count',
+        'single_char_upper_count',
+        'single_char_lower_count',
+        'single_char_upper_unique_count',
+        'single_char_lower_unique_count',
+        'single_char_top_1_codepoint',
+        'single_char_top_2_codepoint',
+        'single_char_top_3_codepoint',
+        'question_sentence_ratio',
+        'single_word_line_ratio',
+        'repeated_word_line_ratio',
+        'lix',
+        'rix',
+        'diacritics_std_dev',
+        'ner_count',
+        'ner_person_ratio',
+        'ner_org_ratio',
+        'ner_loc_ratio',
+        'ner_misc_ratio',
+        'case_diversity',
+        'tense_diversity',
+        'mood_diversity',
+        'top_words_total_count',
+        'top_words_noun_ratio',
+        'top_words_verb_ratio',
+        'top_words_adj_ratio',
+        'top_words_other_ratio',
+        'top_words_noun_prop_of_all_nouns',
+        'top_words_verb_prop_of_all_verbs',
+        'top_words_adj_prop_of_all_adjs',
+        'top_words_other_prop_of_all_others',
+        'avg_dependency_tree_depth',
+        'digit_start_lines'
+]
+
+

text_analyzer/features/base_features.py

@@ -0,0 +1,243 @@
+"""
+Moduł do ekstrakcji podstawowych, statystycznych cech tekstu.
+
+Zawiera funkcje do analizy na poziomie znaków, słów i linii, które nie
+wymagają zaawansowanych modeli lingwistycznych.
+"""
+import re
+from collections import Counter
+from typing import Dict, List
+
+from ..utils import safe_divide
+from ..constants import (PUNCTUATION_PATTERN, EXCESSIVE_SPACES_PATTERN,
+                       ALLOWED_CHARS_PATTERN, COMMON_CHARACTERS)
+
+# --- Funkcje analizujące znaki ---
+
+def analyze_character_stats(text: str, text_lower: str) -> Dict[str, float]:
+    """Oblicza podstawowe statystyki na poziomie znaków."""
+    total_chars = len(text)
+    char_counts = Counter(text)
+    
+    if not total_chars:
+        return {
+            'characters': 0, 'digit_count': 0, 'digit_ratio': 0.0,
+            'overall_uppercase_ratio': 0.0, 'unique_characters_all': 0,
+            'unique_characters_lower': 0, 'characters_out_of_common': 0,
+            'tabs': 0, 'multispaces': 0
+        }
+
+    return {
+        'characters': total_chars,
+        'digit_count': sum(ch.isdigit() for ch in text),
+        'digit_ratio': safe_divide(sum(ch.isdigit() for ch in text), total_chars),
+        'overall_uppercase_ratio': safe_divide(sum(ch.isupper() for ch in text), total_chars),
+        'unique_characters_all': len(set(text)),
+        'unique_characters_lower': len(set(text_lower)),
+        'characters_out_of_common': len([c for c in text if c not in COMMON_CHARACTERS]),
+        'tabs': text.count('\t'),
+        'multispaces': len(EXCESSIVE_SPACES_PATTERN.findall(text))
+    }
+
+def analyze_punctuation_stats(text: str) -> Dict[str, float]:
+    """Analizuje występowanie interpunkcji i specyficznych znaków."""
+    total_chars = len(text)
+    if not total_chars:
+        return {
+            'punct_frequency': 0.0, 'bracet_count': 0, 'bracket_ratio': 0.0,
+            'count_special_chars': 0
+        }
+    
+    open_paren = text.count('(')
+    close_paren = text.count(')')
+    open_bracket = text.count('[')
+    close_bracket = text.count(']')
+
+    return {
+        'punct_frequency': safe_divide(len(PUNCTUATION_PATTERN.findall(text)), total_chars),
+        'bracet_count': open_paren + close_paren + open_bracket + close_bracket,
+        'bracket_ratio': safe_divide(open_bracket, close_bracket),
+        'count_special_chars': len(re.findall(r'(\?|!){3,}', text))
+    }
+
+def analyze_advanced_char_features(text: str) -> Dict[str, float]:
+    """Analizuje zaawansowane cechy rozkładu znaków i słów (dawniej analyze_char_features)."""
+    total_chars = len(text)
+    words_found = re.findall(r'\w+', text)
+    word_count = len(words_found)
+
+    if not total_chars or not word_count:
+        return {
+            'word_count': 0, 'unique_word_count': 0, 'top_word_count': 0, 'top_word_ratio': 0.0,
+            'top_5_ratio': 0.0, 'top_10_ratio': 0.0, 'hapax_legomena_ratio': 0.0,
+            'looping_suspicion': 0, 'polish_diacritics_count': 0, 'polish_diacritics_ratio': 0.0,
+            'polish_diacritics_per_word': 0.0, 'diacritics_to_letters_ratio': 0.0,
+            'replacement_char_count': 0, 'replacement_char_ratio': 0.0,
+            'not_allowed_chars_count': 0, 'not_allowed_chars_ratio': 0.0,
+            'encoding_suspicion': 0, 'single_char_word_count': 0, 'single_char_unique_count': 0,
+            'single_char_upper_count': 0, 'single_char_lower_count': 0,
+            'single_char_upper_unique_count': 0, 'single_char_lower_unique_count': 0,
+            'single_char_top_1_codepoint': 0, 'single_char_top_2_codepoint': 0,
+            'single_char_top_3_codepoint': 0
+        }
+
+    word_freq = Counter(words_found)
+    most_common = word_freq.most_common(10)
+
+    # Polish diacritics
+    polish_diacritics = 'ąćęłńóśźżĄĆĘŁŃÓŚŹŻ'
+    char_counts = Counter(text)
+    diac_count = sum(char_counts.get(ch, 0) for ch in polish_diacritics)
+    letters_count = sum(1 for ch in text if ch.isalpha())
+
+    # Single char words
+    single_chars = [w for w in words_found if len(w) == 1]
+    single_char_freq = Counter(single_chars)
+    top_3_single = single_char_freq.most_common(3)
+    top_codes = [ord(w) for w, _ in top_3_single]
+    while len(top_codes) < 3: top_codes.append(0)
+
+    # Encoding
+    replacement_count = char_counts.get('\uFFFD', 0)
+    not_allowed_count = sum(1 for ch in text if not ALLOWED_CHARS_PATTERN.match(ch))
+    replacement_ratio = safe_divide(replacement_count, total_chars)
+    not_allowed_ratio = safe_divide(not_allowed_count, total_chars)
+    
+    top_word_ratio = safe_divide(most_common[0][1] if most_common else 0, word_count)
+    top_5_ratio = safe_divide(sum(cnt for _, cnt in most_common[:5]), word_count)
+
+    features = {
+        'word_count': word_count,
+        'unique_word_count': len(word_freq),
+        'top_word_count': most_common[0][1] if most_common else 0,
+        'top_word_ratio': top_word_ratio,
+        'top_5_ratio': top_5_ratio,
+        'top_10_ratio': safe_divide(sum(cnt for _, cnt in most_common[:10]), word_count),
+        'hapax_legomena_ratio': safe_divide(sum(1 for cnt in word_freq.values() if cnt == 1), word_count),
+        'looping_suspicion': 1 if (top_word_ratio > 0.15 or top_5_ratio > 0.4) else 0,
+        'polish_diacritics_count': diac_count,
+        'polish_diacritics_ratio': safe_divide(diac_count, total_chars),
+        'polish_diacritics_per_word': safe_divide(diac_count, word_count),
+        'diacritics_to_letters_ratio': safe_divide(diac_count, letters_count),
+        'replacement_char_count': replacement_count,
+        'replacement_char_ratio': replacement_ratio,
+        'not_allowed_chars_count': not_allowed_count,
+        'not_allowed_chars_ratio': not_allowed_ratio,
+        'encoding_suspicion': 1 if (replacement_ratio > 0.01 or not_allowed_ratio > 0.05) else 0,
+        'single_char_word_count': len(single_chars),
+        'single_char_unique_count': len(single_char_freq),
+        'single_char_upper_count': sum(1 for w in single_chars if w.isupper()),
+        'single_char_lower_count': sum(1 for w in single_chars if w.islower()),
+        'single_char_upper_unique_count': len({w for w in single_chars if w.isupper()}),
+        'single_char_lower_unique_count': len({w for w in single_chars if w.islower()}),
+        'single_char_top_1_codepoint': top_codes[0],
+        'single_char_top_2_codepoint': top_codes[1],
+        'single_char_top_3_codepoint': top_codes[2],
+    }
+    return features
+
+# --- Funkcje analizujące słowa ---
+
+def analyze_word_stats(words: List[str], words_lower: List[str]) -> Dict[str, float]:
+    total_words = len(words)
+    if not total_words: return {'mean_word_length': 0.0, 'lexical_diversity': 0.0, 'count_caps': 0.0, 'word_isupper<5': 0, 'word_isupper>5': 0, 'count_digit_to_caps': 0.0}
+    
+    digit_count = sum(1 for w in words if any(ch.isdigit() for ch in w))
+    caps_count = sum(1 for w in words if w.isupper()) # Używamy 'words' z oryginalną wielkością
+    
+    return {
+        'mean_word_length': safe_divide(sum(len(w) for w in words_lower), total_words),
+        'lexical_diversity': safe_divide(len(set(words_lower)), total_words),
+        'count_caps': safe_divide(caps_count, total_words),
+        'word_isupper<5': sum(1 for w in words if w.isupper() and len(w) < 5),
+        'word_isupper>5': sum(1 for w in words if w.isupper() and len(w) >= 5),
+        'count_digit_to_caps': safe_divide(digit_count, caps_count)
+    }
+
+def count_contextual_word_repetitions(words_lower: List[str]) -> Dict[str, float]:
+    """Liczy powtórzenia tego samego słowa bezpośrednio po sobie."""
+    count = sum(1 for i in range(len(words_lower) - 1) if words_lower[i] == words_lower[i+1])
+    return {
+        "contextual_word_repetitions_count": count,
+        "contextual_word_repetitions_ratio": safe_divide(count, len(words_lower))
+    }
+
+def count_single_chars_and_ratio(text: str) -> Dict[str, float]:
+    """Liczy słowa składające się z jednego znaku (wersja z oryginalnego kodu)."""
+    t = " " + text + " "
+    count = sum(1 for i in range(1, len(t) - 1) if t[i-1].isspace() and t[i+1].isspace())
+    return {
+        'single_char_count': count,
+        'single_char_ratio': safe_divide(count, len(t))
+    }
+
+# --- Funkcje analizujące linie ---
+
+def analyze_line_length_stats(lines: List[str]) -> Dict[str, float]:
+    """Oblicza statystyki związane z długością linii."""
+    total_lines = len(lines)
+    if not total_lines:
+        return {
+            'average_lines': 0.0, 'short_line_count_3': 0,
+            'short_line_count_5': 0, 'short_line_count_10': 0, 'short_line_count_20': 0,
+            'short_line_ratio_3': 0.0, 'short_line_ratio_5': 0.0,
+            'short_line_ratio_10': 0.0, 'short_line_ratio_20': 0.0
+        }
+    
+    line_lengths = [len(line) for line in lines]
+    stats = {'average_lines': safe_divide(sum(line_lengths), total_lines)}
+    
+    for threshold in [3, 5, 10, 20]:
+        count = sum(1 for length in line_lengths if length < threshold)
+        stats[f'short_line_count_{threshold}'] = count
+        stats[f'short_line_ratio_{threshold}'] = safe_divide(count, total_lines)
+    return stats
+
+def analyze_line_content(lines: List[str]) -> Dict[str, float]:
+    """Analizuje zawartość linii pod kątem specyficznych wzorców."""
+    total_lines = len(lines)
+    if not total_lines:
+        return {
+            'blank_lines': 0, 'blank_lines_ratio': 0.0,
+            'ellipsis_fractions': 0.0, 'line_counts': 0,
+            'digit_start_lines': 0, 'duplicated_lines': 0, 'duplicate_line_ratio': 0.0
+        }
+        
+    non_empty_lines = [line for line in lines if line.strip()]
+    blanks_count = total_lines - len(non_empty_lines)
+    ellipsis_lines_count = sum(1 for line in lines if line.strip().endswith(('...', '…')))
+    digit_start_lines_count = sum(1 for line in non_empty_lines if line.strip() and line.strip()[0].isdigit())
+    
+    line_counts = Counter(non_empty_lines)
+    duplicated_lines_count = sum(cnt - 1 for cnt in line_counts.values() if cnt > 1)
+    
+    return {
+        'blank_lines': blanks_count,
+        'blank_lines_ratio': safe_divide(blanks_count, total_lines),
+        'ellipsis_fractions': safe_divide(ellipsis_lines_count, total_lines),
+        'line_counts': total_lines,
+        'digit_start_lines': digit_start_lines_count,
+        'duplicated_lines': duplicated_lines_count,
+        'duplicate_line_ratio': safe_divide(duplicated_lines_count, len(non_empty_lines))
+    }
+
+def count_lorem_ipsum(text_lower: str) -> Dict[str, float]:
+    """Oblicza stosunek "lorem ipsum"."""
+    count = text_lower.count('lorem ipsum')
+    return {'lorem_ipsum_ratio': safe_divide(count, len(text_lower))}
+
+# --- Główna funkcja agregująca ---
+
+def calculate_all_base_features(text: str, text_lower: str, words: List[str], words_lower: List[str], lines: List[str]) -> Dict[str, float]:
+    """Agreguje wszystkie podstawowe cechy tekstu z tego modułu."""
+    features = {}
+    features.update(analyze_character_stats(text, text_lower))
+    features.update(analyze_punctuation_stats(text))
+    features.update(analyze_advanced_char_features(text))
+    features.update(analyze_word_stats(words, words_lower))
+    features.update(count_contextual_word_repetitions(words_lower))
+    features.update(count_single_chars_and_ratio(text))
+    features.update(analyze_line_length_stats(lines))
+    features.update(analyze_line_content(lines))
+    features.update(count_lorem_ipsum(text_lower))
+    return features

text_analyzer/features/linguistic_features.py

@@ -0,0 +1,122 @@
+# text_analyzer/features/linguistic_features.py
+"""
+Moduł do ekstrakcji cech lingwistycznych i stylistycznych tekstu.
+"""
+import math
+import re
+from collections import Counter
+from typing import Dict, List
+
+from ..utils import safe_divide
+from ..constants import STOP_WORDS, BAD_WORDS, NON_WORD_CHARS_PATTERN
+
+# --- Funkcje analizujące leksykę (słownictwo) ---
+
+def calculate_stop_word_ratio(words_lower: List[str]) -> Dict[str, float]:
+    """Oblicza stosunek stop-words do wszystkich słów."""
+    total_words = len(words_lower)
+    stop_word_count = sum(1 for w in words_lower if w in STOP_WORDS)
+    return {'stop_word_ratio': safe_divide(stop_word_count, total_words)}
+
+def count_bad_words(words_lower: List[str]) -> Dict[str, int]:
+    """Liczy wystąpienia wulgaryzmów."""
+    return {'bad_word_count': sum(1 for w in words_lower if w in BAD_WORDS)}
+
+def calculate_unigram_entropy(words_lower: List[str]) -> Dict[str, float]:
+    """Oblicza entropię rozkładu unigramów (słów)."""
+    total_words = len(words_lower)
+    if not total_words: return {'entropy': 0.0}
+    counts = Counter(words_lower)
+    entropy = -sum((cnt / total_words) * math.log(cnt / total_words) for cnt in counts.values())
+    return {'entropy': entropy}
+
+def count_non_alpha_words(text: str) -> Dict[str, float]:
+    """Liczy stosunek znaków niealfabetycznych do wszystkich."""
+    total_chars = len(text)
+    if not total_chars: return {'non_alpha_word_fractions': 0.0}
+    non_alpha = sum(1 for char in text if not char.isalpha())
+    return {'non_alpha_word_fractions': safe_divide(non_alpha, total_chars)}
+
+def calculate_symbol_to_word_ratio(words: List[str], text: str) -> Dict[str, float]:
+    """Oblicza stosunek symboli do słów."""
+    total_words = len(words)
+    char_counts = Counter(text)
+    triple_dot_count = text.count('...')
+    symbol_count = char_counts.get('#', 0) + triple_dot_count + char_counts.get('…', 0)
+    return {'symbol_to_word_ratio': safe_divide(symbol_count, total_words)}
+
+
+# --- Funkcje analizujące n-gramy ---
+
+def calculate_ngram_fractions(words: List[str]) -> Dict[str, float]:
+    """Analizuje frakcje powtarzających się i najczęstszych n-gramów."""
+    normalized_text = NON_WORD_CHARS_PATTERN.sub('', ' '.join(words))
+    total_chars = len(normalized_text)
+
+    keys = [f'fraction_duplicate_{n}_ngram' for n in range(5, 11)] + \
+           [f'fraction_top_{n}_ngram' for n in range(2, 6)]
+    if total_chars == 0 or len(words) < 10:
+        return {key: 0.0 for key in keys}
+
+    results = {}
+    for n in range(2, 11):
+        if len(words) < n: continue
+        ngrams_gen = (' '.join(words[i:i + n]) for i in range(len(words) - n + 1))
+        counts = Counter(ngrams_gen)
+        if n >= 5:
+            dup_chars = sum(len(ngram) for ngram, cnt in counts.items() if cnt > 1)
+            results[f'fraction_duplicate_{n}_ngram'] = safe_divide(dup_chars, total_chars)
+        if 2 <= n <= 5:
+            if counts:
+                top_ngram, _ = counts.most_common(1)[0]
+                results[f'fraction_top_{n}_ngram'] = safe_divide(len(top_ngram), total_chars)
+            else:
+                results[f'fraction_top_{n}_ngram'] = 0.0
+    return results
+
+# --- Funkcje analizujące styl tekstu ---
+
+def analyze_stylistic_metrics(text: str, words: List[str], sentences: List[str]) -> Dict[str, float]:
+    # Używamy prostej tokenizacji, aby zachować zgodność ze starym kodem
+    sentences_from_regex = re.findall(r'[^.!?]+[.!?]', text)
+    num_sentences = len(sentences_from_regex)
+    words_per_sentence = [len(s.split()) for s in sentences_from_regex]
+    
+    formal_words = ['Pan', 'Pani', 'Państwo', 'uprzejmie', 'proszę', 'dziękuję']
+    formal_count = sum(text.count(word) for word in formal_words)
+    
+    cohesive_words = ['jednak', 'ponadto', 'w konsekwencji', 'zatem', 'więc', 'dlatego', 'natomiast', 'niemniej']
+    cohesion_count = sum(text.lower().count(word) for word in cohesive_words)
+    
+    quote_count = len(re.findall(r'[„"]', text)) // 2
+    reference_count = len(re.findall(r'\[[0-9]+\]', text))
+
+    first_words = [s.split()[0].lower() for s in sentences_from_regex if s.split()]
+    
+    return {
+        'formal_words_ratio': safe_divide(formal_count, len(words)),
+        'cohesive_words_per_sentence': safe_divide(cohesion_count, num_sentences),
+        'quotes_and_references_per_sentence': safe_divide(quote_count + reference_count, num_sentences),
+        'unique_sentence_beginnings_ratio': safe_divide(len(set(first_words)), num_sentences),
+        'commas_per_sentence': safe_divide(text.count(','), num_sentences),
+        'semicolons_per_sentence': safe_divide(text.count(';'), num_sentences),
+        'dashes_per_sentence': safe_divide(text.count('—') + text.count('–'), num_sentences),
+        'colons_per_sentence': safe_divide(text.count(':'), num_sentences),
+        'short_sentences_ratio': safe_divide(sum(1 for c in words_per_sentence if c < 5), num_sentences),
+        'long_sentences_ratio': safe_divide(sum(1 for c in words_per_sentence if c > 30), num_sentences)
+    }
+
+# --- Główna funkcja agregująca ---
+
+def calculate_all_linguistic_features(text: str, text_lower: str, words: List[str], words_lower: List[str], sentences: List[str]) -> Dict[str, float]:
+    """Agreguje wszystkie cechy lingwistyczne i stylistyczne z tego modułu."""
+    features = {}
+    features.update(calculate_stop_word_ratio(words_lower))
+    features.update(count_bad_words(words_lower))
+    features.update(calculate_unigram_entropy(words_lower))
+    features.update(count_non_alpha_words(text)) # Oryginalnie liczone na całym tekście
+    features.update(calculate_symbol_to_word_ratio(words, text))
+    features.update(calculate_ngram_fractions(words))
+    features.update(analyze_stylistic_metrics(text, words, sentences))
+    features['javascript_counts_per_line'] = text_lower.count('javascript') # Oryginał to była suma, nie na linię
+    return features

text_analyzer/features/regex_features.py

@@ -0,0 +1,51 @@
+# text_analyzer/features/regex_features.py
+"""
+Moduł do ekstrakcji cech opartych na wyrażeniach regularnych.
+
+Odpowiedzialny za wykrywanie i zliczanie predefiniowanych wzorców,
+takich jak dane osobowe i wrażliwe (PII), numery identyfikacyjne,
+daty, adresy e-mail i inne specyficzne formaty.
+"""
+
+from typing import Dict
+
+from ..constants import PII_REGEX_PATTERNS
+
+def calculate_all_regex_features(text: str) -> Dict[str, int]:
+    """
+    Przeszukuje tekst w poszukiwaniu wszystkich zdefiniowanych wzorców i 
+    zlicza ich wystąpienia, zachowując zgodność z oryginalnym zestawem cech.
+
+    Args:
+        text (str): Tekst do analizy.
+
+    Returns:
+        Dict[str, int]: Słownik, w którym klucze to nazwy wzorców (np. 'email_reg'),
+                        a wartości to liczba znalezionych dopasowań.
+    """
+    if not text:
+        # Zwracamy słownik z zerami dla wszystkich kluczy, które by powstały.
+        # Usuwamy 'domestic_phone_reg', bo nie jest to cecha końcowa.
+        original_keys = [k for k in PII_REGEX_PATTERNS.keys() if k != 'domestic_phone_reg']
+        return {name: 0 for name in original_keys}
+
+    features = {}
+    
+    # Przechodzimy przez wszystkie prekompilowane wzorce
+    for name, pattern in PII_REGEX_PATTERNS.items():
+        try:
+            matches = pattern.findall(text)
+            features[name] = len(matches)
+        except Exception as e:
+            # Dodajemy obsługę błędów na wypadek problemów z regexem
+            print(f"Błąd podczas przetwarzania wzorca '{name}': {e}")
+            features[name] = 0
+
+    # Odtworzenie oryginalnej logiki: suma telefonów jest przypisana do 'phone_reg'
+    # a 'domestic_phone_reg' nie jest cechą końcową.
+    if 'phone_reg' in features and 'domestic_phone_reg' in features:
+        features['phone_reg'] += features['domestic_phone_reg']
+        # Usuwamy klucz pomocniczy, aby nie pojawił się w wynikach końcowych.
+        del features['domestic_phone_reg']
+    
+    return features

text_analyzer/features/spacy_features.py

@@ -0,0 +1,196 @@
+"""
+Moduł do ekstrakcji zaawansowanych cech lingwistycznych przy użyciu spaCy.
+"""
+import re
+import math
+from collections import Counter
+from statistics import mean, variance
+from typing import Dict, List
+
+import textstat
+import spacy
+
+from ..utils import safe_divide
+from ..constants import CAMEL_CASE_PATTERN
+
+# --- Funkcje analizujące podstawowe statystyki z Doc ---
+
+def analyze_pos_stats(doc: spacy.tokens.Doc) -> Dict[str, float]:
+    """Oblicza statystyki części mowy (POS), interpunkcji i stopwords."""
+    words = [t for t in doc if not t.is_punct and not t.is_space and t.pos_ != 'SYM']
+    words_count = len(words)
+    
+    if not words_count:
+        return {'words': 0, 'nouns': 0, 'verbs': 0, 'adjectives': 0, 'adverbs': 0,
+                'punctuations': 0, 'symbols': 0, 'stopwords': 0, 'oovs': 0,
+                'pos_x': 0, 'pos_num': 0, 'noun_ratio': 0.0, 'verb_ratio': 0.0,
+                'adj_ratio': 0.0}
+    
+    stats = {
+        'words': words_count, 'nouns': sum(1 for t in doc if t.pos_ == "NOUN"),
+        'verbs': sum(1 for t in doc if t.pos_ == "VERB"),
+        'adjectives': sum(1 for t in doc if t.pos_ == "ADJ"),
+        'adverbs': sum(1 for t in doc if t.pos_ == "ADV"),
+        'punctuations': sum(1 for t in doc if t.is_punct),
+        'symbols': sum(1 for t in doc if t.pos_ == "SYM"),
+        'stopwords': sum(1 for t in doc if t.is_stop),
+        'oovs': sum(1 for t in doc if t.is_oov),
+        'pos_x': sum(1 for t in doc if t.pos_ == "X"),
+        'pos_num': sum(1 for t in doc if t.pos_ == "NUM"),
+    }
+    stats['noun_ratio'] = safe_divide(stats['nouns'], words_count)
+    stats['verb_ratio'] = safe_divide(stats['verbs'], words_count)
+    stats['adj_ratio'] = safe_divide(stats['adjectives'], words_count)
+    return stats
+
+def analyze_doc_level_stats(doc: spacy.tokens.Doc, text: str) -> Dict[str, float]:
+    """Analizuje cechy na poziomie całego dokumentu."""
+    words = [t for t in doc if not t.is_punct and not t.is_space and t.pos_ != 'SYM']
+    words_count = len(words)
+    sentences_count = len(list(doc.sents))
+    
+    return {
+        'sentences': sentences_count,
+        'avg_word_length': safe_divide(sum(len(t.text) for t in words), words_count),
+        'avg_sentence_length': safe_divide(words_count, sentences_count),
+        'lexical_density': safe_divide(len({t.lemma_ for t in words}), words_count),
+        'gunning_fog': textstat.gunning_fog(text) if text.strip() else 0.0,
+        'camel_case': sum(1 for t in words if CAMEL_CASE_PATTERN.match(t.text)),
+        'capitalized_words': sum(1 for t in words if t.text.isupper()),
+    }
+
+# --- Funkcje analizujące zaawansowane cechy lingwistyczne ---
+
+def analyze_named_entities(doc: spacy.tokens.Doc) -> Dict[str, float]:
+    """Analizuje rozpoznane jednostki nazwane (NER)."""
+    alpha_words = [t for t in doc if t.is_alpha]
+    if not alpha_words:
+        return {"ner_count": 0, "ner_person_ratio": 0.0, "ner_org_ratio": 0.0,
+                "ner_loc_ratio": 0.0, "ner_misc_ratio": 0.0}
+    
+    ents = doc.ents
+    return {
+        "ner_count": len(ents),
+        "ner_person_ratio": safe_divide(sum(1 for e in ents if e.label_ == "persName"), len(alpha_words)),
+        "ner_org_ratio": safe_divide(sum(1 for e in ents if e.label_ == "orgName"), len(alpha_words)),
+        "ner_loc_ratio": safe_divide(sum(1 for e in ents if e.label_ in ["placeName", "locName"]), len(alpha_words)),
+        "ner_misc_ratio": safe_divide(sum(1 for e in ents if e.label_ not in ["persName", "orgName", "placeName", "locName"]), len(alpha_words)),
+    }
+
+def analyze_morphology(doc: spacy.tokens.Doc) -> Dict[str, float]:
+    """Analizuje różnorodność morfologiczną."""
+    alpha_tokens = [t for t in doc if t.is_alpha]
+    if not alpha_tokens:
+        return {"case_diversity": 0.0, "tense_diversity": 0.0, "mood_diversity": 0.0}
+    
+    cases, tenses, moods = [], [], []
+    for token in alpha_tokens:
+        if token.morph:
+            cases.extend(token.morph.get("Case", []))
+            tenses.extend(token.morph.get("Tense", []))
+            moods.extend(token.morph.get("Mood", []))
+            
+    return {"case_diversity": safe_divide(len(set(cases)), len(alpha_tokens)),
+            "tense_diversity": safe_divide(len(set(tenses)), len(alpha_tokens)),
+            "mood_diversity": safe_divide(len(set(moods)), len(alpha_tokens))}
+
+def analyze_dependency_complexity(doc: spacy.tokens.Doc) -> Dict[str, float]:
+    """Oblicza średnią głębokość drzewa zależności."""
+    depths = []
+    for sent in doc.sents:
+        if not list(sent): continue
+        max_depth = 0
+        for token in sent:
+            dist = 0
+            curr = token
+            while curr.head != curr and dist < 100:
+                curr = curr.head
+                dist += 1
+            max_depth = max(max_depth, dist)
+        depths.append(max_depth)
+    return {"avg_dependency_tree_depth": mean(depths) if depths else 0.0}
+
+def analyze_pos_frequencies(doc: spacy.tokens.Doc, top_k=10) -> Dict[str, float]:
+    """Analizuje częstotliwość POS dla najczęstszych słów."""
+    tokens = [t for t in doc if t.is_alpha]
+    if not tokens:
+        return {"top_words_total_count": 0, "top_words_noun_ratio": 0.0, "top_words_verb_ratio": 0.0,
+                "top_words_adj_ratio": 0.0, "top_words_other_ratio": 0.0, "top_words_noun_prop_of_all_nouns": 0.0,
+                "top_words_verb_prop_of_all_verbs": 0.0, "top_words_adj_prop_of_all_adjs": 0.0,
+                "top_words_other_prop_of_all_others": 0.0}
+    
+    word_counts = Counter(t.text.lower() for t in tokens)
+    top_words_list = [w for w, _ in word_counts.most_common(top_k)]
+    
+    top_tokens = [t for t in tokens if t.text.lower() in top_words_list]
+    total_top_count = len(top_tokens)
+    
+    top_noun = sum(1 for t in top_tokens if t.pos_ == 'NOUN')
+    top_verb = sum(1 for t in top_tokens if t.pos_ == 'VERB')
+    top_adj = sum(1 for t in top_tokens if t.pos_ == 'ADJ')
+    top_other = total_top_count - (top_noun + top_verb + top_adj)
+    
+    total_nouns = sum(1 for t in tokens if t.pos_ == "NOUN")
+    total_verbs = sum(1 for t in tokens if t.pos_ == "VERB")
+    total_adjs = sum(1 for t in tokens if t.pos_ == "ADJ")
+    total_others = len(tokens) - (total_nouns + total_verbs + total_adjs)
+    
+    return {
+        "top_words_total_count": total_top_count,
+        "top_words_noun_ratio": safe_divide(top_noun, total_top_count),
+        "top_words_verb_ratio": safe_divide(top_verb, total_top_count),
+        "top_words_adj_ratio": safe_divide(top_adj, total_top_count),
+        "top_words_other_ratio": safe_divide(top_other, total_top_count),
+        "top_words_noun_prop_of_all_nouns": safe_divide(top_noun, total_nouns),
+        "top_words_verb_prop_of_all_verbs": safe_divide(top_verb, total_verbs),
+        "top_words_adj_prop_of_all_adjs": safe_divide(top_adj, total_adjs),
+        "top_words_other_prop_of_all_others": safe_divide(top_other, total_others),
+    }
+
+# --- Funkcje wymagające tylko tekstu ---
+
+def compute_readability_indices(text: str, sentences: List[str]) -> Dict[str, float]:
+    """Oblicza wskaźniki czytelności LIX i RIX."""
+    if not text.strip(): return {"lix": 0.0, "rix": 0.0}
+    words = re.findall(r'\w+', text)
+    num_words = len(words)
+    num_sentences = len(sentences)
+    long_words = sum(1 for w in words if len(w) > 6)
+    lix = safe_divide(num_words, num_sentences) + safe_divide(long_words * 100, num_words)
+    rix = safe_divide(long_words, num_words) * 100
+    return {"lix": lix, "rix": rix}
+
+def analyze_polish_diacritics_distribution(text: str) -> Dict[str, float]:
+    """Analizuje rozkład polskich znaków diakrytycznych."""
+    polish_diacritics = 'ąćęłńóśźżĄĆĘŁŃÓŚŹŻ'
+    total = len(text)
+    if total == 0: return {"diacritics_std_dev": 0.0}
+    counts = Counter(text)
+    diac_counts = [counts[ch] for ch in polish_diacritics if ch in counts]
+    if not diac_counts: return {"diacritics_std_dev": 0.0}
+    diac_freqs = [c / total for c in diac_counts]
+    mean_freq = mean(diac_freqs)
+    variance_val = sum((x - mean_freq) ** 2 for x in diac_freqs) / len(diac_freqs)
+    return {"diacritics_std_dev": math.sqrt(variance_val)}
+
+def analyze_question_sentences(sentences: List[str]) -> Dict[str, float]:
+    """Oblicza stosunek zdań pytających do wszystkich."""
+    if not sentences: return {"question_sentence_ratio": 0.0}
+    questions = sum(1 for s in sentences if s.strip().endswith('?'))
+    return {"question_sentence_ratio": safe_divide(questions, len(sentences))}
+
+# --- Główna funkcja agregująca ---
+
+def calculate_all_spacy_features(doc: spacy.tokens.Doc, text: str, sentences: List[str]) -> Dict[str, float]:
+    """Agreguje wszystkie zaawansowane cechy lingwistyczne."""
+    features = {}
+    features.update(analyze_pos_stats(doc))
+    features.update(analyze_doc_level_stats(doc, text))
+    features.update(analyze_named_entities(doc))
+    features.update(analyze_morphology(doc))
+    features.update(analyze_dependency_complexity(doc))
+    features.update(analyze_pos_frequencies(doc))
+    features.update(compute_readability_indices(text, sentences))
+    features.update(analyze_polish_diacritics_distribution(text))
+    features.update(analyze_question_sentences(sentences))
+    return features

text_analyzer/features/structural_features.py

@@ -0,0 +1,149 @@
+# text_analyzer/features/structural_features.py
+"""
+Moduł do ekstrakcji cech strukturalnych i formatowania tekstu.
+"""
+import re
+from collections import Counter
+from statistics import mean, variance
+from typing import Dict, List
+
+from ..utils import safe_divide
+from ..constants import MARKDOWN_PATTERNS
+
+# --- Funkcje analizujące strukturę paragrafów ---
+
+def analyze_paragraph_stats(text: str) -> Dict[str, float]:
+    """Analizuje statystyki paragrafów."""
+    paragraphs = [p.strip() for p in text.split('\n\n') if p.strip()]
+    if not paragraphs:
+        return {'avg_paragraph_length': 0.0, 'paragraph_length_variance': 0.0}
+    para_lengths_in_words = [len(p.split()) for p in paragraphs]
+    return {
+        'avg_paragraph_length': mean(para_lengths_in_words) if para_lengths_in_words else 0.0,
+        'paragraph_length_variance': variance(para_lengths_in_words) if len(para_lengths_in_words) > 1 else 0.0
+    }
+
+# --- Funkcje analizujące formatowanie i elementy nietekstowe ---
+
+def analyze_formatting_and_links(text: str, sentences: List[str]) -> Dict[str, float]:
+    """Zlicza elementy formatowania (HTML, BBCode), linki, emotikony i slang."""
+    total_chars = len(text)
+    words = text.split()
+    html_tags = re.findall(r'<[^>]+>', text)
+    bbcode_tags = re.findall(r'\[[^\]]+\]', text)
+    slang_words_count = len(re.findall(r'\b(?:lol|omg|lmao|xd|wtf)\b', text.lower()))
+    markup_len = sum(len(tag) for tag in html_tags) + sum(len(tag) for tag in bbcode_tags)
+    incomplete_sentences_count = sum(1 for s in sentences if len(s.split()) < 3)
+
+    return {
+        'html_tags': len(html_tags),
+        'bbcode_tags': len(bbcode_tags),
+        'urls': len(re.findall(r'https?://\S+|www\.\S+', text)),
+        'text_to_markup_ratio': safe_divide(total_chars - markup_len, total_chars),
+        'emoticons': len(re.findall(r'[:;=]-?[)(DPp]', text)),
+        'slang_words': slang_words_count,
+        'slang_words_ratio': safe_divide(slang_words_count, len(words)),
+        'excessive_chars': len(re.findall(r'(\.|,|-|_){4,}', text)),
+        'incomplete_sentences': incomplete_sentences_count,
+    }
+
+def analyze_markdown_features(text: str) -> Dict[str, float]:
+    """Analizuje użycie składni Markdown, w tym wskaźniki poszczególnych znaków."""
+    total_chars = len(text)
+    if not total_chars:
+        # Zwróć zera dla wszystkich cech, aby uniknąć błędów
+        keys = [f'{name}_per_1000_chars_md' for name in MARKDOWN_PATTERNS.keys()]
+        keys += [f'char_ratio_{ch}' for ch in ['#', '*', '-', '+', '[', ']', '(', ')', '`', '>', '_', '!']]
+        keys += ['average_header_level_md', 'special_chars_ratio_md', 'lowercase_ratio_md', 
+                 'uppercase_ratio_md', 'digit_ratio_md', 'whitespace_ratio_md']
+        return {key: 0.0 for key in keys}
+
+    features = {'average_header_level_md': 0.0}
+    
+    # Podstawowe elementy Markdown
+    for name, pattern in MARKDOWN_PATTERNS.items():
+        count = len(pattern.findall(text))
+        # Zmieniamy nazwy kluczy, aby pasowały do column_order
+        key_name_map = {'header': 'headers', 'bold': 'bold', 'italic': 'italic',
+                        'unordered_list': 'unordered_list_items', 'ordered_list': 'ordered_list_items',
+                        'link': 'links', 'image': 'images', 'inline_code': 'inline_code_fragments',
+                        'code_block': 'code_blocks', 'blockquote': 'blockquotes', 'horizontal_rule': 'horizontal_rules'}
+        features[f'{key_name_map[name]}_per_1000_chars_md'] = safe_divide(count * 1000, total_chars)
+
+    # Średni poziom nagłówków
+    headers = MARKDOWN_PATTERNS['header'].findall(text)
+    if headers:
+        header_levels = [h.count('#') for h in headers]
+        features['average_header_level_md'] = safe_divide(sum(header_levels), len(header_levels))
+    
+    # Cechy znakowe
+    char_counts = Counter(text)
+    special_chars_list = ['#', '*', '-', '+', '[', ']', '(', ')', '`', '>', '_', '!']
+    for ch in special_chars_list:
+        features[f'char_ratio_{ch}'] = safe_divide(char_counts.get(ch, 0), total_chars)
+    
+    features['special_chars_ratio_md'] = safe_divide(sum(char_counts.get(ch, 0) for ch in special_chars_list), total_chars)
+    features['lowercase_ratio_md'] = safe_divide(sum(1 for c in text if c.islower()), total_chars)
+    features['uppercase_ratio_md'] = safe_divide(sum(1 for c in text if c.isupper()), total_chars)
+    features['digit_ratio_md'] = safe_divide(sum(1 for c in text if c.isdigit()), total_chars)
+    features['whitespace_ratio_md'] = safe_divide(sum(1 for c in text if c.isspace()), total_chars)
+    
+    return features
+
+def analyze_markdown_table_structure(text: str, lines: List[str]) -> Dict[str, float]:
+    """Analizuje cechy związane z tabelami w Markdown."""
+    total_chars = len(text)
+    total_lines = len(lines)
+    if not total_chars:
+        return {'table_pipe_count': 0, 'table_pipe_ratio': 0.0, 'table_pipe_per_1000_chars': 0.0,
+                'table_lines_count': 0, 'table_lines_ratio': 0.0, 'table_header_separators_count': 0,
+                'avg_pipes_per_table_line': 0.0, 'estimated_avg_columns': 0.0}
+
+    pipe_count = text.count('|')
+    table_lines = [line for line in lines if '|' in line]
+    header_separators = len([line for line in table_lines if re.match(r'^[\|\-\:\s]+$', line.strip())])
+    
+    return {
+        'table_pipe_count': pipe_count,
+        'table_pipe_ratio': safe_divide(pipe_count, total_chars),
+        'table_pipe_per_1000_chars': safe_divide(pipe_count * 1000, total_chars),
+        'table_lines_count': len(table_lines),
+        'table_lines_ratio': safe_divide(len(table_lines), total_lines),
+        'table_header_separators_count': header_separators,
+        'avg_pipes_per_table_line': safe_divide(pipe_count, len(table_lines)),
+        'estimated_avg_columns': safe_divide(pipe_count, (len(table_lines) * 2)) if table_lines else 0
+    }
+
+# --- Funkcje analizujące strukturę linii ---
+
+def analyze_line_structure(lines: List[str]) -> Dict[str, float]:
+    """Analizuje linie pod kątem specyficznych struktur."""
+    total_lines = len(lines)
+    non_empty_lines = [line.strip() for line in lines if line.strip()]
+    
+    if not total_lines:
+        return {'lines_with_bullet': 0, 'ratio_of_bulletpoints': 0.0,
+                'single_word_line_ratio': 0.0, 'repeated_word_line_ratio': 0.0}
+
+    bullets = {'•', '○', '‣', '-', '–', '—', '·', '⚪', '⚫', '▢', '■', '→', '★', '✓', '✕', '◇', '◆', '➤', '«', '»'}
+    bullet_count = sum(1 for line in non_empty_lines if line and line[0] in bullets)
+    
+    return {
+        'lines_with_bullet': bullet_count,
+        'ratio_of_bulletpoints': safe_divide(bullet_count, len(non_empty_lines)),
+        'single_word_line_ratio': safe_divide(sum(1 for l in non_empty_lines if len(l.split()) == 1), total_lines),
+        'repeated_word_line_ratio': safe_divide(sum(1 for l in non_empty_lines if len(l.split()) > 1 and len(set(l.split())) == 1), total_lines)
+    }
+
+# --- Główna funkcja agregująca ---
+
+def calculate_all_structural_features(text: str, lines: List[str], sentences: List[str]) -> Dict[str, float]:
+    """Agreguje wszystkie cechy strukturalne i formatowania."""
+    features = {}
+    features.update(analyze_paragraph_stats(text))
+    features.update(analyze_formatting_and_links(text, sentences)) 
+    features.update(analyze_markdown_features(text))
+    features.update(analyze_markdown_table_structure(text, lines))
+    features.update(analyze_line_structure(lines))
+
+    return features

text_analyzer/utils.py

@@ -0,0 +1,12 @@
+def safe_divide(numerator: float, denominator: float) -> float:
+    """
+    Dzieli dwie liczby, zwracając 0, jeśli mianownik jest zerem.
+
+    Args:
+        numerator (float): Licznik.
+        denominator (float): Mianownik.
+
+    Returns:
+        float: Wynik dzielenia lub 0.
+    """
+    return numerator / denominator if denominator != 0 else 0.0