Add BERTopic model

README.md

@@ -0,0 +1,171 @@
+
+---
+tags:
+- bertopic
+library_name: bertopic
+pipeline_tag: text-classification
+---
+
+# MARTINI_enrich_BERTopic_chemtrailslaquintacolumna
+
+This is a [BERTopic](https://github.com/MaartenGr/BERTopic) model. 
+BERTopic is a flexible and modular topic modeling framework that allows for the generation of easily interpretable topics from large datasets. 
+
+## Usage 
+
+To use this model, please install BERTopic:
+
+```
+pip install -U bertopic
+```
+
+You can use the model as follows:
+
+```python
+from bertopic import BERTopic
+topic_model = BERTopic.load("AIDA-UPM/MARTINI_enrich_BERTopic_chemtrailslaquintacolumna")
+
+topic_model.get_topic_info()
+```
+
+## Topic overview
+
+* Number of topics: 102
+* Number of training documents: 17871
+
+<details>
+  <summary>Click here for an overview of all topics.</summary>
+  
+  | Topic ID | Topic Keywords | Topic Frequency | Label | 
+|----------|----------------|-----------------|-------| 
+| -1 | aviones - fumigaciones - lluvia - chemtrails - madrid | 20 | -1_aviones_fumigaciones_lluvia_chemtrails | 
+| 0 | lloviendo - precipitaciones - nublado - diluvio - jueves | 12112 | 0_lloviendo_precipitaciones_nublado_diluvio | 
+| 1 | fotos - preguntan - reflejo - whatsapp - perfil | 261 | 1_fotos_preguntan_reflejo_whatsapp | 
+| 2 | climatica - negacionistas - cambiando - artificialmente - veranos | 205 | 2_climatica_negacionistas_cambiando_artificialmente | 
+| 3 | temperturas - 17grados - verano - predecirlo - fechas | 188 | 3_temperturas_17grados_verano_predecirlo | 
+| 4 | mensaje - eliminado - canales - normas - promocionamos | 175 | 4_mensaje_eliminado_canales_normas | 
+| 5 | youtube - subtitulado - canales - descargar - jejejehttps | 168 | 5_youtube_subtitulado_canales_descargar | 
+| 6 | votamos - electorales - partido - democratico - politicuchos | 162 | 6_votamos_electorales_partido_democratico | 
+| 7 | bienvenido - registrarse - participar - twitch - josito | 161 | 7_bienvenido_registrarse_participar_twitch | 
+| 8 | ignorantes - despedirme - respeto - comprendo - insultado | 143 | 8_ignorantes_despedirme_respeto_comprendo | 
+| 9 | rioja - amanecer - vientos - estrellado - horizontes | 141 | 9_rioja_amanecer_vientos_estrellado | 
+| 10 | granada - nieves - fumigado - envuelve - atmosfera | 118 | 10_granada_nieves_fumigado_envuelve | 
+| 11 | nubosidad - chemtrail - temp - toxicidad - 24oc | 112 | 11_nubosidad_chemtrail_temp_toxicidad | 
+| 12 | aluminio - toxicos - catalizadores - nanoparticulas - descarguemos | 108 | 12_aluminio_toxicos_catalizadores_nanoparticulas | 
+| 13 | denuncias - telefono - policia - emergencias - colectivasv | 106 | 13_denuncias_telefono_policia_emergencias | 
+| 14 | protestamos - sabemos - combatamos - desconectarnos - organizarse | 105 | 14_protestamos_sabemos_combatamos_desconectarnos | 
+| 15 | vaporizada - condesaciones - agua - sudores - humectantes | 102 | 15_vaporizada_condesaciones_agua_sudores | 
+| 16 | sintomas - rinitis - mucosidad - alergica - irritativa | 101 | 16_sintomas_rinitis_mucosidad_alergica | 
+| 17 | conspiracionistas - estupidos - desinformar - silenciadas - sabotaje | 101 | 17_conspiracionistas_estupidos_desinformar_silenciadas | 
+| 18 | mensajes - escribirlo - bot - autoeliminacion - prohibidas | 83 | 18_mensajes_escribirlo_bot_autoeliminacion | 
+| 19 | barcelona - fumigando - descontroladas - ondulados - milagrosa | 78 | 19_barcelona_fumigando_descontroladas_ondulados | 
+| 20 | antenas - 5g - 3500mhz - mapa - banderillazos | 76 | 20_antenas_5g_3500mhz_mapa | 
+| 21 | chemtrailiano - nubosidad - precipitacion - dispersando - observar | 73 | 21_chemtrailiano_nubosidad_precipitacion_dispersando | 
+| 22 | vacunados - antivacunas - fauici - negacionista - inoculaciobes | 72 | 22_vacunados_antivacunas_fauici_negacionista | 
+| 23 | llamaremos - bienvenidos - conferencia - escuchar - permaneciendo | 72 | 23_llamaremos_bienvenidos_conferencia_escuchar | 
+| 24 | nubecitas - clouds - zachmurzenie - estratocumulus - desarrollarse | 71 | 24_nubecitas_clouds_zachmurzenie_estratocumulus | 
+| 25 | vilanova - comenzamos - pueblos - generalitat - ensanchando | 69 | 25_vilanova_comenzamos_pueblos_generalitat | 
+| 26 | tarragona - mierda - salu - comienza - febrero | 67 | 26_tarragona_mierda_salu_comienza | 
+| 27 | aviones - nublado - continuamos - ilusiones - encapotamieto | 66 | 27_aviones_nublado_continuamos_ilusiones | 
+| 28 | flighradar - aplicaciones - flayradar - portaaviones - transpondedor | 63 | 28_flighradar_aplicaciones_flayradar_portaaviones | 
+| 29 | jalisco - amanecimos - llueve - blanco - julio | 61 | 29_jalisco_amanecimos_llueve_blanco | 
+| 30 | antenas - amplificador - 6000metros - sobretensiones - localizarlas | 61 | 30_antenas_amplificador_6000metros_sobretensiones | 
+| 31 | cartagena - jueves - puta - amaneciamos - envenenandonos | 60 | 31_cartagena_jueves_puta_amaneciamos | 
+| 32 | chemtrail - pluie - cumulos - difuminados - chaimtrails | 59 | 32_chemtrail_pluie_cumulos_difuminados | 
+| 33 | estrellas - luminiscencias - telescopio - celestial - starlink | 58 | 33_estrellas_luminiscencias_telescopio_celestial | 
+| 34 | sobreactuando - ciel - refletir - pensando - caminando | 57 | 34_sobreactuando_ciel_refletir_pensando | 
+| 35 | zamora - haarpeados - cielos - atrocidad - locoooooo | 55 | 35_zamora_haarpeados_cielos_atrocidad | 
+| 36 | silenciado - advertencias - reiterados - insultos - 5819302655 | 55 | 36_silenciado_advertencias_reiterados_insultos | 
+| 37 | chemtrails - bombtrails - chulescos - eliminados - aerololes | 53 | 37_chemtrails_bombtrails_chulescos_eliminados | 
+| 38 | mancha - amanecemos - fuenlabrada - badajoz - madriddddd | 52 | 38_mancha_amanecemos_fuenlabrada_badajoz | 
+| 39 | geoestrategicos - ingenieria - negacionstas - toxificacion - fotovoltaico | 48 | 39_geoestrategicos_ingenieria_negacionstas_toxificacion | 
+| 40 | haarp - 14hz - frecuencia - dopplers - ionosferica | 48 | 40_haarp_14hz_frecuencia_dopplers | 
+| 41 | bioterroristas - demonios - fumigandonos - canaria - envenenados | 46 | 41_bioterroristas_demonios_fumigandonos_canaria | 
+| 42 | moncada - valencia - envenenando - sentenciados - olvidamos | 46 | 42_moncada_valencia_envenenando_sentenciados | 
+| 43 | mallorca - amanecieron - limpiaparabrisas - espejismo - aerotransportada | 44 | 43_mallorca_amanecieron_limpiaparabrisas_espejismo | 
+| 44 | gijon - resplandeciendo - palencia - ventanas - avioncitos | 43 | 44_gijon_resplandeciendo_palencia_ventanas | 
+| 45 | combustibles - fiamos - vaporizandolo - aditivos - astronautas | 43 | 45_combustibles_fiamos_vaporizandolo_aditivos | 
+| 46 | buenos - jueves - cordobes - llegaremos - limpisimos | 43 | 46_buenos_jueves_cordobes_llegaremos | 
+| 47 | hidroelectricas - canalizaciones - desembalse - precipitadas - valdecanas | 40 | 47_hidroelectricas_canalizaciones_desembalse_precipitadas | 
+| 48 | arboles - amarillas - tomateras - frutales - decoloradas | 40 | 48_arboles_amarillas_tomateras_frutales | 
+| 49 | torrevieja - saludos - genocidas - noviembre - consciencias | 40 | 49_torrevieja_saludos_genocidas_noviembre | 
+| 50 | drones - unmanned - pilotados - uav - aerial | 40 | 50_drones_unmanned_pilotados_uav | 
+| 51 | valenciana - viento - empezaron - nublada - destrozadas | 39 | 51_valenciana_viento_empezaron_nublada | 
+| 52 | nublados - acabemos - invernadero - amanecido - irun | 37 | 52_nublados_acabemos_invernadero_amanecido | 
+| 53 | temperatura - reflejado - sensaciones - neblinoso - ultravioleta | 37 | 53_temperatura_reflejado_sensaciones_neblinoso | 
+| 54 | vancouver - chemtreleado - temp - july - 2023 | 37 | 54_vancouver_chemtreleado_temp_july | 
+| 55 | aeropuerto - almeria - coruna - tuiairways - sobrevolando | 37 | 55_aeropuerto_almeria_coruna_tuiairways | 
+| 56 | fumigacion - intermitentemente - pruebas - nocturna - controlado | 36 | 56_fumigacion_intermitentemente_pruebas_nocturna | 
+| 57 | olhos - nossa - tudo - simplesmente - quero | 35 | 57_olhos_nossa_tudo_simplesmente | 
+| 58 | electronitera - electrolineras - explicarme - necesitas - fabricarlas | 35 | 58_electronitera_electrolineras_explicarme_necesitas | 
+| 59 | zaragozanos - achicharrarnos - inhalamos - murieron - venenosas | 33 | 59_zaragozanos_achicharrarnos_inhalamos_murieron | 
+| 60 | llovio - temperatura - humedad - invernadero - suavemente | 33 | 60_llovio_temperatura_humedad_invernadero | 
+| 61 | aeropuertos - denunciamos - comandante - megafonos - militar | 32 | 61_aeropuertos_denunciamos_comandante_megafonos | 
+| 62 | barcelona - satanicos - mateo - bendiciones - apararecieron | 31 | 62_barcelona_satanicos_mateo_bendiciones | 
+| 63 | pamplona - perdonamos - desintegrarlas - terroristas - misilearles | 31 | 63_pamplona_perdonamos_desintegrarlas_terroristas | 
+| 64 | siete - olvidado - noche - sobrinos - borreguismo | 31 | 64_siete_olvidado_noche_sobrinos | 
+| 65 | conspiranoica - gobernantes - objetivos - evolucionado - 2030 | 31 | 65_conspiranoica_gobernantes_objetivos_evolucionado | 
+| 66 | modena - norte - mediodia - temperatura - llovia | 31 | 66_modena_norte_mediodia_temperatura | 
+| 67 | ibiza - calima - blanca - puerto - beneficiosos | 30 | 67_ibiza_calima_blanca_puerto | 
+| 68 | detoxificador - reishi - chlorella - antiinflamatorio - hepaticas | 30 | 68_detoxificador_reishi_chlorella_antiinflamatorio | 
+| 69 | espana - posfranquista - fraternidad - izquierdas - encontraremos | 30 | 69_espana_posfranquista_fraternidad_izquierdas | 
+| 70 | lloviendo - madrid - pozuelo - besos - hipnotizado | 29 | 70_lloviendo_madrid_pozuelo_besos | 
+| 71 | cuarentena - inoculadas - circocovid - comenzara - rociandonos | 29 | 71_cuarentena_inoculadas_circocovid_comenzara | 
+| 72 | filamentos - arboles - trasparentes - voladoras - asombrosamente | 28 | 72_filamentos_arboles_trasparentes_voladoras | 
+| 73 | torrevieja - miercoles - disfrutaremos - febrero - nublados | 28 | 73_torrevieja_miercoles_disfrutaremos_febrero | 
+| 74 | canarias - vientos - llegamos - octubre - noroeste | 28 | 74_canarias_vientos_llegamos_octubre | 
+| 75 | resina - aluminio - cristales - catalizador - quarzo | 28 | 75_resina_aluminio_cristales_catalizador | 
+| 76 | militares - sublevacion - blasfemos - mencionemos - patriota | 28 | 76_militares_sublevacion_blasfemos_mencionemos | 
+| 77 | barcelona - lloviendo - valles - septiembre - blanquinoso | 28 | 77_barcelona_lloviendo_valles_septiembre | 
+| 78 | fumigacion - valenciana - volvieron - noviembre - comenzado | 27 | 78_fumigacion_valenciana_volvieron_noviembre | 
+| 79 | inundacion - 15904302 - ln9lz9z - advertido - montesinos | 26 | 79_inundacion_15904302_ln9lz9z_advertido | 
+| 80 | condensacion - vapor - estratosfericas - piloto - co2 | 26 | 80_condensacion_vapor_estratosfericas_piloto | 
+| 81 | lloviendo - mallorca - viento - miercoles - previstas | 26 | 81_lloviendo_mallorca_viento_miercoles | 
+| 82 | bienvenid - chemtrails - normas - columna - voladores | 25 | 82_bienvenid_chemtrails_normas_columna | 
+| 83 | satanistas - corruptos - mundial - rothschild - organizaciones | 25 | 83_satanistas_corruptos_mundial_rothschild | 
+| 84 | fumigaciones - madrid - semana - villaconejos - desesperadamente | 25 | 84_fumigaciones_madrid_semana_villaconejos | 
+| 85 | vuela - exactamente - distancia - expulsando - fumigador | 25 | 85_vuela_exactamente_distancia_expulsando | 
+| 86 | quemada - sabor - percibiendo - metalicas - irritacion | 24 | 86_quemada_sabor_percibiendo_metalicas | 
+| 87 | clouds - eumetsat - meteorologist - cyclone - greenish | 24 | 87_clouds_eumetsat_meteorologist_cyclone | 
+| 88 | pilotos - hermanos - cuentan - ejecutores - remordimientos | 23 | 88_pilotos_hermanos_cuentan_ejecutores | 
+| 89 | grupo - compartamos - respectivos - cordialidad - solicitarlo | 23 | 89_grupo_compartamos_respectivos_cordialidad | 
+| 90 | denunciar - notario - medioambiente - registradas - organizaciones | 23 | 90_denunciar_notario_medioambiente_registradas | 
+| 91 | chemtrails - conspiranoico - conseguimos - perniciosos - alienigenas | 23 | 91_chemtrails_conspiranoico_conseguimos_perniciosos | 
+| 92 | cloudbuster - tubos - venceremos - limpiar - localizarlo | 23 | 92_cloudbuster_tubos_venceremos_limpiar | 
+| 93 | torrevieja - saludos - septiembre - lloviendo - viernes | 22 | 93_torrevieja_saludos_septiembre_lloviendo | 
+| 94 | chemtrails - fumigandonos - granada - cumulos - climaticos | 22 | 94_chemtrails_fumigandonos_granada_cumulos | 
+| 95 | rayos - acostumbrados - paraiso - reflejo - 100veces | 22 | 95_rayos_acostumbrados_paraiso_reflejo | 
+| 96 | chemitrails - vuela - sombra - satelital - precipitan | 21 | 96_chemitrails_vuela_sombra_satelital | 
+| 97 | tudela - llovio - fumigandonos - domingos - blanquecino | 21 | 97_tudela_llovio_fumigandonos_domingos | 
+| 98 | fotografiado - avion - zooms - telescopio - teleobjetivos | 21 | 98_fotografiado_avion_zooms_telescopio | 
+| 99 | nublado - madrid - relampagos - noroeste - resplandores | 21 | 99_nublado_madrid_relampagos_noroeste | 
+| 100 | azulito - nunca - hermoso - segundo - horizonte | 20 | 100_azulito_nunca_hermoso_segundo |
+  
+</details>
+
+## Training hyperparameters
+
+* calculate_probabilities: True
+* language: None
+* low_memory: False
+* min_topic_size: 10
+* n_gram_range: (1, 1)
+* nr_topics: None
+* seed_topic_list: None
+* top_n_words: 10
+* verbose: False
+* zeroshot_min_similarity: 0.7
+* zeroshot_topic_list: None
+
+## Framework versions
+
+* Numpy: 1.26.4
+* HDBSCAN: 0.8.40
+* UMAP: 0.5.7
+* Pandas: 2.2.3
+* Scikit-Learn: 1.5.2
+* Sentence-transformers: 3.3.1
+* Transformers: 4.46.3
+* Numba: 0.60.0
+* Plotly: 5.24.1
+* Python: 3.10.12

config.json

@@ -0,0 +1,16 @@
+{
+  "calculate_probabilities": true,
+  "language": null,
+  "low_memory": false,
+  "min_topic_size": 10,
+  "n_gram_range": [
+    1,
+    1
+  ],
+  "nr_topics": null,
+  "seed_topic_list": null,
+  "top_n_words": 10,
+  "verbose": false,
+  "zeroshot_min_similarity": 0.7,
+  "zeroshot_topic_list": null
+}

ctfidf.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f13a83c78000a40e5c7aee14407ab0dafa30230c9e47ff9a758b3200e2dfaacc
+size 1102020

topic_embeddings.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3932ea99ab7b728f0d4e99fa66f1bb1208e5bc6085660f3c787a1e4c7722b793
+size 417888