es eo cs eo eo eo eo eo eo eo eo eo eo eo pl eo eo eo eo eo pl eo eo pl pl pl pl eo pl pl eo eo eo eo pl pl pl eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo en fi eo eo eo eo eo eo eo eo eo eo eo en fi eo eo eo eo eo eo eo eo eo eo eo eo en fi eo eo eo eo eo eo eo eo eo eo eo eo es eo eo eo eo eo eo eo eo en de eo en eo eo eo eo en de lt eo eo eo war eo en de es en eo eo eo eo es eo eo eo eo eo eo eo eo eo eo eo eo eo lt eo eo eo eo en de eo en eo eo eo eo eo eo eo eo eo en ceb eo eo eo nl oc ro eo fr de en eo ca fr oc en en en en eo de fr oc en en en en eo fr fr oc en en fr en eo sl de fi en en en en eo ca sv fr en en en en eo de de fr en en pt en eo en en en eo en en en eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo en fi eo en eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo eo es eo eo eo eo eo eo eo eo eo en de eo en eo eo eo eo eo en en eo en en eo es en eo en en eo en en eo en en eo en en eo en en eo eo eo eo eo eo eo eo en en de eo eo eo eo de en eo en eo eo eo eo eo eo es eo eo en en fr de nl nl en de en fr de de nl nl fr nl en en nl de de en nl en en nl nl fr en de de de de en nl es de pt nl ar id en en
Esperantilo Blogo en Esperanto pri projekto Esperantilo kaj komputila lingvistiko
Filed under: maŝina tradukado — artur @ 20:13
Tiu mesaĝo tre surprizis min. Nun oni povas traduki maŝine al esperanto kaj el esperanto inter 63 lingvoj. Mi de kelkaj jaroj hobie laboras pri maŝina tradukado kaj Esperanto kaj ne tre alte taksis eblon, ke googlo iam kaj tiom frue okupos pri la esperanta lingvo. Mi sciis, ke googlo uzas statistikan metodon por tradukado, kaj mi ankaŭ faris kelkajn provojn pri tiu metodo.
Do mi studis la faman laboron pri statistika tradukado.. Mi iam eksperimentis per giza+ kaj volis uzi tiun ilon por konstrui vortaron. Miaj rezultoj estas tre mizeraj kaj tempo de komputado tre longa. Mi rapide rimarkis, ke oni bezonus vere egan kvanton de paralelaj tekstoj. Mi ne supozis, ke tiu necesa kvanto ekzistus por Esperanto en proksima venonto. Google pruvis la malon. Ĝi estas la plej granda teksta bazo de mondo kaj ĝi povas profiti de tio. Due google eble havas pli bonan teknikon ol la primitivaj iloj de komenco de statistika metodo. Por mi la plej miriga estas la rapideco de g-tradukilo. Mi povas nur imagi, ke la teksto estas tradukita nur ĉe multaj paralelaj procesoroj de tre bone skribitaj programoj. La uzula interfaco en povas esti pli facila.
Oni trovas kelkajn informojn pri historio de G-tradukilo tie. Tie mi legis, ke nun la g-tradukilo tradukas pli da teksto en unu tago ol ĉiuj tradukistoj en unu jaro kaj estas nun la plej uzata komputila tradukilo. Tio signifas, ke nun multaj homoj unue povas kompreni iugrade fremdlingvajn tekstojn sen dungo de multekostaj tradukistoj kaj longa lernado. La lingva revolucio, pri kiu Esperantistoj ĉiam revis, okazas sed ne helpe de Esperanto aŭ aliaj lingvoj sed helpe de tekniko.
Mi havas fakan intereson taksi la kvaliton kaj eblojn de tradukilo de googlo. Post la ŝoko mi komencis fari kelkajn testojn. Mi tradukis de esperanta lingvo al pola lingvo. Mi rimarkis en pola rezulto kelkajn anglajn vortojn. Do ŝajne googlo uzas la anglan lingvon kiel interlingvo! Ridinde, ke oni frue vidis Esperanton en tiu rolo.
Do la nomo „Vera Jeruslanova“ estis tradukita al „True Jeruslanova“.
Mi volas scii, ĉu googlo tradukas po unu frazo aŭ kelkajn frazojn kune.
Mi ne povis trovi la ekzemplojn, en kiu la unua frazo influos la tradukon de la dua frazo.
Do ŝajne la frazoj estas tradukitaj tute sendepende.
Aliaj malfacilaj aspektoj de pola gramatiko
Tie la tradukilo ne sukcesis kunligi la subjekton kun du verbojn.
Ordo do vortoj en frazo.
Mi legis la libron. Czytałem książkę.
La libron mi legis. Książka czytam.
Mi havas libron. Mam książkę.
Mi ne havas libron. Nie mam książkę.
Mi ne havas tiun libron. Nie mam tej książki.
Mi havas kvin librojn. Mam pięć książek.
Mi ne havas kvin librojn. Nie mam pięciu książek.
Mi volas scii, ĉu googlo iom konas la gramatikon de la lingvo. La testo estas traduki sensencajn sed gramatike korektajn frazojn.
Mi legis la interesan libron. Czytałem interesującą książkę.
Mi legis la interesan arbon. Przeczytałem ciekawy drzewo.
Mi legis la amikan pluvon. Czytałem na przyjaciela prysznicem.
La mondo miras pri tio. Cuda świata na nią okiem.
Je malpli granda la verŝajneco de la frazo des pli mirindaj estas la tradukaj rezultoj.
De la dua ekzemplo oni vidas, ke la tradukilo ne povas kunligi la genron de la vorto „interesa“ kun vorto „arbo“. Tio iom surprizis min, ĉar mi pensis, ke iel google programo zorgas pri gramatiko (rekonas vortgrupojn kaj reguloj de tio).
Komparo de Esperantilo kun G-Tradukilo
Mi prenis miajn ekzemplajn frazojn kaj tradukis per googlo. Tiuj frazoj estas elektitaj por kovri la ĉiujn aspektojn de pola kaj esperanta gramatiko. La rezultoj estas tie. 17% de tradukoj estas tute identaj. Mi pensas, ke nun tradukado al pola lingvo en Esperantilo estas pli bona ol tiu de G-tradukilo.
Interese estos kompari tiujn rezultojn post ioma tempo kaj vidi de tiu ĉu googlo daŭre plibonigas la tradukilon. De la komparo de tradukoj oni tre bone vidas la specialajn trajtojn de statistika tradukado. Relative ofte la tradukilo de googlo eraras pri la vorteto „ne“. Estas malgranda vorteto, sed ĝi kaŭzas tute malan sencon. Ofte la negado aperas tute surprize. Mi supozas, ke se la vortkombino aperas ofte kun negado, la tradukilo aplikas la negadon, eĉ se en fonta teksto ĝi ne estas. Ofte ĉe la traduko aperas alia tempo de verboj. De venonta tempo iĝas nuna tempo. Ankaŭ ĉe tiu oni sentas la anglan interlingvon. Oni rimarkas multajn erarojn, kiuj radikas en malforto de angla lingvo. Surprizaj estas ankaŭ kelkaj tradukoj, kiuj tute ne havas rilaton kun la fonto. Oni ne povus eĉ imagi kiel la maŝino konstruis tian strangan rezulton. Ekzemple: (Laŭ la frukto oni arbon ekkonas. Zgodnie z drzewa owocowego przyjeżdżasz do zrealizowania.).
Tiuj frazoj rememorigas al anekdotoj pri maŝina tradukado de 60-aj jaroj.
La statistika tradukado estas iom danĝera, ĉar ŝajne la programo insiste volas konstrui iun sencan tradukon, ankaŭ, se ĝi tion tute ne kapablas. En tiu kazoj por mi estus pli bone, se la tradukilo ĝentile diris: „Mi ne povas traduki tiun frazon“ aŭ avertis, ke la rezulto ne estas fidinda.
La unuopaj vortoj, kiuj tute ne estis tradukitaj, aperas en la fonta teksto sen iu marko. Sed eble tiu estas konscia decido de googlo. Oni eble volis fari la funkciadon tute simpla sen iuj specialaĵoj. Mi povus pensi, ke googlo tute ne volas, ke profesiaj tradukistoj uzas googlo kiel unua ŝtupo de ilia laboro kaj tiel ne helpas al tiu grupo. Por profesiaj tradukistoj google havas alian produkton (google toolkit).
Oni ankaŭ povas vidi, ke googlo ne regas morfologion (vortkonstruon) de esperanto. Ĝi ne rekonas participojn kaj ankaŭ ne povas diveni sencon de vorteroj.
Sed mi ankaŭ rimarkis kelkajn tradukojn, ĉe kiuj googlo estis pli bonaj ol tiuj de la esperantilo. Temas ĉefe pri gramatike esceptaj frazoj aŭ oftaj parolturnoj, kiujn oni tradukas speciale. Tie oni klare vidas avantaĝojn de statistika metodo. Do la nombro de tiuj frazoj ne estas alta.
Ekzistas ankaŭ multaj aliaj trajtoj, kiujn oni povas kompari. Bedaŭrinde unue mi devus programi ilaron pro tio. Interesa estus demando, kiom granda estas la nombro de konataj esperantaj vortoj aŭ kiaj estas tiuj tekstoj, kiujn uzis googlo por trejnado de sia tradukilo. Ĉu oni povas de la rezultoj de tradukado trovi la heredan tekston.
Googlo nomas sian metodon de maŝina tradukado ankaŭ la datumorienta metodo (angle: „data-driven approach“). Sed temas pri tradicia statistika metodo. En tiu metodo oni uzas la tre grandan kvanton de paralelaj tekstoj. Temas pri teksto, kiu ekzistas kiel origina teksto kaj kiel la tradukado al alia lingvo. Do la havebleco de paralelaj tekstoj (datumaro) estas tre grava en tiu metodo. La metodo baziĝas sur verŝajneco. La komputilo tradukas kutime po unu frazo. Unue oni trovas la plej verŝajnajn tradukojn de iu frazo kaj poste elektas la plej verŝajnan frazon en cela lingvo. Praktike la konstruo de tia tradukilo estas en du ŝtupoj. Oni unu konstruas bazon por rapide kalkuli la verŝajnecon de frazojn. En tiu fazo la tradukilo ŝajne mem lernas traduki de paralelaj tekstoj. En la dua fazo, la tradukado mem, la komputilo nur devas konstrui frazojn kaj kalkuli verŝajnecon.
Ĉe tiu metodo la detala lingva kono, gramatikaj reguloj aŭ vortaroj ne estas necesas. La evoluo de statistika metodo estas limigita ĉe konstruo de algoritmoj, kiuj povas pli rapide kaj ekzakte kalkuli verŝajnecon de pli malgranda kvanto de paralelaj tekstoj. La detalaj informoj oni trovas en la unua fama scienca laboraĵo.
La statistika metodo laboras bone por gramatike similaj lingvoj. Do la rezultoj estas kutime pli bonaj por lingvoj, kiu havas similan fleksion kaj vortordon. La sciencistoj longe laboris pri tielnomataj matematikaj lingvaj modeloj, kiuj plej bone povas speguli la elektitajn lingvojn. Lingvo modelo en statistika metodo estas ĉefe nur funkcio por verŝajneco de iu vorto ĉeno por elektita lingvo kaj traduko inter du lingvoj.
Ekzistas du tre grandajn avantaĝoj de statistika metodo. La programo kvazaŭ povas lerni de tekstoj kaj la kvalito de traduko dependas de tempo kaj forto de komputilo. Oni povas plibonigi la tradukilon havante pli da paralelaj tekstoj sen iu programado aŭ homa laboro. La metodo estas ideala por la firmao googlo. Ili havas grandajn komputilajn fortojn kaj grandegan bazon de tekstojn. Googlo vidas ĉiujn en la reto per siaj robotoj kaj la firmao povis ankaŭ skani multajn librojn. Tial oni ne povas bone kompari la kvaliton de programo kiel Esperantilo kaj google tradukilo. Povus esti, ke la rezultoj, kiujn mi ricevis el la publika paĝo de googlo estas malalta, ĉar googlo ne volas, ke komputilo multe kalkulas sed faras tiom rapide. Do la kvalito estas nur unu de parametroj de tradukilo. Eble googlo povus kontraŭ mono aŭ por elektitaj uzantoj fari pli bonan tradukon. Tion mi ne scias.
Estas por multaj enigmo kial la firmao googlo oferas senkostaj servoj por uzantoj. La rezulto de tiu enigmo estas simpla. La servoj ne estas senkostaj. Nur oni pagas alie. Oni pagas per personaj datumoj. Oni devas ankaŭ rimarki, ke googlo ne oferas programon sed nur servon. La firmao povas tre rapide ŝanĝi la uzadon de servo aŭ tute haltigi ĝin. Ĉiun teksto, kiun oni tradukas, fariĝas datumaro de googlo. Oni devas pripensi, ke ankaŭ ĉiu, kiu kontrolas la reton, scias ĉiom, kion oni tradukas. La traduka servo ne estas sekurigita per enigmaj metodoj. Oni imagu, ke la iu disidento uzus googlo por traduki iun tekston kontraŭ registaro. Googlo kaj la registaro mem, kiu kontrolas la konekton kun la reto tuj, eksciis pri tio. Mi ne scias, ĉu ĉiu uzanto de la reto scias pri tio.
Googlo uzas la tradukilon ĉe kelkaj propraj servoj. Oni povas traduki la simplan nudan tekston tuj en retumilo. Frue oni povis enskribi la adreson de ttt-paĝo, kiun oni povas traduki. Nun la tradukado de paĝoj estas eble nur en la retumilo Chrome, kiu estas produkto de googlo.
La tradukilon oni povas ankaŭ uzi en mobiltelefona operaciuma sistemo android kaj aliaj servoj de googlo. Googlo uzas la tradukilon kiel baza servo por kreski la valoron (uzeblecon) de aliaj servoj. Eble iam la maŝina tradukado estas same memkomprenebla funkcio de iu programo kiel nune la literumado aŭ eltondi&interglui (copy&paste).
Al Kiu apartenas la scio de la statistika tradukilo
La statistika tradukilo povas iel lerni de aliaj tekstoj. Googlo uzas la plej grandan bazon de teksto (la reton) por nutri siajn komputilojn. Tial ĉiuj, kiuj iam tradukis tekstojn, partoprenis malrekte en la envolvo de tiu tradukilo. Multaj demandoj estus interesaj en tiu kunteksto. Demandoj pri rajtoj, propraĵo, elspezo, patentoj kaj laborpago. La statistika tradukado estas unu en la kampoj de googlo, kiu tuŝas tiun temaron.
Mi pensas, ke la servo „google translation toolkit“ estis farita ankaŭ por kolekti datumaron por plibonigo de tradukilo. Tradukistoj, kiuj uzas tiun servon, helpas ankaŭ al plibonigo de tradukilo kaj faras ilian laboron fine malpli bezonatan. Tiu estas nuntempe ofta komerca modelo en la reto. Oni oferas servojn kaj uzantoj per ilia uzado lasas iun datumaron, kiun oni povas uzi en alia maniero komerce kaj fine enspezi per tio monon. Mi longe ne kredis, ke tiu nedirekta metodo funkcius.
Mi ne scias, kiel taksi la plibonigon de maŝina tradukado en la kunteksto de Esperantistaro. Bedaŭrinde frue ofte oni varbis por Esperanto kun la argumento, ke la maŝina tradukado neniam estos uzebla. Nun oni vidas, ke tiu maŝina tradukado iĝas kutima ilo, kiun povas uzi preskaŭ ĉiu. Oni povas atendi, ke la kvalito de tradukado kreskos.
Esperanto estas nur la 64-lingvo de G-tradukilo, tamen la unua artefarita lingvo, kiun subtenas la programo. Aperis kelkaj tekstoj en la rete en kiuj kelkaj homoj eĉ plendis pri firmao googlo, ke ĝi okupas pri iu artefarita lingvo kaj same ekzistas multaj naturaj kaj naciaj lingvoj kiuj ne estas subtenataj. Nun oni povas nur timi, ke googlo iam forigus Esperanton de ilia servo. Tiu estus kiel fina malvenko de Esperanto.
Due la subteno de Esperanto de googlo igis aliajn tiajn projektojn preskaŭ vanaj. Ankaŭ, se ekestos iu ilo, kiu povus traduki pli bone ol googlo tradukilo, oni povus tuj uzi tiun ilon por lerni la googlo tradukilon mem. Do goolgo ĉiam havos pli la uzantoj kaj pli da datumaro.
Eble Esperantistoj kaj lingvistoj povus pli serioze pritrakti la maŝinan tradukadon kaj komputilan lingvistikon. Aliaj projektoj povus profiti aŭ ekestus novaj projektoj. Eble en tiu kunteksto Esperanto denove estus interesa kiel eksperimenta kuniklo de sciencistoj. Esperanto estas bona lingvo kaj eble ankaŭ bona por komputiloj. Imagu, ke Googlo uzos Esperanton kiel maŝinan interlingvon nur ĉar tio garantias pli bonan kvaliton de tradukado. Por komputilo estas tute egale, kiun lingvon ĝi uzas (kalkulas). La lingvo estas por komputilo nur datumaro. Ĉu tiu ebla uzado havus iun influon je Esperantistaro. Esperanto estas artefarita sed Esperantistoj havis ĉiam la revon, ke ilia lingvo estas uzata tute nature.
Mi ankaŭ ne povas klare imagi, ĉu la ekzisto de maŝina tradukilo pligrandigos la kvanto la esperantaj tekstoj en la reto.
Unue oni povas nun facile traduki la tekston de fremda lingvo kaj poste korekti ĝin. Due oni eble ne tradukus, ĉar ĉiu povus mem fari tion kaj eĉ uzi kiel celan lingvon la propran nacian lingvon. Se la kvanto de esperantaj tekstoj pligrandigos eble post tiam plibonigos la kvalito de g-tradukilo. Do povas ekesti pozitiva mem pligrandiĝanta efekto.
Nun la kvalito de tradukilo de Esperantilo estas nur por pola lingvo senteble pli bona ol la G-tradukilo. Ekzistas kelkaj argumentoj por uzi la Esperantilon aŭ aliaj tradukiloj.
Esperantilo pli zorge pritraktas la negadon.
Esperantilo regas la morfologion de Esperanto.
Esperantilo neniam tradukas tute malprave.
Esperantilo avertas pri problemoj ĉe tradukado per diferencaj markoj.
Oni povas mem influi la tradukan vortaron.
Oni povus mem modifi la programon,
La programo estas malferma kaj libera. Neniu povus iam malŝalti ĝin.
Mi estas tamen konscia, ke por multaj uzantoj de la reto la uzado de g-tradukilo estos same memkomprenebla kiel la uzado de la g-serĉilo mem.
Por mi la nova situacio signifas, ke mi verŝajne ne plu laboros pri maŝina tradukado al aliaj lingvoj sed koncentriĝos nur pli pola lingvo. Por mi estas ankaŭ bona afero povi kompari la propran programon kun la alia programo. Mi dezirus, ke tiu alia programo ankaŭ estas libera kaj malferme, sed oni ne povas havi ĉion.
Ekzistas ankaŭ kelkaj funkcioj de programo Esperantilo, kiuj ankaŭ estas utilaj por uzantaro kaj kiuj googlo eble neniam faros. Temas ĉefe pri analizo de esperanta teksto mem, korektado kaj taksado.
Esperantilo tradukas al rusa lingvo
Filed under: maŝina tradukado,programado — artur @ 21:49
En la jaro 2011 mi eldonis nur unu eldonon de Esperantilo (0.993). La ĉefa novaĵo de tiu eldono estas la maŝina traduko al rusa lingvo. Frue mi eldonis monate, sed nur mi preskaŭ ne havas tempon por ŝatokupoj.
Mi feliĉe trovis kelkajn bonajn lingvajn fontojn en la reto kaj povis krei la tradukan vortaron por rusa lingvo. Mi skribis pri tio tie. Aldone al vortaro de Revo mi uzis tre bonan kaj sufiĉe kompletan gpl-an vortaron de Juri Fink.
Kompare al tradukado por pola lingvo oni povas multe fari por plibonigi la tradukadon.
por multaj verboj mankas gramatikaj priskriboj (aspektoj)
por multaj substantivoj mankas priskribo pri genro
nombrovortoj (vere malsimplaj en slavaj lingvoj)
Mi esperas, ke multajn tiujn informoj mi povas gajni de rusa wictionary
Mi devas pristudi la ekzemplajn tradukojn. Ĉu iu havus tempon por mane traduki la ekzemplojn? Tio certe helpus, ĉar mia kono de rusa lingvo estas nur baza. Bonvolu kontakti min!
Aldone Esperantilo nun povas aŭtomate rekoni la enkodon kiel (iso-8859-?, unikode, kio8-r, …). Mi volas ankaŭ en estonto modifi la programon en tiu maniero, ke la programo mem provu diveni, kion la uzanto volas kaj fari multajn taskojn aŭtomate.
Lingvaj rimedoj por rusa lingvo
Filed under: lingvistiko,maŝina tradukado — artur @ 20:45
Mi ofte vane provis trovi en la reto lingvistikaj rimedoj (provizoj) por rusa lingvo. Mi povas bone kompreni la parolan rusan lingvon, sed mi ne bone legas kaj skribas ĝin. La pola lingvo kaj rusa lingvo estas tre similaj pro kuna slava heredo. Mi pensas, ke oni povas facile krei la maŝinan tradukado al rusa lingvo uzante la maŝinan tradukadon al pola lingvo. La fleksia sistemo estas preskaŭ la sama. Temen oni devus havi sistemon, kiu povas generi de vortara formo la celan formon laŭ kazo kaj nombro (por substantivoj).
La kreado de tiu sistemo estas tre komplika kaj oni devus tre bone koni la lingvon, do tion mi ne povas fari. Nun mi trovis en la reto sur pagoj de Serge Sharoff la liston de bazaj formoj kun gramatikaj priskriboj kaj ĉiuj feksitaj formoj. De tiu listo oni facile povus krei tian fleksilon. Mi spertis, ke fleksio kaj bona traduka vortaro estas la plej laborintensa takso ĉe maŝina tradukado, kiu bazas sur reguloj.
Ekzistas kelkaj diferencoj inter pola kaj rusa lingvo, kiuj postulus ŝanĝoj en tradukilo.
verboj ‚esti‘ kaj ‚havi‘ preskaŭ malaperis en rusa lingvo.
en pola lingvo adjektivo povas stari post substantivo.
la rusa lingvo konas pli la kunmetitaj vortoj.
En la rusa lingvo ekzistas pli da tipoj de participoj.
Ĉiuj aliaj diferencoj oni povus kovri per traduka vortaro.
La rusa komputila lingvistiko havas onidire tre longan tradicion, tamen tiu tradicio ne rezultis abundon de liberaj iloj kaj fontoj kiel la angla lingvo. Aŭ eble tiuj iloj ekzistas sed ne estas por mi troveblaj.
Nun mi devas havi nur sufiĉe da tempo kaj deziron programi tion.
Facila vento kaj Esperantilo
Filed under: lingvistiko,uzantoj — artur @ 22:29
Facila vento estas tre interesa nova reta projekto. La ideo estas prepari facilajn esperantajn tekstojn por komencantoj. Tiuj tekstoj devas uzi nur bazajn radikojn por esti facile legebla.
La iniciato de projekto Emilio Cid esperas je helpo de esperantistoj ĉe tradukado de tekstoj de kutima Esperanto al facila Esperanto.
La programo Esperantilo estas uzata kiel helpilo ĉe tiu tradukado. Sur la paĝoj de projekto estas atingebla speciala Esperantilo, kiu povas literumi kontraŭ tiu baza radikaro.
Interese, ke ĉe tiu okazo ekestis la unua filmeto pri Esperatnilo ĉe youtube kaj
ankaŭ la unua ido de Esperantilo. En tiu filmeto Emilio montras, kiel oni faciligas
tekstojn kun helpo de Esperantilo. La faciligado mem ne estas facila tasko. Oni devas multe konsulti la vortaron kaj la literumilo ne estas
La temo estas tre interesa. Estas vere farinda afero plibonigi la Esperantilon por faciligado de tekstoj.
tuja montro de grupo
vortaro de bazaj radikoj
simpla kreo de listo de dezirindaj vortoj
Ankaŭ pensebla estus maŝina tradukado de Esperanto al facila Esperanto. Precipe oni povas anstataŭigi la maldezirindajn vortojn je vortoj de baza radikaro. Ankaŭ la gramatika kontrolilo povas averti pri maldezirindaj gramatikaj strukturoj.
Ankaŭ nun Esperantilo enhavas kelkajn ilojn por krei facilajn tekstojn. Temas pri funkcioj en menuo „Lingvistiko“
Nun mi devas havi nur multe de tempo por tiuj taskoj. Mi esperas, ke ekestos multaj facilaj tekstoj, kiujn mi povas kompari kaj analizi. Mi ŝatas facilajn tekstojn kaj ofte jam koleris pri malfacilaj tekstoj.
Esperantilo por OpenOffice sur ĉiu komputilo
Filed under: ĝenerale,programado — artur @ 20:14
La nuna eldono de esperantilo por OpenOffice funkcias nur sur 32-bituma Vindozo kaj Linukso. Nuntempe ĉiam pli da homoj aĉetas la 64-bituman komputilon kaj rimarkas, ke la Esperantilo por OpenOffice (same kiel LibreOffice) ne povas esti instalita.
Nun mi forigis la partojn de Esperantilo, kiuj estas specifaj por operaciuma sistemo. Temas pri gramatika kontrolilo, kiu estas programita per C-lingvo.
Restas tamen literumilo kaj aliaj partoj, kiujn oni povas uzi. Esperantilo por OpenOffice (Elŝutu!) estas la eldono de Esperantilo por OO por ĉiu komputilo. Pro teknikaj kialoj la dosiero estas zip-arkivo. En tiu arkivo troviĝas la kutima oxt-dosiero. Tiu eldono devas ankaŭ funkcii sur Mac-OS.
Mi mem ne posedas la 64-bituman komputilon, tamen mi supozas, ke oni povas instali la 32-bituman eldonon de OO kaj ankaŭ daŭre uzi Esperantilon kun gramatika korektilo.
Lingva ludo „Vortaj Amikoj“ nun rete
Filed under: programado,uzantoj — artur @ 20:45
Mi preparis la lingvan ludon „vortaj amikoj“ kiel reta ludo programita tute en
javascript. Do oni bezonas nur retumilon kun funkcianta javascript por
Tie oni povas ludi „vortajn amikojn“.
Nova Esperantilo por OpenOffice
Filed under: programado — artur @ 15:01
Mi preparis ankaŭ la eldonon 0.992 de Esperantilo por OpenOffice.
Tiu eldona havas subajn funkciojn
konvertilo de cx ch al ĉ
La tezaŭron mi faris de datoj de REVO vortaro. Mi uzis la referencojn de tipo „sin“ kaj „vid“ (sinonimo kaj vidu) por krei la dosieron por OpenOffice. Unue mi volis uzi nur „sin“ referencojn, sed mi rimarkis, ke la listo de vortoj estas tre malgranda (1600) kaj multaj taŭgaj vortoj ekzistas ĉe referencoj de tipo „vid“. Ekzemple de „granda“ al „giganta“. Mi pensas, ke kutime la tezaŭro ne nur enhavas sinonimojn sed ankaŭ vortoj kun simila senco. La malavantaĝa afero estas, ke multaj referencoj de tipo „vid“ povas estas malĝustaj. Do la uzanto ne plene fidu je tiu tezaŭro.
Aldonaj funckcioj de la kromprogramo Esperantilo por OpenOffice
Kutime la tiuspecaj kromprogramoj enhavas ankaŭ vortdividan vortaron aŭ vortaron por silabado (angle „Hyphenation Dictionary“ vidu lingucomponent.openoffice.org). La problemo estas, ke laŭ mia scio en Esperanto ne ekzistas klaraj reguloj por vortdividadon (vidu silabo kaj silabado).
Tamen iuj jam laboris pri tio diskutgrupo eLiberaProgramaro.
Mi aldonis la dosieron hyph_eo.dic-1.2.tar.bz preparitan de Ari Caldeira de la diskutgrupo al la kromprogramo.
Alia necesa funkcio estas la konvertilo de provizoraj skribmanieroj por ĉapelitaj literoj (ŝĉĥĝĵŭ). Ankaŭ sur tiu kampo ekzistas io, sed bedaŭrinde ne kiel facile uzebla la trovebla kromprogramo (ne en provizo de kromprogramoj de OpenOffice).
Mi ankaŭ aldonis similajn funkciojn al la Esperantilo. Oni povas uzi la konvertilon de menuo (angle: Tools, gemane: Extras).
La konvertilo de Esperantilo estas iom pli ampleksa, ĉar ĝi testas, ĉu la rezulta vorto estas vere esperanta vorto. Tiu testo ebligas, ke la programo ne ŝanĝu maloportune la ne esperantan vorton (nomoj, citaĵoj kiel ekz. Linux). Tamen ekzistas vortoj kiel „chashundo“ (ĉashundo ne ĉaŝundo), kiuj ankaŭ nun faras problemojn ĉe konvertado.
Mi trovis ankaŭ aliajn vortojn, por kiuj la simpla ch-konvertilo faras erarojn:
grashepataĵo ĉashundo flughundo ĉashundoj invershava neinvershava ĉashundo dishaki kashalo vangharoj vangharo longharulo longhara vangharulo senchava sukceshava senchavi potenchavi grashava invershava neinvershava potenchavulo disheligi seshora seshore plushoro komenchoro flughaveno flughavena flughavene flughavenisto amashisterio misharmonia disharmonio misharmoniigi misharmonio Ŝlesvigholstinio ŝlesvigholstiniano seshektara bushaltejo aŭtobushaltejo fikshejma mishelpi prononchelpo ŝpruchelpilo drogherba drogherbo kuracherbo kuracherba mishumore mishumora mishumoro mishumorigi mishumori gajhumora dishirtigi sekshontemo
La same por „au“ kaj „eu“
reuzpapero ŝippereulo kakaujo geulo teumado teumi teujo reuzi neuzebla neuzo reuzebla reuzado reuzo neuzeblaĵo neuzinda livreulo jubileulo fiksideulo reutiligo linoleumo posteulo oleujo oleumi sanktoleumi praulo Koreujo nordkoreujo petroleumo tiaulo tieulo geukraino reunio doganaunio eŭropaunio unuaulo imaginaraunuo rereunuigi rereunuiĝo rereunuiĝi reunuigi reunuigita reunuiĝo reunuiĝi matricaunuo traurbe malgrandaursino blankaurso grandaursino geumo saudaarabujo Nauro naura araneuloj aleuto aleutaj ureuso
Dezirinda estus ankaŭ la dialogo por agordo de gramatika kontrolilo. Tiu estas iom komplika afero, ĉar mi devus iel kunligi la gramatikan kontrolilon de Esperantilo kun agorda sistemo de OpenOffice kaj fine Esperantilo devus esti informita pri la agordaj ŝanĝoj.
Mi ne estas certa, ĉu indas prepari aliajn funkciojn de kutima Esperantilo al OpenOffice. La plej granda parto estas vortaroj kaj maŝina tradukado.
Tiaj funkcioj kutime ne estas parto de dokumentredaktilo. Ekzistas ankaŭ kelkaj analiziloj, kiuj tamen estas interesaj nur por lingvistoj.
Eldono 0.992 – pli bona gramatika kontrolilo
Filed under: programado — artur @ 23:00
Ĉe aktuala eldono mi ĉefparte laboris pri plibonigo de gramatika kontrolado. La plej grava manko de kontrolilo estas tre alta nombro de falspozitivaj avertoj pri gramatikaj eraroj.
Tio signifas, ke programo reportas erarojn ĉe ĝustaj frazoj. Mi jam ricevis kelkcent erarraportojn pri tiuj eraroj de uzantoj. La plej granda parto de raportoj estas pri falspozitivaj avertoj de gramatika kontrolilo. Eble tio estas la rezulto de tio, ke uzantoj tre facilie povas raporti tiujn problemojn.
Nun mi ripete analizas kelkajn tekstojn por trovi metode la plej oftajn problemojn de programo.
Mi uzas por tio subajn tekstojn:
Ekzemplaj frazoj de ekzercaro de Zamenhofo
Ekzemplaj frazoj de PMEG
5500 frazoj de artikoloj de Libera Folio
Fine mi povis malaltigi la nombron de falspozitivaj avertoj je averaĝe 15%.
Jen la tutaj rezultoj
eraraj frazoj 0.992 (certaj)
plibonigo en 0.992 frazoj
plibonigo en 0.992 eraroj
La plej gravaj indikoj estas unue la nombro de eraroj (avertoj) kaj nombro de eraraj frazoj. Ekzemple ĉe artikoloj de libera folio (5552 frazoj) la programo en eldono 0.992 avertis, ke 2746 frazoj havas minimume unu eraron ( do 49,45%). Ĉe tiuj tekstoj oni povas asumi, ke la tekstoj estas ĝustaj. Tio estas almenaŭ certa ĉe frazoj de zamenhofa ekzeraro kaj frazoj de PMEG. Mi testis elonon 0.991 kaj 0.991 sur 3 diferencaj tekstaroj kaj kun diferenca severeco de korektilo (ĉiuj avertoj kaj nur certaj). Ĉe „certa“ korektado mi malŝaltis la avertojn pri komoj kaj senfunkciaj frazpartoj.
Fontoj de falspozitivaj avertoj
Sintaksa analizilo ne povas korekte analizi la frazon.
La programado de reguloj por korektilo estas malĝusta.
La radikaro de programo estas malĝusta. En tiu radikaro estas markitaj ekzemple ĉiuj transitivaj verboj.
Mi plibonigis la programon en ĉiu kampo. La uzanto mem povas redakti la radikaron. Do li mem havus la eblon infui la korektilon en tiu kampo.
Ekzemple li povus difini iun verbon kiel transitivan. Mi estas preskaŭ certa, ke neniu uzanto efektive tion ĝis nun faris.
Kiel influi la severecon de korektilo
Por mi estas tre malfacila demendo, kiel severa devas esti la korektilo. Mi devas substreki, ke la programo tute ne povas kompreni la tekston.
Ĝi nur iel analizas la tekston, komputas iajn indikoj pri eblaj eraroj. La programo do ne trovas erarojn, sed nur avertas pri eblaj eraroj.
Ankaŭ por pensanta homo la verdikto pri ĝusteco de iu teksto ne estas facila. Esperantistoj ofte diskutas pri ĝusteco de iu lingva konstruaĵo.
Ofte ekzistas diferencaj opinioj pri lingvo kaj gramatiko.
Kiam mi programas la gramatikan kontrolilon mi devas ofte decidi. Ĉu la programo avertu pri iu lingva konstruaĵo kun samtempa danĝero de falspozitivaj rezultoj , aŭ ĉu preterlasi tiujn necertajn konstruaĵojn. Oni povas tion bone priskribi tion per Precision kaj recall. Mi pensas, ke oni ĝenerale la demando dependas de tio, por kio oni uzas la gramatikan kontrolilon kaj kia estas la teksto. Ĉe tre mallongaj kaj freŝaj (nekorektitaj) tekstoj oni eble volas vidi ĉiujn eblajn avertojn. Se oni kontrolas tre longajn kaj fremdajn tekstojn, oni eble volas vidi tre certajn rezultojn.
En la programo Esperantilo la uzanto povas mem influi tion. En menuo „Preferaĵoj>Redaktu preferaĵojn>Kontrolado“ oni havas kelkajn opciojn por korektilo.
Se oni volas vidi nur pli certajn avertojn, oni malŝaltu subajn opciojn
Testu mankantajn ? aŭ !
Raportu ĉiujn gramatikajn dubojn
Proponu pli konvenajn sinonimojn
Avertu pri ebla falsa amiko
En esperanta fundamento ne ekzistas reguloj por uzado de komoj. Tial neniu povas finfine diri kiel ĝuste uzi komojn. Tial oni malŝaltu tiun opcion, se la reguloj de la programo ne spegulas la propran guston.
Sintaksa analizilo estas la koro de la programo Esperantilo. Verdire mia intereso pri programado de sintaksa analizilo estis la motoro por programado de la programo. La gramatika kontrolilo estis nur iu aldona rezulto de tiu analizilo. Mi ĉefe bezonis la analizilon por maŝina tradukado kaj la gramatika kontrolilo unue estis mia interna ilo por trovi mankojn de analizilo. Do mi volis scii, kun kiuj ĝustaj frazoj la programo havas problemojn ĉe analizo.
Mi de longa tempo kolektas diferencajn frazojn por testi mian analizilon (vidu)
Ekzemplaj frazoj estas aliaj kiel realaj tekstoj. Realaj tekstoj estas multe pli kompleksaj. Ili enhavas citaĵojn kaj multe proprajn nomojn, kiuj ne estas parto de esperanta lingvo. Realaj tekstoj ne estas ankaŭ simple aro de frazoj. Ili enhavas pli komplikan strukturon. Ekzistas do dialogoj, tabeloj, nombradoj, titoloj, diversaj propraj nomoj. Jam de trovo de unuopaj frazoj de granda teksto estas en detalo neniu facila tasko.
Nun mi rimarkis, ke la baza ideo por analizilo havas siajn limojn. La programado de aldonaj lingvaj fenomenoj estas ĉiam pli komplika. Mi nun havas prototipon de nova analizilo, kiu ne nur devas estas pli rapida, sed ankaŭ pli facila por programado de sintaksaj reguloj. Tio eble estas tasko por la sekva eldono.
Aliaj plibonigoj de programo de eldono 0.992
Refreŝigo de revo leksikono kaj korekto de kelkaj ĉimoj en la REVO montrilo.
Plivastigo de traduka vortaro por angla kaj pola lingvoj.
Korekto kaj kompletigo de pola vortaro je gramatikaj kaj fleksiaj informoj.
Aliaj malgrandaj plibonigoj kaj korektoj de programaj eraroj.
Nun aperis nova provo de esperanta gramatika korektilo surbaze de programo LanguageTool. Oni povas trovi kelkajn informojn sur blogo de Dominique Pellé. Mi esperas, ke mi iam povas kompari rezultojn de ambaŭ prgramoj kaj lerni de tio.
Esperantilo en Firefox (Fajrovulpo)
Filed under: lingvistiko,programado — artur @ 19:15
Unu de plej valoraj funkcioj de Esperantilo estas literumado kaj gramatika kontrolilo. Dezirinda afero estas, ke uzantoj povus uzi tiujn funkciojn direkte en siaj programoj. Esperantilo ne povas neniam iĝi dokumentoredaktilo aŭ ttt-montrilo, kiuj nun estas la plej
uzataj programoj. Ofte tiuj grandaj programoj ebligas tiel nomatajn kromprogramojn (extensions, plugins). De longa tempo ekzistas Esperantilo kiel kromprogramo por OpenOffice.
La dua grava programo, per kiu oni skribas tekstojn estas ttt-montrilo kiel Firefox. En tempo de Web2.0 la ttt-montrilo estas ofte la sola programo, kiun neprogresinta komputiluzanto konas.
La programado de kromprogramoj estas komplika afero. Ĉiu programo havas propran interfacon por kromprogramoj (API). Mi longe atendis, ĝis OpenOffice havis la bazan eblon por gramatika korektado. Mi ankaŭ longe pensis pri gramatika kontrolado por Firefox, sed ĝis nun ne ekzistas en Firefox la facila eblo por gramatika kontrolado. Mi regule traserĉis la reton je tiu afero.
Kaj subite nun mi malkovris la projekton After The Deadline, kiu ebligas gramatikan kontroladon por angla lingvo kaj kelkaj aliaj lingvoj.
Feliĉe tiu kromprogramo estas malfermfonta kaj publike uzebla. Do nun ĉiu povas reuzi partojn de tiu kromprogramo.
AfterTheDeadline kontrolilo uzas specialan teknikan dizajnon. La kromprogramo nur kolektas tekstojn kaj sendas tiun tekston per HTTP/post (nun HTTPS) al servilo de projekto, kiu fakte faras la gramatikan korektadon. La kromprogramo ricevas la rezulton de korektado kiel XML. La rezulto enhavas erarojn, sugestojn kaj erartipojn.
kato   uzu akuzativon   la     katon     grammar       provramas   Spelling   Mi     programas     spelling
La ideo estas, ke Esperantilo povas agi kiel la servilo por AfterTheDeadline kromprogramo. Mi analizis la fontokondon de kormprogramo, kiu estas skribita en JavaScript. Mi skribis programaton, kiu faras de Esperantilo la servilon por AfterTheDeadline kromprogramo.
Kiel uzi Esperantilon direkte en Firefox?
Unue instalu la kromprogramo AfterTheDeadline kromprogramo en eldono 1.2 kun aliaj dosieroj. Pro teknikaj kialoj mi devis paki la dosierom xpi (Firefox plugin) en zip. Por instalo malpaku la dosieron afterthedeadline.zip kaj malfermu la dosieron addon-58947-latest.xpi per Firefox.
La nova kromprogramo, kiun oni povas elŝuti direkte de pago de projekto firefox.afterthedeadline.com
, bedaŭrinde ne funkcias kun Esperantilo. La aktuala eldono 1.3 usas https protokolon, kiun nun ne komprenas Esperantilo.
La adreson de servilo, kiu faras la gramatikan korektadon, oni povas ŝanĝi en preferaĵoj de Firefox. Vi tajpu „about:config“ en adreskampo de programo. Post ignoro de kelkaj avertoj, vi povas elekti la preferaĵon „extensions.afterthedeadline.proofreadLanguage“ kaj entajpi la lokan adreson de esperantiloservilo „localhost:8888“.
Poste oni trovas malgrandan programeton „AfterTheDeadlineServilo.xotcl“ en supra zip-dosiero, kiu faras de Esperantilo servilon por AfterTheDeadline kromprogramo. Poste startigu la programeton „AfterTheDeadlineServilo.xotcl“ per menuo en Esperantilo „Lingvistiko->Aliaj ekspertaj funkcioj->Lanĉu Tcl-skripton“. Aperas malgranda fenestreto kun informo, ke la servilo kuras.
Vi devas ripete startigi tiun programeton, kiam oni startigas Esperantilon. Post tio vi povas uzi la gramatikan korektadon de Esperantilo direkte de Firefox.
Limigoj de kromprogramo AferTheDeadline
Bedaŭrinde ne ĉiujn erarojn de Esperantilo oni povas vidi en Firefox. La problemo estas, ke la kromprogramo ne regas interpunkcion.
Do falsa interpunkcio ne povas esti reportata de servilo. Due ŝajnas, ke la kromprogramo havas problemojn kun specialaj signoj „kiel > <„. Do mi ne povis kontroli tiujn tekstojn direkte en Firefox. Ĉe longaj tekstoj (pli ol 10 frazoj) la kontrolado daŭras tre longe, ĉar la tuta teksto estas sendita al Esperantilo. En tiuj kazoj oni uzu programon OpenOffice aŭ Esperantilo direkte. La kromprogramo estas ankaŭ tre sentema je eraroj de servilo. Verdire la kromprogramo estas nova kaj eble enhavas multajn eraretojn.
Estas interesa afero, ke aŭtoroj de programo AfterTheDeadline uzas servilon por la gramatika korektado. Tio ja signifas, ke la tuta teksto estas sendata al servilo. Mi estas iom skepta pri tio, ĉar mi ne volus, ke iu povas kolekti ĉiujn tekstojn, kiujn mi skribas. Due la laboro de servilo kostas monon. Estas alia afero doni iun programon senkoste ol pagi por ĉiu uzo de la programo. Do se la projekto estos tre sukcesa, tiu kostoj estas pli altaj kaj oni devus havi pli da mono.
Esperantilo faras sian laboron sur komputilo de uzanto (loke). Do nenia teksto forlasas komputilon de uzanto.
Venonto de Esperantilo sur Firefox
Mi scias, ke nun la uzado de Esperantilo sur Firefox estas tro komplika por averaĝa uzanto. Oni devas instali kaj agordi eksteran programon. Poste oni devas fari taskojn en difinita ordo. La idealo estus la speciala kromprogramo, kiu en si mem enhavas Esperantilon kaj faras ĉiujn taskojn aŭtomate. Due mi povus aldoni la modifitan kromprogramon por firefox kun tuta Esperantilo.
Mi volas ankaŭ kontakti la aŭtorojn de AfterTheDeadline, por ke la kunlaboro de ilia kromprogramo estu pli
facila kun aliaj gramatikaj korektiloj.
AfterTheDeadline ne estas nur kromprogramo por Firefox, sed ankaŭ enhavas aliajn servilajn modulojn por gramatika korektado.
Ili povas estis uzataj direkte en blogoj sen iu instalado de uzanto. Ankaŭ por tiuj scenaroj Esperantilo povas esti nun uzata kiel gramatika servilo.
Dum programado mi uzis testajn html-paĝojn por rigardi la mesaĝojn de AfterTheDeadline servilo. Tiuj paĝoj povas krei direkte de html-form la HTMLL/Post mesaĝon, kiun analizas la gramatika servilo. Vi trovos tiun testajn paĝojn en supra zip-dosiero.
Mi penas, ke iom post iom la gramatika korektilo estos la kutima funkcio, kiun atendas uzantoj simile kiel hodiaŭ literumadon.
Do eble ankaŭ aliaj programoj subtenos la gramatikan korektadon de komenco.
Esperantilo povus servi kiel gramatika modulo por aliaj programoj.
Komparo de maŝina tradukado de Esperantilo kun Apertium eo-en
Filed under: ĝenerale — artur @ 22:51
La projekto apertium rapide evoluas. Nun mi eltrovis, ke ekzistas jam la traduka modulo por lingva paro eo-en (esperanto angla). La tradukado inter esperanta kaj angla lingvo en du direktoj estas nun eĉ ebla rekte de reta paĝo de projekto. Mi instalis la aktualan eldonon de projekto apertium kaj povis testi la programon. La instalo sur propra komputilo ne estas tasko por hobiuloj. Do kutime oni uzus la retan interfacon sur apertium.org.
Mi uzas por programado de Esperantilo aron de ekzemplaj frazoj, kaj tuj skribis la programon, kiu montras kune rezultojn de maŝina tradukado de ambaŭ programoj.
Evidentiĝis, ke la projekto apertium frontas la samajn problemojn kiel Esperantilo. La kvalito estas tre simila kaj tute ne perfekta. Mi supozas, ke apertium havas pli bonan vortaron, sed Esperantilo povas pli bone regi la gramatikon. Do apertium tute ne povas reordigi frazpartojn laŭ angla maniero kaj havas problemojn kun aldonaj vortoj kiel „a kaj do“. Okazas, ke la reordigo de frazpartoj ĉe Esperantilo tute fiaskas kaj la rezulto estas tute nekomprenebla. 83 tradukoj de 574 tradukis ambaŭ programoj tute same.
esperantilo: I have a book.
apertium: I have book.
Li estas juna homo.
esperantilo: He is a young man.
apertium: He is young folk.
Mi konas neniun ruson.
esperantilo: I know no Russian.
apertium: I know any Russian.
esperantilo: What are you?
apertium: What you are?
Ĉu vi estas instruisto?
esperantilo: Are you a teacher?
apertium: Whether you are teacher?
Mia fratino, kiu lernas bone, scias multe.
esperantilo: My sister, who learns well, knows a lot.
apertium: My sister, that learns well, know a lot.
Ĉu via laboro lacigas vin?
esperantilo: Does your work tire you ?
apertium: Whether yours work *lacigas you?
Ĉu via laboro lacigas vin?
esperantilo: Does your work tire you ?
apertium: Whether yours work *lacigas you?
Mankas al mi tiuj frazoj tradukitaj de homo. Do mi ofte ne scias, kiu estas la ĝusta traduko. Se mi havus anglajn homajn tradukojn, mi povus ankaŭ testi la alian direkton. Ĉu iam troviĝus bonvola angla nacilingvano, kiu povus kaj volus fari tion? Kun ĝustaj tradukoj oni povus aŭtomate
pritaksi la kvaliton de traduko kaj fari aliajn interesajn aferojn.
Estas tre ĝojiga afero, ke ekzistas nun la dua libera programo kaj oni povas kompari la rezultojn de ambaŭ programoj kaj lerni de tio.
Mi de kelkaj jaroj ne plu laboras pri angla traduko. Mi ne havas sufiĉan tempon, kaj kun mia limigita tempo mi volas plibonigi almenaŭ unu lingvon. Tio estas la pola lingvo. Eble mi povus iam kompari ambaŭ tradukajn vortarojn de projektoj kaj pliĝustigi la vortaron de Esperantilo.
Komparo de Esperantilo kun Apertium
Mi havas ankaŭ kelkajn paralelajn tekstojn, kiuj povas esti uzataj por komparo.
Vidu Paralela teksto esperanta kaj angla