de de de de de pl de de de de eo de en en de de en de de de de de de de de de en en en de de de de hi en pt de de de de de en de de de de de de de de de de en en de de de de de de de de de de de de de de it de de de de de it de de de de de it de de de de de de de de de de de de de de de de de de de de de de de de de en de de de de de de de en de de de de de de ms fr it en de de de de en en de en de en de en en en de de de de it de de hbs_lat en en
Die Maschinen sind los! 240 000 Wörter, 6 Monate: Im Magazin Nr. 8 zeigen wir einen außergewöhnlich spannenden Beitrag zum Thema maschinelle Übersetzung. Über ein halbes Jahr hinweg haben wir drei Maschinen mit einem statistisch relevanten Volumen an authentischen Texten getestet. Lesen Sie hier unsere Findings noch einmal als Blog.
Beim Thema maschinelle Übersetzung (MT) geraten wir zurzeit in echte Hoch- und Weitererzählstimmung. Denn mit den Basler Versicherungen durften wir im letzten halben Jahr ein sagenhaftes Pilotprojekt durchführen, um herauszufinden, welche Maschine sich am besten für diesen langjährigen Lieblingskunden eignet. Und obwohl wir als Übersetzer sonst ja eher still im Hintergrund tüfteln, müssen wir die spannenden Ergebnisse nun einfach mal herausposaunen.
Riesenvolumen und ganz viel Zeit: Ein bahnbrechendes MT-Projekt
Mit folgenden Fragen kam die Basler auf Diction zu:
Welches System bringt uns die größte Effizienz? Und welche Basler-Texte und -Sprachen eignen sich gut oder weniger gut für MT? Wie und was wurde genau getestet?
Deutsch–Französisch, Deutsch–Italienisch für alle Textsorten
Drei Maschinen; jede wurde über zwei Monate genutzt
Datenerfassung: Zeit, Korrekturtiefe, Anzahl und Art der Fehler
Expertenbewertung durch den Basler-Sprachendienst sowie Userbefragung
Folgende (hier nicht näher benannte) Systeme kamen zum Einsatz, wobei es Anfang Februar 2021 mit Maschine 1 losging und Ende Juli der letzte Text durch Maschine 3 ratterte:
Diese Maschine ist nicht mit Terminologie oder anderen Daten-Korpora trainierbar. Es handelt sich um die kostenpflichtige Profivariante eines auch frei im Netz verfügbaren Systems. Die Datensicherheit ist gut.
Trainingsmöglichkeiten: keine für die
Dies ist ein auf den Diction-Servern betriebenes System, das sehr gute Sicherheit bietet. Zum Training nutzten wir von Basler zur Verfügung gestellte Daten (Fachbegriffe aus Unternehmenstexten), Translation-Memorys (TMs) sowie frei
verfügbare von uns bereinigte Textkörper.
Das Training erfolgte mit Basisdaten des Anbieters, Daten von Basler sowie mit TM- und Termbank-Daten, wobei die Benennungen nicht nur an der richtigen Stelle eingesetzt, sondern auch grammatikalisch an das Satzgefüge angepasst werden. Die Maschine kann sogar lernen, die richtigen Apostrophe zu setzen oder Zahlenformate in der gewünschten Form anzuwenden. Auch die Sicherheit ist sehr gut, denn dem Kunden steht ein eigener Server beim Anbieter zur Verfügung.
Der Einsatz der Maschinen erfolgte im Live-Tagesbetrieb. Die maschinellen Übersetzungen wurden durch Post-Editoren geprüft und korrigiert. Der Anspruch waren zu 100 % einwandfreie Texte, die sich nicht von einer Humanübersetzung unterscheiden. Auf diese Weise wurden 417 Übersetzungen mit insgesamt 245 000 Wörtern unter die Lupe genommen. Eine Riesenmenge!
Wie beurteilt man, ob das Resultat gut ist? Es gibt zwar automatische Bewertungsverfahren, mit denen man eine Maschinenübersetzung recht schnell bewerten könnte. Allerdings sind die Ergebnisse, die auf einer beschränkten Anzahl von Beispielsätzen beruhen, nur bedingt aussagekräftig. Sobald zum Beispiel statt einer antrainierten Benennung ein Synonym verwendet wird, gibt es gleich Punktabzug, selbst wenn das Synonym genauso korrekt ist. Die Prüfung durch ein geschultes menschliches Auge hat sich daher als weit effektiver herausgestellt. Oder zumindest ist eine solide Kombiprüfung von Mensch und Maschine durchaus ratsam.
Bei Maschine 3 ist die automatische Bewertung bereits im System enthalten. Übrigens: Das reine «Drüberschauen» beim Auftraggeber des Kunden («Ja, liest sich doch gut») gilt ebenfalls nicht wirklich als Prüfung. Denn eine maschinelle
Übersetzung kann sich zwar wunderbar flüssig lesen, aber dennoch inhaltlich falsch sein – was ein sprachlicher Laie womöglich gar nicht bemerkt. Um eine Maschine zu bewerten, müssen daher Profis die Übereinstimmung von Ausgangs- und Zieltext prüfen.
Jetzt wirds spannend: Welche Fehler haben die Maschinen gemacht?
Die Fehlerkategorien wurden unterschiedlich gewichtet, weil zum Beispiel ein Sinnfehler schwerer wiegt als ein Kommafehler usw. Hier die Fehlerarten in allen Systemen für beide Sprachen zusammengenommen:
Inhaltlich verrannten sich alle drei Systeme am häufigsten. Dies sind leider auch die folgenschwersten Aussetzer, da der Textsinn ja die Basis für das Verständnis darstellt. Orthografie und Grammatik folgten mehr oder weniger deutlich auf dem zweiten Platz. Ein großer Unterschied zwischen den beiden geprüften Sprachen war, dass bei Italienisch die Terminologie (grau) ein größeres Problem darstellte als bei Französisch. Dies vor allem bei Maschine 1, die nicht trainierbar ist. Doch auch die beiden trainierbaren Systeme zeigten den Trend zu weit mehr Terminologiefehlern in Italienisch. Vermutlich, weil für Französisch mehr sprachliche Quellen fürs Training verfügbar sind.
Hier beispielsweise die Fehlerart-Verteilung im Fachgebiet Bankwesen mit Maschine 3 in beiden Sprachen. Dabei sehen wir in Französisch fast ausschließlich Sinnfehler, in Italienisch sind die Fehlerarten gleichmässiger vertreten.
Kleiner Exkurs: Wie läuft eine maschinelle Übersetzung mit Post-Editing eigentlich ab?
Sämtliche Texte werden zuerst durch TM-Einträge vorübersetzt. Das heißt, alle Segmente, für die das TM bereits eine Übersetzung gespeichert hat, brauchen nicht mehr durch die Maschine geschickt zu werden.
Die Post-Editorin erkennt beim Prüfen der Texte in der Übersetzungsumgebung Trados Studio, ob ein Segment aus dem TM stammt oder von der Maschine («NMT» im Bild rechts kommt aus der MT-Maschine, alles andere aus dem TM). Den Treffern aus dem TM kann man vertrauen, da sie ja (irgendwann einmal) von einem menschlichen Übersetzer erstellt wurden. Sätze aus der Maschine müssen hingegen eingehender geprüft werden, denn sie können von guter oder aber schlechter Qualität sein.
Und wie viel Zeit spart maschinelle Übersetzung
Ein menschlicher Übersetzer übersetzt je nach Thema ca. 200 bis 250 Wörter pro Stunde. Ist MT mit Post-Editing bei gleicher Qualität schneller, dann lohnt sich also der Einsatz der Maschine. Bei Italienisch war die Zeiteinsparung über alle Systeme hinweg geringer als bei Französisch. Bei Maschine 3 lagen die Zeitwerte noch am nächsten beieinander.
Allerdings kam es hierbei auch stark auf die Textsorte und das Fachgebiet an. So war bei medizinischen Texten der Post-Editing-Prozess für den Output aus Maschine 1 zeitintensiver als etwa bei Texten aus dem Bereich Medien und Werbung. Gerade auch Texte mit Schweizer Rechtsterminologie sind für alle nicht trainierbaren Maschinen eine Herausforderung, weil fast nur Begriffe aus Frankreich, Italien und Deutschland im System hinterlegt sind. Daher hat Maschine 1 bei solchen Texten besonders deutliche Probleme.
Wichtig ist: Nicht nur die eingesparte Zeit bei vergleichbarer Qualität, sondern auch die Anschaffungs- und Betriebskosten sind von Bedeutung. Die drei Systeme gelangen je nach Jahreswortmengen schneller oder weniger schnell an den Break-even-Point. Die Basler hat ein so großes Übersetzungsvolumen, dass sich auch mit der teuersten Maschine 3 die Investition ziemlich schnell lohnt. Bei Kunden mit geringerem Jahresvolumen kann es anders aussehen. Besonders, wenn man selbst nur kleine eigene Korpora (also Unternehmensterminologie, TMs usw.) mitbringt und daher zusätzliche Daten eingekauft oder diese gefunden werden müssen. Bei selteneren Sprachkombinationen kann das schwierig werden. Es gibt also keine Zauberformel, die für jeden gilt.
Das allerletzte MT-Geheimnis haben wir vielleicht nicht gelüftet, aber das Pilotprojekt hat definitiv einen Wow-Effekt aufgrund seines Umfangs und seiner Akribie. Unser Kunde kennt jetzt ganz genau die Vor- und Nachteile der einzelnen Systeme in den beiden Sprachen sowie für verschiedene Fachbereiche und Textsorten. Auf dieser Grundlage kann er sich nun für das System entscheiden, das insgesamt am besten passt.
Und unsere Profis für maschinelle Übersetzung sind auch glücklich, denn sie konnten drei Systeme über Monate hinweg mit einer riesigen Datenmenge analysieren. Damit sind wir umso besser für die nächsten Projekte gerüstet.
Falls Sie sich also mit unseren MT-Experten zu diesem Thema unterhalten möchten, rufen Sie uns an. Wir freuen uns schon!
Das könnte Sie auch interessieren
Post-Editing: Furcht oder Freude?
In der Übersetzungsbranche ist das Thema Post-Editing bereits seit einigen Jahren sehr präsent. Erfahrung in diesem Bereich konnte ich auch schon sammeln, ich habe sogar an einem Workshop teilgenommen. Dazu später mehr. Zuerst würde ich gerne über die Entwicklungen schreiben, die ich bisher als Übersetzerin erlebt habe. Denn ich arbeite mittlerweile seit 24 Jahren in der…
Aktuelles, Blog, Sprache, Tipps
Gendern und genderneutral schreiben auf Italienisch
Gendern und genderneutral schreiben auf Italienisch – wie geht das? Viele Kunden stellen uns diese Frage. In einigen Sprachen (wie Englisch) ist es relativ leicht, neutral zu schreiben, und genderneutrale Ausdrücke werden routiniert genutzt. In anderen Sprachen – und dazu gehört das Italienische – sieht die Sache mit dem Gendern komplizierter aus. Sprachliche Gleichbehandlung wurde…
Genderneutrale Sprache: Wie geht das?
Viele Menschen, Unternehmen und Organisationen möchten sich inklusiver ausdrücken, um zu zeigen, dass sie jede Person, egal, wie diese sich identifiziert, mit ihren Texten ansprechen und willkommen heissen. Daher ist genderneutrale Sprache nicht unbedingt das gleiche wie geschlechtergerechte Sprache, sondern betont idealerweise weder die weibliche noch die männliche Form. Geschlechtergerechte Sprache nutzt häufig Gendersternchen, Schrägstriche,…
Aktuelles Bewerber Bewerber Blog Chinesisch computerunterstützte Übersetzung Copywriting Datensicherheit EDV English Espagñol Español Finance Français Italiano Kultur Lektorat maschinelle Übersetzung maschinengestützte Übersetzung Mehrsprachigkeit Recht Reise Sprache Terminologie Tipps Vancouver-Office Übersetzung Übersetzungstechnologien