Übersetzungsqualität von DeepL und Supertext – ein Vergleich

Da moderne maschinelle Übersetzungsprogramme (MT) immer häufiger auf grossen Sprachmodellen (LLMs) basieren, ist eine zuverlässige Bewertung der Übersetzungsqualität mit Methoden erforderlich, die die Fähigkeit dieser Programme zur Nutzung eines erweiterten Kontexts berücksichtigen. In dieser Studie werden zwei kommerzielle MT-Systeme – DeepL und Supertext – verglichen, indem ihre Übersetzungsqualität an unsegmentierten Texten gemessen wird. Die Übersetzungsqualität wird in vier verschiedenen Sprachrichtungen von professionellen Übersetzern bewertet, die die Segmente im Kontext des gesamten Dokuments beurteilen. Bei der Bewertung der Segmente selbst ist in den meisten Fällen keines der beiden Systeme klar im Vorteil. Bei der Analyse der Dokumente insgesamt liegt jedoch in drei von vier Sprachkombinationen Supertext vorne, was auf eine bessere Konsistenz bei längeren Texten hinweist. Wir fordern, dass bei der Bewertung von MT-Systemen mehr Kontext berücksichtigt wird, damit die Bewertung der Übersetzungsqualität auch die tatsächliche Praxistauglichkeit widerspiegelt.