Use case: Datengetriebene Optimierung von MT- und LLM-Workflows

Messen, analysieren und optimieren Sie die Leistung Ihrer MT- und LLM-Systeme – für bessere Übersetzungen, effizientere Prozesse und maximale Wirtschaftlichkeit.

Inhaltsübersicht

Stetiger Optimierungsprozess dank flexibler Analysen

Behalten Sie dank Messung der durchschnittlichen Levenshtein-Distanz und Nachbearbeitungszeit sowie Translation Quality Estimation (TQE) jederzeit die Übersicht darüber, welche Inhalte direkt nach der maschinellen Übersetzung freigegeben werden können, respektive welche noch von Ihren Linguist/innen überarbeitet werden müssen. Nutzen Sie die Messdaten gleichzeitig dazu, Ihre KI- und LLM-Sprachressourcen durch RAG, Terminologieintegration und maßgeschneidertes Prompting stetig zu optimieren. Das Zusammenspiel aus KI-Optimierung, Translation Quality Estimation und realen Nachbearbeitungsdaten schafft eine solide Grundlage, um die Qualität, Effizienz und Wirtschaftlichkeit Ihrer MT- und LLM-Workflows kontinuierlich zu bewerten und weiter zu verbessern.

Die Herausforderung

Viele Unternehmen und Sprachdienstleister setzen heute verschiedene MT- und LLM-Systeme ein, um Übersetzungsprozesse zu beschleunigen. Die eigentliche Herausforderung besteht jedoch nicht darin, Übersetzungen zu erzeugen, sondern deren Qualität und Wirtschaftlichkeit objektiv zu bewerten und weiter zu optimieren.

Welche Engine liefert die besten Ergebnisse? Welche Inhalte verursachen den höchsten Nachbearbeitungsaufwand? Für welche Kunden und Texte können Terminologiedatenbanken, Engines zur maschinellen Übersetzung oder kundenspezifische Sprachmodelle die größte Wirkung erzielen?

Um diese Fragen zu beantworten, benötigen Unternehmen zuverlässige Daten über die tatsächliche Qualität automatischer Übersetzungen und den Aufwand ihrer Nachbearbeitung. Und genau da unterstützt Sie translate5.

translate5 unterstützt bei der Optimierung maschineller Übersetzung

Der Lösungsansatz von translate5 mit standardmäßig implementierten Analysen

translate5 erfasst während des gesamten Übersetzungsprozesses automatisch relevante Kennzahlen auf Segmentebene wie die Nachbearbeitungszeit, die Levenshtein-Distanz und die Translation Quality Estimation (TQE).

Die Levenshtein-Distanz zeigt, wie stark ein vorübersetztes Segment von den Linguist/innen verändert wurde. Die Nachbearbeitungszeit misst den tatsächlichen Aufwand dieser Arbeiten. Die Translation Quality Estimation bewertet bereits vor der Nachbearbeitung die erwartete Qualität einzelner Segmente oder ganzer Dokumente und signalisiert den Projektmanger/innen und Linguist/innen, welche Segmente mehr und welche weniger Aufmerksamkeit benötigen oder direkt bestätigt werden können

Durch die Kombination dieser Kennzahlen entsteht eine solide Grundlage für die Analyse und Optimierung von MT- und LLM-Workflows sowie der darin verwendeten Sprachressourcen. Besonders wertvoll ist dabei die Möglichkeit, die Ergebnisse gezielt zur Weiterentwicklung von RAG-Konfigurationen, Prompting-Strategien, Terminologieeinbindungen und kundenspezifischen KI-Modellen zu nutzen. Die Auswirkungen solcher Optimierungen können anschließend anhand von TQE, Levenshtein-Distanz und Nachbearbeitungszeit objektiv gemessen und miteinander verglichen werden.

Ein möglicher Übersetzungs- und Analyseworkflow

Sie möchten technische Dokumentationen mithilfe eines LLMs vorübersetzen und den manuellen Aufwand möglichst gering halten und bereiten die Inhalte in translate5 mit den passenden Sprachressourcen vor.

Nach der Vorübersetzung bewertet translate5 jedes Segment automatisch mithilfe der Translation Quality Estimation. Ihr Projektmanagement filtert nun alle Segmente mit einer Qualitätsbewertung von mindestens 95 % heraus, gibt diese direkt frei und sperrt sie möglicherweise sogar, damit sie im weiteren Prozess nicht manuell verändert werden. Nur Segmente mit niedrigeren Qualitätswerten werden den Linguist/innen zur Nachbearbeitung zugewiesen.

Nach Abschluss der Bearbeitung analysiert translate5 zusätzlich die durchschnittliche Levenshtein-Distanz und die durchschnittliche Nachbearbeitungszeit über alle relevanten Segmente gemittelt. Dadurch wird zum einen sichtbar, welche Segmente tatsächlich einen hohen Aufwand verursacht haben und ob die Qualitätsbewertung zuverlässig war. Zum anderen geben die Zahlen Hinweise darauf, wie gut sich die für die Vorübersetzung eingesetzten Sprachressourcen für die vorliegende Textsorte eignen und wie sie durch geschicktes Prompting optimiert werden könnten.

Weiter können diejenigen Segmente mit einer hohen Levenshtein-Distanz im Anschluss nochmals auf in der Terminologiedatenbank bis anhin fehlende Terminologie überprüft und diese nachgeführt werden.

Ziehen Sie vielseitige Erkenntnisse aus den Analyseergebnissen

Die Erkenntnisse aus der Analyse

Die gewonnenen Daten ermöglichen eine detaillierte Bewertung der eingesetzten Sprachressourcen.

So kann beispielsweise festgestellt werden, dass bestimmte LLMs bei Marketingtexten besonders gute Ergebnisse liefern, während technische Inhalte vor allem von konsistenter Terminologie, RAG-gestützter Wissensanreicherung und optimierten Prompts profitieren. Die Auswertungen zeigen Ihnen dabei nicht nur, welche Sprachressourcen die besten Ergebnisse liefern, sondern auch, welche KI-Optimierungen tatsächlich zu einer messbaren Qualitätssteigerung führen.

Ebenso lassen sich Segmente identifizieren, die trotz hoher Qualitätsbewertung überdurchschnittlich viel Nachbearbeitungszeit verursachen. Häufige Ursachen sind:

fehlende, inkonsistente oder Nischen-Terminologie
fachspezifische Formulierungen
Produktnamen oder geschützte Begriffe
technische Inhalte mit Code-Blöcken oder Befehlen

Gerade bei technischen Dokumentationen kann analysiert werden, wie sich geschützte Begriffe, Content protection-Regeln oder Terminologiedatenbanken auf die Übersetzungsqualität und den Bearbeitungsaufwand auswirken.

Finden Sie heraus, wie Sie Ihre Modelle optimieren können

Die verschiedenen Optimierungsmöglichkeiten

Auf Basis der gewonnenen Erkenntnisse können Sie Ihre Übersetzungsprozesse sowie die zugrunde liegenden KI- und Sprachressourcen kontinuierlich verbessern. Änderungen an Prompts, RAG-Datenquellen, Terminologiebeständen oder kundenspezifischen Modellen lassen sich gezielt testen und anhand objektiver Qualitäts- und Effizienzkennzahlen bewerten.

Mögliche Massnahmen sind:

Auswahl der optimalen MT- oder LLM-Ressource für bestimmte Inhaltstypen
Erweiterung bestehender Terminologiedatenbanken
Einführung von Content protection-Regeln für Produktnamen oder Code sowie gegebenenfalls automatische Konvertierung von Zeichen- und/oder Zahlenfolgen in vordefinierte zielsprachliche Muster
Optimierung von qualitätsbasierten Entscheidungen auf Basis der Translation Quality Estimation
gezielte Nachbearbeitung nur der tatsächlich kritischen Segmente
Training kundenspezifischer MT- oder LLM-Modelle sowie kontinuierliche Optimierung von RAG-Konfigurationen und Prompting-Strategien auf Basis realer Qualitäts- und Nutzungsdaten

Erkennen Sie die Veränderungen, nachdem Sie Ihre Modelle optimiert haben

Das Fazit und Ihr Nutzen

Durch die Kombination von Translation Quality Estimation, Levenshtein-Distanz und Nachbearbeitungszeit erhalten Sie erstmals eine objektive Sicht auf die tatsächliche Leistungsfähigkeit Ihrer Übersetzungssysteme.

Anstatt Entscheidungen auf Basis einzelner Stichproben zu treffen, können Sie dank translate5 MT- und LLM-Workflows datenbasiert analysieren, vergleichen und kontinuierlich optimieren. Dies reduziert den Nachbearbeitungsaufwand, verbessert die Übersetzungsqualität und ermöglicht einen gezielten Einsatz linguistischer Ressourcen dort, wo sie den größten Mehrwert schaffen.

Testen Sie es selbst

Kontaktieren Sie uns und testen Sie translate5 gemeinsam mit uns. Wir begleiten Sie bei den ersten Schritten und zeigen Ihnen, wie translate5 optimal in Ihre Arbeitsabläufe integriert werden kann.