\nSchnelle Schlussfolgerungen anhand von Zwischenergebnissen, um mit den Untertiteln in Echtzeit Schritt zu halten.<\/li>\n
Einige klassische, auf N-Grammen basierende Ans\u00e4tze [1] weisen eine relativ gute Qualit\u00e4t auf. Sie haben allerdings auch Nachteile. Zwar erm\u00f6glichen N-Gramm-Modelle schnelle R\u00fcckschl\u00fcsse, aber selbst 3-Gramm-Modelle ben\u00f6tigen, je nach Vokabular der jeweiligen Sprache, mehrere Gigabyte Speicherplatz. Ein weiterer Nachteil ist der Umgang mit W\u00f6rtern, die nicht im Vokabular enthalten sind. Wenn ein Wort in den Training-Daten nicht enthalten war, kann es von dem Modell nicht in der gewohnten Weise verarbeitet werden und die Genauigkeit kann abnehmen.<\/p>\n
Moderne Ans\u00e4tze verwenden effektive Techniken wie etwa ein bidirektionales RNN [3], die jedoch viel Rechenleistung in Anspruch nehmen, oder Attention- und Transformer-basiserte neuronale Netzarchitekturen [2]. Diese Modelle sind sehr genau [2], aber m\u00f6glicherweise nicht gut f\u00fcr die Anwendung beim Live-Streaming geeignet, weil sie die vollst\u00e4ndige Eingabesequenz ben\u00f6tigen, um R\u00fcckschl\u00fcsse ziehen zu k\u00f6nnen. Wenn man beispielsweise nur einen Eingabetoken f\u00fcr ein bidirektionales RNN hat, m\u00fcssen die verborgenen Zust\u00e4nde (\u201eHidden States\u201c) aller Token aktualisiert werden, mit denen das Modell bereits konfrontiert war (Abbildung\u00a01).<\/p>\n
![\"Berechnungen](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/Computations-on-the-backward-pass-of-a-bi-directional-RNN.png\")
\n<\/a> Abbildung\u00a01. Berechnungen zur R\u00fcckw\u00e4rtsberechnung eines bidirektionalen RNN. Bei jeder neuen Eingabe m\u00fcssen alle vorherigen verborgenen Zust\u00e4nde der Reihe nach aktualisiert werden.<\/p><\/div>\n
\u00a0<\/p>\n
Einige Ans\u00e4tze versuchen, das Problem der Interpunktion und Gro\u00df- und Kleinschreibung zu l\u00f6sen, indem zwei verschiedene Modelle erstellt werden [3][6], andere kombinieren die beiden zu einem einzigen Modell, weil die Ausgaben stark miteinander korrelieren [4][2]. Die W\u00f6rter, die unmittelbar auf die Satzzeichen folgen, verdeutlichen diese Korrelation gut: In vielen Sprachen werden W\u00f6rter nach einem Punkt mit hoher Wahrscheinlichkeit gro\u00df geschrieben und W\u00f6rter nach einem Komma wahrscheinlich klein. Einige Ans\u00e4tze schlagen eine Architektur mit mehreren Ausgaben vor [4]: jeweils eine pro Aufgabe. Sie zeigen, dass diese Architektur besser funktioniert als Architekturen, bei denen Interpunktion und Gro\u00df- und Kleinschreibung getrennt sind.<\/p>\n
Auf der Grundlage dieser Erw\u00e4gungen haben wir beschlossen, ein einzelnes GRU-basiertes neuronales Netz mit zwei Ausgaben f\u00fcr Interpunktion sowie Gro\u00df- und Kleinschreibung zu verwenden.<\/p>\n
Im Umgang mit W\u00f6rtern, die nicht im Vokabular enthalten sind, verwenden wir eine Technik, die der SentencePiece-Technik [6] \u00e4hnelt und die unbekannte W\u00f6rter in kleinere Token oder im Extremfall in Zeichen unterteilt. Mit den Einzelheiten und \u00dcberlegungen dazu werden wir uns nun besch\u00e4ftigen.<\/p>\n
TruncBiRNN<\/h2>\n
Intuition und Experimente zeigen, dass es unabdingbar ist, den zuk\u00fcnftigen Kontext zu kennen, wenn man ein Interpunktionsmodell entwickelt, weil es schwieriger ist, die Interpunktion an einer bestimmten Position zu bestimmen, wenn man die folgenden W\u00f6rter nicht kennt. Damit wir Informationen \u00fcber die n\u00e4chsten Token nutzen k\u00f6nnen und nicht alle verborgenen Zust\u00e4nde aller Token r\u00fcckw\u00e4rts aktualisieren m\u00fcssen, haben wir beschlossen, die Bearbeitung in R\u00fcckw\u00e4rtsrichtung zu beschr\u00e4nken und auf ein festes Fenster zu k\u00fcrzen. In Vorw\u00e4rtsrichtung handelt es sich lediglich um ein normales RNN. In R\u00fcckw\u00e4rtsrichtung ber\u00fccksichtigen wir bei jedem Token nur ein festes Fenster und wenden das RNN auf dieses Fenster an (Abbildung\u00a02). Mithilfe dieses Fensters k\u00f6nnen wir eine konstante Zeitinferenz f\u00fcr neue Eingabetoken erhalten (wir m\u00fcssen einen verborgenen Zustand in Vorw\u00e4rtsrichtung berechnen und n+1 in R\u00fcckw\u00e4rtsrichtung).<\/p>\n
![\"TruncBiRNN-Beispiel\"](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/TruncBiRNN-example.png\")
\n<\/a> Abbildung\u00a02. In diesem Beispiel werden bei der R\u00fcckw\u00e4rtsberechnung des verborgenen Zustands f\u00fcr jeden aktuellen Token jeweils nur die beiden folgenden ber\u00fccksichtigt.<\/p><\/div>\n
\u00a0<\/p>\n
Wir erhalten nun f\u00fcr jedes Token verborgene Zust\u00e4nde f\u00fcr die Vorw\u00e4rts- und R\u00fcckw\u00e4rtsrichtung. Nennen wir diese Ebene einmal TruncBiRNN oder TruncBiGRU (weil wir GRU verwenden). Diese verborgenen Zust\u00e4nde k\u00f6nnen innerhalb von konstanten Zeitr\u00e4umen berechnet werden, die nicht von der L\u00e4nge der Eingabe abh\u00e4ngen. Der Vorgang muss innerhalb einer konstanten Zeit ablaufen, damit er mit den Untertiteln in Echtzeit Schritt halten kann.<\/p>\n
Architektur<\/h2>\n
Die Architektur besteht aus Einbettungsebene, TruncBiGRU- und unidirektionaler GRU-Ebene und vollst\u00e4ndig vernetzter Ebene. F\u00fcr die Ausgabe verwenden wir zwei Softmax-Ebenen, je eine f\u00fcr die Interpunktion und die Gro\u00df- und Kleinschreibung (Abbildung\u00a03).<\/p>\n
![\"Abbildung\u00a03.](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/Model-architecture-with-window-size-equal-to-two-tokens-for-TruncBiGRU.png\")
\n<\/a> Abbildung\u00a03. Modellarchitektur mit einer Fenstergr\u00f6\u00dfe von zwei Token f\u00fcr TruncBiGRU.<\/p><\/div>\n
\u00a0<\/p>\n
Das Modell sagt die Gro\u00df- und Kleinschreibung f\u00fcr jedes Wort sowie die darauf folgende Interpunktion vorher. Um die beiden Ausgaben besser synchronisieren und die Gro\u00df- und Kleinschreibung vorhersagen zu k\u00f6nnen, m\u00fcssen wir auch die Einbettung des vorherigen Token kennen (um das Satzzeichen aus dem vorherigen Schritt wiederherzustellen). Zusammen mit einer benutzerdefinierten Verlustfunktion (siehe n\u00e4chster Abschnitt) k\u00f6nnen wir so verhindern, dass S\u00e4tze mit klein geschriebenen W\u00f6rtern beginnen.<\/p>\n
F\u00fcr die Vorhersage der Interpunktion ist es auch hilfreich, die Vorhersage der Gro\u00df- und Kleinschreibung des n\u00e4chsten Wortes hinzuzuziehen. Deswegen verkn\u00fcpfen wir die aktuelle Einbettung mit der folgenden.<\/p>\n
Eine Ausgabeebene f\u00fcr die Interpunktion sagt die Verteilung \u00fcber alle Satzzeichen hinweg voraus. In unserem Modell ist es eine Folge:<\/p>\n
Punkt <\/em>\u2013 Punkt in der Mitte eines Satzes, der nicht zwangsl\u00e4ufig darauf hinweist, dass das n\u00e4chste Wort gro\u00df geschrieben werden sollte (\u201ez.\u00a0B., \u201ed.\u00a0h.\u201c usw.)<\/p>\n Komma<\/em><\/p>\n Fragezeichen<\/em><\/p>\n Auslassungszeichen<\/em><\/p>\n Doppelpunkt<\/em><\/p>\n Bindestrich<\/em><\/p>\n abschlie\u00dfender Punkt<\/em>\u00a0\u2013 Punkt am Satzende<\/p>\n \u00a0<\/p>\n F\u00fcr die Gro\u00df- und Kleinschreibung verwenden wir vier Klassen:<\/p>\n Kleinbuchstaben<\/em><\/p>\n Gro\u00dfbuchstaben<\/em>\u00a0\u2013 alle Buchstaben werden gro\u00df geschrieben (\u201eIEEE\u201c, \u201eNASA\u201c, usw.)<\/p>\n Gro\u00dfbuchstabe am Wortanfang<\/em><\/p>\n Mischform<\/em>\u00a0\u2013 W\u00f6rter wie \u201eiPhone\u201c<\/p>\n Gro\u00dfbuchstabe am Satzanfang<\/em>\u00a0\u2013 W\u00f6rter, die einen Satz einleiten<\/p>\n Die zus\u00e4tzlichen Klassen \u201eGro\u00dfbuchstabe am Satzanfang\u201c (leading capitalized) und <\/em>\u201eabschlie\u00dfender Punkt<\/em>\u201c (terminal period) m\u00f6gen zun\u00e4chst \u00fcberfl\u00fcssig erscheinen, sie leisten jedoch einen Beitrag zu konsistenteren Antworten im Hinblick auf Gro\u00df- und Kleinschreibung sowie Interpunktion. Der \u201eabschlie\u00dfende Punkt\u201c <\/em>deutet darauf hin, dass die Antwort bei der n\u00e4chsten Frage der Gro\u00df- und Kleinschreibung nicht \u201eKleinbuchstaben\u201c sein kann, <\/em> wohingegen \u201eGro\u00dfbuchstabe am Satzanfang\u201c <\/em>bedeutet, dass das vorhergehende Satzzeichen ein \u201eabschlie\u00dfender Punkt<\/em>\u201c oder ein Fragezeichen sein muss. Diese Klassen spielen eine wichtige Rolle f\u00fcr die Verlustfunktion.<\/p>\n Verlustfunktion: Wie jedoch bereits erw\u00e4hnt, korrelieren die Ausgaben neuronaler Netze nicht immer optimal miteinander. Ein Beispiel daf\u00fcr w\u00e4re, wenn die f\u00fcr das Setzen von Satzzeichen zust\u00e4ndige Funktion \u201eabschlie\u00dfender Punkt\u201c <\/em>f\u00fcr das aktuelle Wort vorhersagt, die f\u00fcr die Gro\u00df- und Kleinschreibung zust\u00e4ndige Funktion jedoch nicht \u201eGro\u00dfbuchstabe am Satzanfang<\/em>\u201c f\u00fcr den folgenden Token. Diese Art von Fehler ist zwar selten, sie kann aber sehr auff\u00e4llig sein. Deswegen verwenden wir eine zus\u00e4tzliche Abzugsbedingung in der Verlustfunktion, die bei dieser Art von Fehler zu einem Abzug f\u00fchrt:<\/p>\n Die erste Bedingung entspricht der Wahrscheinlichkeit, dass ein \u201eGro\u00dfbuchstabe am Satzanfang<\/em>\u201c nach einem Token mit einem anderen Wert als \u201eabschlie\u00dfender Punkt\u201c steht, <\/em>und die zweite f\u00fcr die Wahrscheinlichkeit, dass \u201eGro\u00dfbuchstabe am Satzanfang<\/em>\u201c nicht nach \u201eabschlie\u00dfender Punkt\u201c steht.<\/em>\u00a0 Dieser Abzug summiert sich, wenn der Fehler bei mehreren Token auftritt.<\/p>\n Au\u00dferdem \u00fcbertragen wir zwei aufeinanderfolgende Tensoren von der vorherigen Ebene auf die Softmax-Ebenen. So k\u00f6nnen wir Abzugsbedingungen effizient reduzieren.<\/p>\n Und schlie\u00dflich ist da noch die Verlustfunktion:<\/p>\n F\u00fcr das Training verwenden wir Abschriften von Texten aus einigen internen Webex Meetings und Textdaten von Wikipedia.<\/p>\n Zun\u00e4chst werden die Training-Daten bereinigt und in S\u00e4tze unterteilt. W\u00e4hrend des Trainings wird jedes Beispiel aus aufeinanderfolgenden S\u00e4tzen generiert und auf eine beliebige L\u00e4nge aus einer festen Verteilung gek\u00fcrzt. Auf diese Weise wird das Modell im Training mit abgeschnittenen Phrasen konfrontiert, die es dem Modell erm\u00f6glichen, beim Folgern mit Zwischenergebnissen zu arbeiten. Anschlie\u00dfend trainieren wir ein Modell mit etwa 300\u00a0Megabyte Text von Wikipedia und nehmen dann mithilfe der Abschriften von Webex Meetings Feinabstimmungen vor.<\/p>\n Das Vorab-Training mit Wikipedia tr\u00e4gt zu Verbesserungen bei allen Interpunktionsklassen bei, es ist jedoch besonders hilfreich bei den Klassen f\u00fcr die Gro\u00df- und Kleinschreibung. Wir vermuten, das liegt daran, dass der Wikipedia-Korpus sehr viele Substantive enth\u00e4lt.<\/p>\n Wir wenden dieselbe Datenvorbereitung auf unsere Bewertungss\u00e4tze an, indem wir S\u00e4tze k\u00fcrzen und sie bei einer beliebigen L\u00e4nge \u201eabschneiden\u201c. Auf diese Weise k\u00f6nnen wir die Genauigkeit der Ergebnisse erfassen, die wir bei den Zwischenstufen der Abschriften erwarten k\u00f6nnen.<\/p>\n Wir haben relativ einfache Techniken mit einigen Anpassungen bei der Architektur, z.\u00a0B. gek\u00fcrzte GRU und zus\u00e4tzliche Abz\u00fcge in Verlustfunktionen, eingesetzt, um ein Modell zu entwickeln, das online ausgef\u00fchrt werden kann. Live-Untertitel sind deutlich leichter lesbar, wenn Interpunktion sowie Gro\u00df- und Kleinschreibung in Echtzeit hinzugef\u00fcgt werden.<\/p>\n Literatur<\/strong><\/p>\n [1] A. Gravano, M. Jansche und M. Bacchiani: \u201eRestoring punctuation and capitalization in transcribed speech\u201c, in ICASSP 2009, 2009, S.\u00a04741\u20134744.<\/p>\n [2] Monica Sunkara, Srikanth Ronanki, Kalpit Dixit, Sravan Bodapati, Katrin Kirchhoff: \u201eRobust Prediction of Punctuation and Truecasing for Medical ASR\u201c<\/p>\n [3] Tilk, Ottokar und Alum\u00e4e, Tanel (2016): \u201eBidirectional Recurrent Neural Network with Attention Mechanism for Punctuation Restoration\u201c, 3047-3051. 10.21437\/Interspeech.2016-1517<\/p>\n [4] Vardaan Pahuja, Anirban Laha, Shachar Mirkin, Vikas Raykar, Lili Kotlerman, Guy Lev: \u201eJoint Learning of Correlated Sequence Labelling Tasks Using Bidirectional Recurrent Neural Networks\u201c<\/p>\n [5] Wang, Peilu und Qian, Yao und Soong, Frank und He, Lei und Zhao, Hai. (2015): \u201ePart-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network\u201c<\/p>\n [6] Lita, Lucian und Ittycheriah, Abe und Roukos, Salim und Kambhatla, Nanda (2003): tRuEcasIng. 10.3115\/1075096.1075116.<\/p>\n [7] https:\/\/github.com\/google\/sentencepiece<\/p>\n Bei Webex anmelden<\/a><\/p>\n Besuchen Sie unsere Homepage<\/a> oder kontaktieren Sie uns<\/a> direkt, wenn Sie Unterst\u00fctzung ben\u00f6tigen.<\/p>\n
\nWir m\u00fcssen die Gro\u00df- und Kleinschreibung und die Interpunktion optimieren. Dazu verwenden wir die Summe aus einer logarithmischen Verlustfunktion mit einem Koeffizienten:<\/p>\n
\n ![\"Verlustfunktion\"](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/Loss-function.png\")
\n<\/a><\/p>\n
\n
\n<\/a><\/p>\n
\n
\n<\/a><\/p>\nTraining<\/h2>\n
Fazit<\/h2>\n