\nInferenza veloce su risultati temporanei: per mantenere l’allineamento a sottotitoli in tempo reale.<\/li>\n
Alcuni approcci classici basati su n-gram [1] offrono una qualit\u00e0 relativamente buona. Tuttavia, hanno i loro lati negativi. Sebbene i modelli n-gram abbiano un’inferenza veloce, anche i modelli 3-gram possono richiedere fino a diversi gigabyte di spazio su disco in base al vocabolario della lingua. Un altro svantaggio \u00e8 la gestione di parole non incluse nel vocabolario. Se una parola non era presente nei dati di addestramento, un modello non pu\u00f2 elaborarla in modo regolare, con un conseguente impatto sulla precisione.<\/p>\n
Gli approcci moderni utilizzano tecniche efficaci, ma con un consumo elevato di risorse informatiche, come RNN bidirezionale [3] o architetture di reti neurali basate su trasformatori e attenzione [2]. Questi modelli hanno una precisione elevata [2] ma potrebbero non essere adatti a casi d’uso di streaming in diretta, perch\u00e9 richiedono l’intera sequenza di input per eseguire l’inferenza. Ad esempio, quando disponi di un solo nuovo token di input per una RNN bidirezionale, devi aggiornare gli stati nascosti di tutti i token precedenti del modello (figura 1).<\/p>\n
![\"Calcoli](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/Computations-on-the-backward-pass-of-a-bi-directional-RNN.png\")
\n<\/a> Figura 1. Calcoli sul passaggio indietro di una RNN bidirezionale. Per ogni nuovo input, tutti i precedenti stati nascosti devono essere aggiornati sequenzialmente.<\/p><\/div>\n
\u00a0<\/p>\n
Alcuni approcci tentano di risolvere punteggiatura e maiuscole\/minuscole sviluppando due diversi modelli [3][6], mentre altri combinano entrambi in un singolo modello perch\u00e9 gli output sono altamente correlati [4][2]. Anche parole che seguono immediatamente la punteggiatura dimostrano questa correlazione: le parole dopo i punti vengono probabilmente scritte con la maiuscola e le parole dopo virgole vengono probabilmente scritte con la minuscola. Esistono approcci che suggeriscono un’architettura con pi\u00f9 output [4]: uno per attivit\u00e0, rispettivamente. Dimostrano che questa architettura offre prestazioni migliori rispetto ad architetture di punteggiatura e maiuscole\/minuscole separate.<\/p>\n
Alla luce delle considerazioni precedenti, abbiamo scelto di utilizzare una singola rete neurale basata su GRU con due output per punteggiatura e maiuscole\/minuscole.<\/p>\n
Per gestire le parole non incluse nel vocabolario, utilizziamo una tecnica simile a SentencePiece [6] che suddivide le parole sconosciute in token pi\u00f9 piccoli oppure, in casi estremi, in caratteri. Di seguito una descrizione di dettagli e considerazioni.<\/p>\n
TruncBiRNN<\/h2>\n
Intuizione e sperimentazioni dimostrano che \u00e8 fondamentale disporre del contesto futuro quando si crea un modello di punteggiatura, perch\u00e9 \u00e8 pi\u00f9 difficile determinare i segni di punteggiatura in una posizione corrente senza conoscere le parole successive. Per utilizzare informazioni sui successivi token e non essere obbligati ad aggiornare tutti gli stati nascosti di tutti i token precedenti, abbiamo deciso di troncare la direzione indietro a una finestra fissa. In direzione avanti, \u00e8 semplicemente una RNN regolare. In direzione indietro, consideriamo solo una finestra fissa in ciascun token, eseguendo l’RNN su questa finestra (figura 2). L’uso di questa finestra consente di ottenere inferenza a tempo costante per un nuovo token di input (sar\u00e0 necessario calcolare un solo stato nascosto in direzione avanti e n+1 in direzione indietro).<\/p>\n
![\"Esempio](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/TruncBiRNN-example.png\")
\n<\/a> Figura 2. In questo esempio, per ogni token corrente, solo i successivi due vengono considerati per calcolare lo stato nascosto in direzione indietro.<\/p><\/div>\n
\u00a0<\/p>\n
Ora, per ogni token, abbiamo stati nascosti per direzioni avanti e indietro, rispettivamente. Chiamiamo questo strato TruncBiRNN o TruncBiGRU (poich\u00e9 utilizziamo GRU). Questi stati nascosti possono essere calcolati a tempo costante, che non dipende dalla lunghezza dell’input. L’operazione a tempo costante \u00e8 fondamentale per il modello al fine di mantenere l’allineamento ai sottotitoli in tempo reale.<\/p>\n
Architettura<\/h2>\n
L’architettura consiste di strato di incorporamento, TruncBiGRU e strato GRU unidirezionale, e strato completamente connesso. Per l’output, utilizziamo due strati softmax per punteggiatura e maiuscole\/minuscole, rispettivamente (figura 3).<\/p>\n
![\"Figura](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/Model-architecture-with-window-size-equal-to-two-tokens-for-TruncBiGRU.png\")
\n<\/a> Figura 3. Architettura di modelli con dimensione finestra uguale a due token per TruncBiGRU.<\/p><\/div>\n
\u00a0<\/p>\n
Per ogni parola, il modello prevede l’uso di maiuscole\/minuscole e il segno di punteggiatura dopo la parola. Per sincronizzare meglio questi due output e prevedere l’uso di maiuscole\/minuscole, dobbiamo conoscere anche l’incorporamento dal precedente token (per ripristinare il segno di punteggiatura dal passaggio precedente). Insieme a una funzione di perdita personalizzata (vedi la sezione seguente), ci\u00f2 ci consente di evitare casi in cui venga prodotta una parola minuscola all’inizio di una frase.<\/p>\n
Per la previsione della punteggiatura, \u00e8 utile anche ottenere la previsione di maiuscole\/minuscole della parola seguente. Ecco perch\u00e9 concateniamo incorporamenti correnti e successivi.<\/p>\n
Uno strato di output per la punteggiatura prevede la distribuzione su tutti i segni di punteggiatura. Per il nostro modello, \u00e8 impostato come segue:<\/p>\n
punto<\/em>: un punto al centro di una frase che non implica necessariamente che la parola seguente debba essere in maiuscolo (“a.m.”, “D.C.”, ecc.)<\/p>\n virgola<\/em><\/p>\n punto interrogativo<\/em><\/p>\n ellissi<\/em><\/p>\n due punti<\/em><\/p>\n trattino<\/em><\/p>\n punto di fine<\/em>: un punto alla fine di una frase<\/p>\n \u00a0<\/p>\n Per maiuscole\/minuscole, sono disponibili quattro classi:<\/p>\n minuscolo<\/em><\/p>\n tutto maiuscolo<\/em>: tutte le lettere vengono scritte in maiuscolo (“IEEE”, “NASA”, ecc.)<\/p>\n maiuscole<\/em><\/p>\n maiuscole_minuscole<\/em>: per parole come “iPhone”<\/p>\n maiuscola iniziale<\/em>: parole che iniziano una frase<\/p>\n Le classi aggiuntive, “maiuscola iniziale” e <\/em>“punto di fine<\/em>” possono sembrare ridondanti a prima vista, ma aiutano ad aumentare la coerenza di risposte correlate a maiuscole\/minuscole e punteggiatura. Il “punto di fine” <\/em>implica che la successiva risposta di maiuscole\/minuscole non possa essere “minuscolo”<\/em>, mentre “maiuscola iniziale” <\/em>significa che il segno di punteggiatura precedente \u00e8 un “punto di fine<\/em>” o un punto interrogativo. Queste classi svolgono un ruolo importante nella funzione di perdita.<\/p>\n Funzione di perdita: tuttavia, come detto in precedenza, gli output di una rete neurale potrebbero non essere perfettamente correlati. Ad esempio, la funzione di punteggiatura pu\u00f2 prevedere un “punto di fine” <\/em>per la parola corrente, ma la funzione di maiuscole\/minuscole non prevede una “maiuscola iniziale<\/em>” per il token successivo. Questo tipo di errore, sebbene raro, pu\u00f2 essere molto eclatante. Per gestirlo, utilizziamo un termine di penalit\u00e0 aggiuntivo nella funzione di perdita che penalizza questo tipo di errore:<\/p>\n Il primo termine corrisponde alla probabilit\u00e0 di avere la “maiuscola iniziale<\/em>” dopo un “punto non di fine” <\/em>e il secondo corrisponde alla probabilit\u00e0 di non avere una “maiuscola iniziale<\/em>” dopo il “punto di fine”.<\/em>\u00a0 Questa penalit\u00e0 si somma nei token in cui si verifica questo errore.<\/p>\n Inoltre, passiamo due tensori consecutivi dallo strato precedente agli strati softmax. Con questi presupposti, possiamo ridurre in modo efficiente i termini di penalit\u00e0.<\/p>\n Infine, abbiamo la funzione di perdita:<\/p>\n Per l’addestramento, utilizziamo trascrizioni di testo di un set di riunioni Webex interne e dati di testo di Wikipedia.<\/p>\n In primo luogo, i dati di addestramento vengono puliti e suddivisi in frasi. Durante l’addestramento, ogni esempio viene generato da frasi consecutive e viene troncato a una lunghezza casuale da una distribuzione fissa. Ci\u00f2 consente al modello di vedere frasi tagliate durante l’addestramento e di gestire risultati temporanei durante l’inferenza. Quindi, addestriamo il modello su circa 300 megabyte di testo Wikipedia e lo perfezioniamo su trascrizioni di riunioni Webex.<\/p>\n Il pre-addestramento su Wikipedia aiuta a migliorare tutte le classi di punteggiatura, ma \u00e8 particolarmente utile su classi di maiuscole\/minuscole. Sospettiamo che questo sia dovuto al grande numero di nomi propri presenti in Wikipedia.<\/p>\n Applichiamo la stessa preparazione di dati ai nostri set di valutazione concatenando frasi e troncandole in modo casuale. Ci\u00f2 ci consente di misurare la precisione che vorremmo vedere negli stati di trascrizione temporanei.<\/p>\n Utilizzando tecniche relativamente semplici con personalizzazioni dell’architettura, come GRU troncato e una penalit\u00e0 aggiuntiva in una funzione di perdita, abbiamo costruito un modello che pu\u00f2 essere eseguito online. L’esperienza di lettura di sottotitoli in diretta \u00e8 significativamente migliorata con segni di punteggiatura e maiuscole\/minuscole in tempo reale.<\/p>\n Riferimenti <\/strong><\/p>\n [1] A. Gravano, M. Jansche e M. Bacchiani, “Restoring punctuation and capitalization in transcribed speech” in ICASSP 2009, 2009, pp. 4741\u20134744.<\/p>\n [2] Monica Sunkara, Srikanth Ronanki, Kalpit Dixit, Sravan Bodapati, Katrin Kirchhoff, “Robust Prediction of Punctuation and Truecasing for Medical ASR”<\/p>\n [3] Tilk, Ottokar & Alum\u00e4e, Tanel. (2016). Bidirectional Recurrent Neural Network with Attention Mechanism for Punctuation Restoration. 3047-3051. 10.21437\/Interspeech.2016-1517.<\/p>\n [4] Vardaan Pahuja, Anirban Laha, Shachar Mirkin, Vikas Raykar, Lili Kotlerman, Guy Lev “Joint Learning of Correlated Sequence Labelling Tasks Using Bidirectional Recurrent Neural Networks”<\/p>\n [5] Wang, Peilu & Qian, Yao & Soong, Frank & He, Lei & Zhao, Hai. (2015). Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network.<\/p>\n [6] Lita, Lucian & Ittycheriah, Abe & Roukos, Salim & Kambhatla, Nanda. (2003). tRuEcasIng. 10.3115\/1075096.1075116.<\/p>\n [7] https:\/\/github.com\/google\/sentencepiece<\/p>\n Iscriviti a Webex<\/a><\/p>\n Visita la nostra home page<\/a> o contattaci<\/a> direttamente per assistenza.<\/p>\n
\nDobbiamo ottimizzare entrambi, maiuscole\/minuscole e punteggiatura. Per raggiungere questo obiettivo, utilizziamo una somma della funzione di perdita logloss con un coefficiente:<\/p>\n
\n ![\"Funzione](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/Loss-function.png\")
\n<\/a><\/p>\n
\n
\n<\/a><\/p>\n
\n
\n<\/a><\/p>\nTraining<\/h2>\n
Conclusione<\/h2>\n