\nR\u00e1pida infer\u00eancia em resultados intercalares: para acompanhar as legendas em tempo real.<\/li>\n
Algumas abordagens cl\u00e1ssicas com base em n-grama [1] s\u00e3o de qualidade relativamente boa; h\u00e1, no entanto, alguns aspectos negativos. Apesar de modelos de n-grama apresentarem uma r\u00e1pida infer\u00eancia, at\u00e9 mesmo modelos de 3-grama podem ocupar v\u00e1rios gigabites de espa\u00e7o de disco, o que depende do vocabul\u00e1rio da linguagem. Outro ponto negativo refere-se \u00e0 quest\u00e3o das palavras fora do vocabul\u00e1rio. Se uma palavra n\u00e3o estiver nos dados de treinamento, o modelo n\u00e3o conseguir\u00e1 processar normalmente, o que tamb\u00e9m poder\u00e1 afetar negativamente a precis\u00e3o.<\/p>\n
As abordagens modernas fazem uso de t\u00e9cnicas computacionalmente intensivas, como aten\u00e7\u00e3o ou RNN bidirecional [3] e arquiteturas de rede neural com base no transformador [2]. Esses modelos apresentam elevada precis\u00e3o [2], embora n\u00e3o sejam muito adequados para casos de uso de streaming ao vivo, j\u00e1 que demandam a extens\u00e3o total da sequ\u00eancia de entrada para executar a infer\u00eancia. Quando se tem, por exemplo, apenas um novo token de entrada para uma RNN bidirecional, \u00e9 preciso atualizar os status ocultos de todos os tokens identificados anteriormente pelo modelo (figura 1).<\/p>\n
![\"Computa\u00e7\u00f5es](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/Computations-on-the-backward-pass-of-a-bi-directional-RNN.png\")
\n<\/a> Figura 1. Computa\u00e7\u00f5es no passo regressivo de uma RNN bidirecional. Todos os status ocultos anteriores devem ser sequencialmente atualizados para cada nova entrada<\/p><\/div>\n
\u00a0<\/p>\n
Determinadas abordagens tentam solucionar a quest\u00e3o de pontua\u00e7\u00e3o e uso de letra mai\u00fascula ao definir dois modelos diferentes [3][6], enquanto outras combinam ambos em um \u00fanico modelo, uma vez que os resultados s\u00e3o altamente correlativos [4][2]. As palavras que v\u00eam logo ap\u00f3s a pontua\u00e7\u00e3o demonstram de forma satisfat\u00f3ria essa correla\u00e7\u00e3o: palavras ap\u00f3s pontos finais s\u00e3o, possivelmente, iniciadas em mai\u00fascula, enquanto as palavras ap\u00f3s v\u00edrgulas s\u00e3o, possivelmente, iniciadas em min\u00fascula. H\u00e1 abordagens que sugerem uma arquitetura com v\u00e1rios resultados [4]: um por tarefa, respectivamente. Elas demonstram que essa arquitetura suplanta as arquiteturas isoladas de pontua\u00e7\u00e3o e uso de mai\u00fascula.<\/p>\n
Dadas as considera\u00e7\u00f5es acima, optamos pelo uso de uma \u00fanica rede neural com base em GRU, com dois resultados para pontua\u00e7\u00e3o e uso de mai\u00fascula.<\/p>\n
Com rela\u00e7\u00e3o \u00e0s palavras n\u00e3o presentes no vocabul\u00e1rio, usamos a t\u00e9cnica do tipo SentencePiece [6], que segmenta palavras desconhecidas em tokens menores ou, em casos extremos, em caracteres. Abaixo voc\u00ea encontra os detalhes e considera\u00e7\u00f5es.<\/p>\n
TruncBiRNN<\/h2>\n
A intui\u00e7\u00e3o e os experimentos apontam que \u00e9 fundamental ter um contexto futuro ao criar um modelo de pontua\u00e7\u00e3o, pois \u00e9 mais dif\u00edcil determinar as marca\u00e7\u00f5es de pontua\u00e7\u00e3o em uma posi\u00e7\u00e3o atual sem saber as v\u00e1rias outras palavras que se seguem. Para fazer uso de informa\u00e7\u00f5es sobre os pr\u00f3ximos tokens e n\u00e3o precisar atualizar todos os status ocultos de todos os tokens no sentido regressivo, optamos por truncar este sentido a uma janela fixa. No sentido progressivo, \u00e9 apenas uma RNN normal. No sentido regressivo, consideramos apenas uma janela fixa em cada token, executando a RNN para essa janela (figura 2). Com essa janela, \u00e9 poss\u00edvel obter uma infer\u00eancia de tempo constante para um novo token de entrada (\u00e9 necess\u00e1rio computar um status oculto no sentido progressivo e n+1 no sentido regressivo).<\/p>\n
![\"Exemplo](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/TruncBiRNN-example.png\")
\n<\/a> Figura 2. Neste exemplo, para cada token atual, somente os pr\u00f3ximos dois s\u00e3o levados em considera\u00e7\u00e3o para computa\u00e7\u00e3o do status oculto no sentido regressivo.<\/p><\/div>\n
\u00a0<\/p>\n
Agora, para cada token, h\u00e1 status ocultos para sentidos progressivos e regressivos, respectivamente. Chamaremos essa camada de TruncBiRNN ou TruncBiGRU (j\u00e1 que usamos GRU). Os status ocultos podem ser computados em um tempo constante, independentemente da extens\u00e3o da entrada. A opera\u00e7\u00e3o de tempo constante \u00e9 fundamental para que o modelo acompanhe as legendas em tempo real.<\/p>\n
Arquitetura<\/h2>\n
A arquitetura consiste da camada integrada, TruncBiGRU e camada de GRU unidirecional, e da camada totalmente conectada. Com rela\u00e7\u00e3o ao resultado, usamos duas camadas softmax para pontua\u00e7\u00e3o e uso de mai\u00fascula, respectivamente (figura 3).<\/p>\n
![\"Figura](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/Model-architecture-with-window-size-equal-to-two-tokens-for-TruncBiGRU.png\")
\n<\/a> Figura 3. Arquitetura de modelo com tamanho de janela igual a dois tokens para TruncBiGRU.<\/p><\/div>\n
\u00a0<\/p>\n
O modelo prev\u00ea o uso de mai\u00fascula e a pontua\u00e7\u00e3o subsequente para cada palavra. Para uma melhor sincroniza\u00e7\u00e3o desses dois resultados e progn\u00f3stico do uso de mai\u00fascula, tamb\u00e9m \u00e9 necess\u00e1rio conhecer a incorpora\u00e7\u00e3o do token anterior (para recuperar a pontua\u00e7\u00e3o da etapa anterior). Juntamente com uma fun\u00e7\u00e3o de perda personalizada (consulte a pr\u00f3xima se\u00e7\u00e3o), isso nos permite evitar casos nos quais uma frase \u00e9 iniciada com uma palavra com inicial min\u00fascula.<\/p>\n
Com rela\u00e7\u00e3o ao progn\u00f3stico de pontua\u00e7\u00e3o, isso tamb\u00e9m ajuda a prever o uso de mai\u00fascula para a pr\u00f3xima palavra. \u00c9 por isso que concatenamos as incorpora\u00e7\u00f5es atual e seguinte.<\/p>\n
Uma camada de resultado voltada \u00e0 pontua\u00e7\u00e3o prev\u00ea a distribui\u00e7\u00e3o para todas as pontua\u00e7\u00f5es. Com rela\u00e7\u00e3o ao nosso modelo, abrange:<\/p>\n
ponto <\/em>\u2013 um ponto no meio da frase que n\u00e3o sugere, necessariamente, que a pr\u00f3xima palavra deve ser iniciada em mai\u00fascula (\u201ca.m.\u201d,\u201cD.C.\u201d, etc)<\/p>\n v\u00edrgula<\/em><\/p>\n ponto de interroga\u00e7\u00e3o<\/em><\/p>\n retic\u00eancias<\/em><\/p>\n dois pontos<\/em><\/p>\n travess\u00e3o<\/em><\/p>\n ponto final<\/em> \u2013 um ponto no final de uma frase<\/p>\n \u00a0<\/p>\n Com rela\u00e7\u00e3o ao uso de mai\u00fascula, h\u00e1 quatro classes:<\/p>\n min\u00fascula<\/em><\/p>\n mai\u00fascula<\/em> \u2013 todas as letras est\u00e3o em mai\u00fascula (\u201cIEEE\u201d, \u201cNASA\u201d, etc.)<\/p>\n inicial em mai\u00fascula<\/em><\/p>\n alternado<\/em> \u2013 por exemplo, \u201ciPhone\u201d<\/p>\n Primeira palavra com inicial em mai\u00fascula<\/em> \u2013 palavras que iniciam uma frase<\/p>\n As classes adicionais, \u201cprimeira palavra com inicial em mai\u00fascula\u201d e <\/em>\u201cponto final<\/em>\u201d, podem soar redundantes a princ\u00edpio, mas elas ajudam a ampliar a consist\u00eancia das respostas relacionadas ao uso de mai\u00fascula e pontua\u00e7\u00e3o. O \u201cponto final\u201d <\/em>sugere que a pr\u00f3xima resposta de uso de mai\u00fascula n\u00e3o pode ser \u201cmin\u00fascula\u201d<\/em>, enquanto \u201cprimeira palavra com inicial em mai\u00fascula\u201d <\/em>indica que a pontua\u00e7\u00e3o anterior \u00e9 um \u201cponto final<\/em>\u201d ou ponto de interroga\u00e7\u00e3o. Essas classes desempenham um papel importante na fun\u00e7\u00e3o de perda.<\/p>\n Fun\u00e7\u00e3o de perda: No entanto, como mencionado anteriormente, os resultados de uma rede neural podem n\u00e3o ser perfeitamente correlativos. Por exemplo, o pontuador pode prever um \u201cponto final\u201d <\/em>para a palavra atual, mas o respons\u00e1vel pelo uso de mai\u00fascula n\u00e3o prev\u00ea a \u201cprimeira palavra com inicial em mai\u00fascula<\/em>\u201d para o pr\u00f3ximo token. Apesar de raro, esse tipo de erro pode ser bastante evidente. Para lidar com essa quest\u00e3o, usamos um termo adicional de san\u00e7\u00e3o na fun\u00e7\u00e3o de perda que penaliza esse tipo de erro:<\/p>\n O primeiro termo corresponde \u00e0 probabilidade de se ter uma \u201cprimeira palavra com inicial mai\u00fascula<\/em>\u201d ap\u00f3s um \u201cponto que n\u00e3o seja final\u201d<\/em>; o segundo refere-se \u00e0 probabilidade de n\u00e3o se ter uma \u201cprimeira palavra com inicial mai\u00fascula<\/em>\u201d ap\u00f3s um \u201cponto final\u201d.<\/em>\u00a0 Essa san\u00e7\u00e3o soma-se com os tokens nos quais esse erro ocorre.<\/p>\n Al\u00e9m disso, passamos dois tensores consecutivos da camada anterior \u00e0s camadas softmax. Dessa forma, \u00e9 poss\u00edvel reduzir satisfatoriamente os termos de san\u00e7\u00e3o.<\/p>\n Por fim, h\u00e1 a fun\u00e7\u00e3o de perda:<\/p>\n Para fins de treinamento, usamos transcri\u00e7\u00f5es de texto de um conjunto de reuni\u00f5es internas no Webex e dados de texto extra\u00eddos do Wikipedia.<\/p>\n Antes de tudo, os dados do treinamento s\u00e3o limpos e divididos em duas frases. Durante o treinamento, cada amostra \u00e9 gerada a partir de frases consecutivas e truncada a uma extens\u00e3o aleat\u00f3ria de uma distribui\u00e7\u00e3o fixa, o que permite ao modelo identificar frases cortadas durante o treinamento e, consequentemente, lidar com os resultados intercalares durante a infer\u00eancia. Em seguida, treinamos o modelo em um total aproximado de 300 megabites de texto do Wikipedia, ajustando-o a transcri\u00e7\u00f5es de reuni\u00e3o no Webex.<\/p>\n O pr\u00e9-treinamento no Wikipedia ajuda a otimizar todas as classes de pontua\u00e7\u00e3o, embora seja particularmente \u00fatil para as classes de uso de mai\u00fascula, o que se deve, a nosso ver, \u00e0 grande quantidade de nomes pr\u00f3prios no corpus do Wikipedia.<\/p>\n N\u00f3s aplicamos a mesma prepara\u00e7\u00e3o de dados em nossos conjuntos de avalia\u00e7\u00e3o ao concatenar frases e trunc\u00e1-las em extens\u00f5es aleat\u00f3rias. Dessa forma, \u00e9 poss\u00edvel avaliar a precis\u00e3o do que possivelmente observar\u00edamos em status intercalares de transcri\u00e7\u00e3o.<\/p>\n Ao fazer uso de t\u00e9cnicas relativamente f\u00e1ceis com algumas personaliza\u00e7\u00f5es da arquitetura, como GRU truncada e san\u00e7\u00e3o adicional em uma fun\u00e7\u00e3o de perda, criamos um modelo que pode ser executado on-line. A experi\u00eancia de leitura de legendas ao vivo \u00e9 substancialmente otimizada com o uso de mai\u00fascula e pontua\u00e7\u00f5es em tempo real.<\/p>\n Refer\u00eancias<\/strong><\/p>\n [1] A. Gravano, M. Jansche, and M. Bacchiani, \u201cRestoring punctuation and capitalization in transcribed speech\u201d, in ICASSP 2009, 2009, pp. 4741\u20134744.<\/p>\n [2] Monica Sunkara, Srikanth Ronanki, Kalpit Dixit, Sravan Bodapati, Katrin Kirchhoff, \u201cRobust Prediction of Punctuation and Truecasing for Medical ASR\u201d<\/p>\n [3] Tilk, Ottokar & Alum\u00e4e, Tanel. (2016). Bidirectional Recurrent Neural Network with Attention Mechanism for Punctuation Restoration. 3047-3051. 10.21437\/Interspeech.2016-1517.<\/p>\n [4] Vardaan Pahuja, Anirban Laha, Shachar Mirkin, Vikas Raykar, Lili Kotlerman, Guy Lev \u201cJoint Learning of Correlated Sequence Labelling Tasks Using Bidirectional Recurrent Neural Networks\u201d<\/p>\n [5] Wang, Peilu & Qian, Yao & Soong, Frank & He, Lei & Zhao, Hai. (2015). Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network.<\/p>\n [6] Lita, Lucian & Ittycheriah, Abe & Roukos, Salim & Kambhatla, Nanda. (2003). tRuEcasIng. 10.3115\/1075096.1075116.<\/p>\n [7] https:\/\/github.com\/google\/sentencepiece<\/p>\n Inscreva-se no Webex<\/a><\/p>\n Acesse nossa p\u00e1gina inicial<\/a> ou entre em contato conosco<\/a> para obter assist\u00eancia.<\/p>\n
\n\u00c9 necess\u00e1rio otimizar a pontua\u00e7\u00e3o e o uso de mai\u00fascula. Para tanto, usamos o produto da fun\u00e7\u00e3o de perda de registro com um coeficiente:<\/p>\n
\n ![\"Fun\u00e7\u00e3o](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/Loss-function.png\")
\n<\/a><\/p>\n
\n
\n<\/a><\/p>\n
\n
\n<\/a><\/p>\nTreinamento<\/h2>\n
Conclus\u00e3o<\/h2>\n