\nInferencia r\u00e1pida sobre los resultados provisionales: para seguir el ritmo de los subt\u00edtulos en tiempo real.<\/li>\n
Algunos enfoques cl\u00e1sicos basados en n-gramas [1] tienen una calidad relativamente buena. Sin embargo, tienen sus inconvenientes. Aunque los modelos de n-gramas tienen una inferencia r\u00e1pida, incluso los modelos de 3-gramas pueden ocupar varios gigabytes de espacio en disco seg\u00fan el vocabulario del idioma. Otro inconveniente es el manejo de las palabras no incluidas en el vocabulario. Si una palabra no se presenta en los datos de entrenamiento, el modelo no puede procesarla de forma habitual y la precisi\u00f3n puede degradarse.<\/p>\n
Los enfoques modernos utilizan t\u00e9cnicas eficaces pero intensivas desde el punto de vista computacional, como la RNN bidireccional [3] o las arquitecturas de redes neuronales basadas en la atenci\u00f3n y la transformaci\u00f3n [2]. Estos modelos tienen un nivel alto de precisi\u00f3n [2], pero pueden no ser adecuados para los casos de uso de la transmisi\u00f3n en directo, ya que requieren la totalidad de la secuencia de entrada para ejecutar la inferencia. Por ejemplo, cuando se tiene solo un token de entrada nuevo para una RNN bidireccional, es necesario actualizar los estados ocultos de todos los tokens que el modelo vio anteriormente (figura 1).<\/p>\n
![\"C\u00e1lculos](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/Computations-on-the-backward-pass-of-a-bi-directional-RNN.png\")
\n<\/a> Figura 1. C\u00e1lculos en el paso hacia atr\u00e1s de una RNN bidireccional. Para cada nueva entrada, todos los estados ocultos anteriores deben actualizarse secuencialmente<\/p><\/div>.<\/p>\n
\u00a0<\/p>\n
Algunos enfoques intentan resolver la puntuaci\u00f3n y el uso de may\u00fasculas desarrollando dos modelos diferentes [3][6], y otros combinan ambos en un \u00fanico modelo, ya que las salidas se correlacionan mucho [4][2]. Las palabras que siguen inmediatamente a la puntuaci\u00f3n demuestran bien esta correlaci\u00f3n: las palabras que siguen a los puntos suelen ir en may\u00fascula y las que siguen a las comas suelen ir en min\u00fascula. Hay enfoques que sugieren una arquitectura con m\u00faltiples salidas [4]: una por tarea, respectivamente. Estos muestran que esta arquitectura supera a las arquitecturas de puntuaci\u00f3n y uso de may\u00fasculas por separado.<\/p>\n
Dadas las consideraciones anteriores, optamos por utilizar una \u00fanica red neuronal basada en GRU con dos salidas para la puntuaci\u00f3n y el uso de may\u00fasculas.<\/p>\n
Para tratar las palabras no incluidas en el vocabulario, utilizamos una t\u00e9cnica similar a SentencePiece [6] que divide las palabras desconocidas en tokens m\u00e1s peque\u00f1os o, en casos extremos, en caracteres. A continuaci\u00f3n, describimos los detalles y las consideraciones.<\/p>\n
TruncBiRNN<\/h2>\n
La intuici\u00f3n y los experimentos demuestran que es imprescindible contar con el contexto futuro al desarrollar un modelo de puntuaci\u00f3n, ya que es m\u00e1s dif\u00edcil determinar los signos de puntuaci\u00f3n en una posici\u00f3n actual sin conocer las siguientes palabras. Para utilizar la informaci\u00f3n sobre los pr\u00f3ximos tokens y no tener que actualizar todos los estados ocultos para todos los tokens en la direcci\u00f3n hacia atr\u00e1s, decidimos truncar la direcci\u00f3n hacia atr\u00e1s en una ventana fija. En la direcci\u00f3n hacia delante, es solo una RNN normal. En la direcci\u00f3n hacia atr\u00e1s, solo consideramos una ventana fija en cada token y ejecutamos la RNN sobre esta ventana (figura 2). Usando esta ventana, podemos lograr una inferencia en tiempo constante para un nuevo token de entrada (debemos calcular un estado oculto en la direcci\u00f3n hacia adelante y n+1 en la direcci\u00f3n hacia atr\u00e1s).<\/p>\n
![\"El](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/TruncBiRNN-example.png\")
\n<\/a> Figura 2. En este ejemplo, para cada token actual, solo se consideran las dos siguientes para calcular el estado oculto en la direcci\u00f3n hacia atr\u00e1s.<\/p><\/div>.<\/p>\n
\u00a0<\/p>\n
Ahora para cada token, tenemos estados ocultos para las direcciones hacia adelante y hacia atr\u00e1s, respectivamente. Llamemos a este nivel TruncBiRNN o TruncBiGRU (ya que utilizamos GRU). Estos estados ocultos se pueden calcular en tiempo constante, lo que no depende de la longitud de la entrada. El funcionamiento en tiempo constante es fundamental para que el modelo pueda seguir el ritmo de los subt\u00edtulos en tiempo real.<\/p>\n
Arquitectura<\/h2>\n
La arquitectura consta de una capa de incrustaci\u00f3n, una capa TruncBiGRU y una capa de GRU unidireccional, y un nivel totalmente conectado. Para la salida, utilizamos dos capas softmax para la puntuaci\u00f3n y el uso de may\u00fasculas, respectivamente (figura 3).<\/p>\n
![\"Figura](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/Model-architecture-with-window-size-equal-to-two-tokens-for-TruncBiGRU.png\")
\n<\/a> Figura 3. Arquitectura del modelo con tama\u00f1o de ventana igual a dos tokens para TruncBiGRU.<\/p><\/div>\n
\u00a0<\/p>\n
Para cada palabra, el modelo predice su uso de may\u00fascula y el signo de puntuaci\u00f3n despu\u00e9s de la palabra. Para sincronizar mejor estas dos salidas y predecir el uso de may\u00fasculas, tambi\u00e9n debemos conocer la incrustaci\u00f3n del token anterior (para restaurar el signo de puntuaci\u00f3n del paso anterior). Junto con una funci\u00f3n de p\u00e9rdida personalizada (consulte la siguiente secci\u00f3n), esto nos permite evitar los casos en los que se produce una palabra en min\u00fascula al principio de una oraci\u00f3n.<\/p>\n
Para la predicci\u00f3n de la puntuaci\u00f3n, tambi\u00e9n es \u00fatil obtener la predicci\u00f3n del uso de may\u00fasculas de la siguiente palabra. Por eso, concatenamos las incrustaciones actual y siguiente.<\/p>\n
Una capa de salida para la puntuaci\u00f3n predice la distribuci\u00f3n de todos los signos de puntuaci\u00f3n. Para nuestro modelo, es un conjunto:<\/p>\n
punto<\/em>: un punto en medio de una oraci\u00f3n que no implica necesariamente que la siguiente palabra deba ir en may\u00fascula (\u201ca.\u00a0m\u201d., \u201cD.C.\u201d, etc.)<\/p>\n coma<\/em><\/p>\n signo de interrogaci\u00f3n<\/em><\/p>\n puntos suspensivos<\/em><\/p>\n dos puntos<\/em><\/p>\n guion<\/em><\/p>\n punto final<\/em>: un punto al final de una oraci\u00f3n<\/p>\n \u00a0<\/p>\n Para el uso de may\u00fasculas, tenemos cuatro clases:<\/p>\n min\u00fasculas<\/em><\/p>\n may\u00fasculas<\/em>: todas las letras se escriben en may\u00fasculas (\u201cIEEE\u201d, \u201cNASA\u201d, etc.)<\/p>\n may\u00fasculas<\/em><\/p>\n mix_case<\/em>: para palabras como \u201ciPhone\u201d<\/p>\n may\u00fascula inicial<\/em>: palabras que comienzan una oraci\u00f3n<\/p>\n Las clases adicionales, \u201cmay\u00fascula inicial\u201d y <\/em>\u201cpunto final<\/em>\u201d, pueden parecer redundantes a primera vista, pero ayudan a aumentar la coherencia de las respuestas relacionadas con el uso de may\u00fasculas y la puntuaci\u00f3n. El \u201cpunto final\u201d <\/em>implica que la siguiente respuesta de asignaci\u00f3n de may\u00fasculas no puede ser \u201cmin\u00fascula\u201d,<\/em> mientras que \u201cmay\u00fascula inicial\u201d <\/em>significa que el signo de puntuaci\u00f3n anterior es un \u201cpunto final<\/em>\u201d o un signo de interrogaci\u00f3n. Estas clases desempe\u00f1an un papel importante en la funci\u00f3n de p\u00e9rdida.<\/p>\n Funci\u00f3n de p\u00e9rdida: Sin embargo, como ya se ha dicho, las salidas de una red neuronal pueden no estar perfectamente correlacionadas. Por ejemplo, el puntuador puede predecir un \u201cpunto final\u201d <\/em>para la palabra actual, pero el asignador de may\u00fasculas no predice una \u201cmay\u00fascula inicial<\/em>\u201d para el siguiente token. Este tipo de error, aunque poco frecuente, puede ser muy llamativo. Para solucionarlo, utilizamos un t\u00e9rmino de penalizaci\u00f3n adicional en la funci\u00f3n de p\u00e9rdida que penaliza este tipo de error:<\/p>\n El primer t\u00e9rmino corresponde a la probabilidad de tener \u201cmay\u00fascula inicial<\/em>\u201d despu\u00e9s de un elemento que no es un \u201cpunto final\u201d, <\/em>y el segundo a la probabilidad de no tener \u201cmay\u00fascula inicial<\/em>\u201d despu\u00e9s de un \u201cpunto final\u201d<\/em>\u00a0 Esta penalizaci\u00f3n se suma sobre los tokens en los que se produce este error.<\/p>\n Adem\u00e1s, pasamos dos tensores consecutivos de la capa anterior a las capas softmax. Con esto, podemos reducir eficientemente los t\u00e9rminos de penalizaci\u00f3n.<\/p>\n Por \u00faltimo, tenemos la funci\u00f3n de p\u00e9rdida:<\/p>\n Para el entrenamiento, utilizamos transcripciones de texto de un conjunto de reuniones internas de Webex y datos de texto de Wikipedia.<\/p>\n En primer lugar, los datos de entrenamiento se limpian y se dividen en oraciones. Durante el entrenamiento, cada muestra se genera a partir de oraciones consecutivas y se trunca con una longitud aleatoria a partir de una distribuci\u00f3n fija. Esto permite que el modelo vea las frases recortadas durante el entrenamiento, lo que permite al modelo lidiar con los resultados intermedios durante la inferencia. A continuaci\u00f3n, entrenamos el modelo con unos 300 megabytes de texto de Wikipedia y luego lo ajustamos con las transcripciones de las reuniones de Webex.<\/p>\n El entrenamiento previo en Wikipedia ayuda a mejorar todas las clases de puntuaci\u00f3n, pero es particularmente \u00fatil en las clases de uso de may\u00fasculas. Sospechamos que esto se debe al gran n\u00famero de nombres propios del corpus de Wikipedia.<\/p>\n Aplicamos la misma preparaci\u00f3n de datos a nuestros conjuntos de evaluaci\u00f3n concatenando oraciones y trunc\u00e1ndolas a longitudes aleatorias. Esto nos permite medir la precisi\u00f3n para lo que probablemente ver\u00edamos en los estados intermedios de la transcripci\u00f3n.<\/p>\n Utilizando t\u00e9cnicas relativamente sencillas con algunas personalizaciones de la arquitectura, como la GRU truncada y una penalizaci\u00f3n adicional en una funci\u00f3n de p\u00e9rdida, hemos desarrollado un modelo que puede ejecutarse en l\u00ednea. La experiencia de lectura de los subt\u00edtulos en directo mejora notablemente con los signos de puntuaci\u00f3n y el uso de may\u00fasculas en tiempo real.<\/p>\n Referencias<\/strong><\/p>\n [1] A. Gravano, M. Jansche y M. Bacchiani, \u201cRestoring punctuation and capitalization in transcribed speech,\u201d en ICASSP 2009, 2009, pp. 4741\u20134744.<\/p>\n [2] Monica Sunkara, Srikanth Ronanki, Kalpit Dixit, Sravan Bodapati, Katrin Kirchhoff, \u201cRobust Prediction of Punctuation and Truecasing for Medical ASR\u201d<\/p>\n [3] Tilk, Ottokar y Alum\u00e4e, Tanel. (2016). Bidirectional Recurrent Neural Network with Attention Mechanism for Punctuation Restoration. 3047-3051. 10.21437\/Interspeech.2016-1517.<\/p>\n [4] Vardaan Pahuja, Anirban Laha, Shachar Mirkin, Vikas Raykar, Lili Kotlerman, Guy Lev \u201cJoint Learning of Correlated Sequence Labelling Tasks Using Bidirectional Recurrent Neural Networks\u201d<\/p>\n [5] Wang, Peilu & Qian, Yao y Soong, Frank y He, Lei y Zhao, Hai. (2015). Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network.<\/p>\n [6] Lita, Lucian y Ittycheriah, Abe y Roukos, Salim y Kambhatla, Nanda. (2003). tRuEcasIng. 10.3115\/1075096.1075116.<\/p>\n [7] https:\/\/github.com\/google\/sentencepiece<\/p>\n Reg\u00edstrese en Webex<\/a><\/p>\n Visite nuestra p\u00e1gina de inicio<\/a> o p\u00f3ngase en contacto con nosotros<\/a> directamente para obtener ayuda.<\/p>\n
\nTenemos que optimizar tanto el uso de may\u00fasculas como la puntuaci\u00f3n. Para lograrlo, utilizamos una funci\u00f3n de p\u00e9rdida de suma de logaritmos con un coeficiente:<\/p>\n
\n ![\"Funci\u00f3n](\"https:\/\/blog.webex.com\/wp-content\/uploads\/2021\/09\/Loss-function.png\")
\n<\/a><\/p>\n
\n
\n<\/a><\/p>\n
\n
\n<\/a><\/p>\nEntrenamiento<\/h2>\n
Conclusi\u00f3n<\/h2>\n