Escalado del preentrenamiento Indic: 2,8 billones de tokens y una canalización abierta de generación de datos

Hugging Face presenta una iniciativa de preentrenamiento a gran escala para lenguas indic, procesando 2,8 billones de tokens. El proyecto emplea una canalización abierta para generar datos, con el objetivo de mejorar el rendimiento de los modelos en múltiples idiomas de la India.

Resumen elaborado por Kernelia a partir del artículo original de Hugging Face Blog. La noticia y sus derechos pertenecen a su autor.