Modelos de texto
Última actualización
Última actualización
Modelo masivo de lenguaje (LLM) de propósito general (modelo base)
ALIA-40B
Modelo generativo multilingüe (35 lenguas de Europa) de 40 mil millones de parámetros, entrenado desde cero con 9,37 billones de tokens.
Modelo masivo de lenguaje (LLM) de propósito general (modelo base)
salamandra-7b
Modelo generativo multilingüe (35 lenguas de Europa) de 7 mil millones de parámetros, entrenado desde cero con 12,875 billones de tokens.
Modelo masivo de lenguaje (LLM) de propósito general (instruido)
salamandra-7b-instruct
Modelo salamandra-7b entrenado con 276 mil instrucciones en inglés, castellano y catalán recogidas de varios corpus abiertos.
Modelo masivo de lenguaje (LLM) de propósito general (modelo base)
salamandra-2b
Modelo generativo multilingüe (35 lenguas de Europa) de 2 mil millones de parámetros, entrenado desde cero con 12,9 billones de tokens.
Modelo masivo de lenguaje (LLM) de propósito general (instruido)
salamandra-2b-instruct
Modelo salamandra-2b entrenado con 276 mil instrucciones en inglés, castellano y catalán recogidas de varios corpus abiertos.
Modelo transformer
mRoBERTa
Modelo multilingüe basado en la arquitectura y entrenado con 35 idiomas y 92 lenguajes de programación, sumando un total de 12,8 TB de datos.
Modelo transformer
RoBERTa-ca
Modelo para el catalán basado en la arquitectura . Utiliza una adaptación del vocabulario de , un método que inicializa todos los pesos a partir de mRoBERTa mientras aplica un tratamiento especial a la matriz de embeddings para gestionar las diferencias entre los dos tokenizadores. Luego, el modelo se preentrena de manera continua con un corpus exclusivamente en catalán, que contiene 95 GB de datos de alta calidad.