Modelos de texto

LLM (multilingüe)

salamandra-7b

Modelo generativo multilingüe, entrenado desde cero en 35 idiomas europeos, con 8 mil millones de parámetros y 12,875 billones de tokens.

LLM (multilingüe)

salamandra-2b

Modelo generativo multilingüe, entrenado desde cero en 35 idiomas europeos, con 2 mil millones de parámetros y 12,875 billones de tokens.

LLM (gallego, portugués, español, inglés)

Llama-Carvalho-PT-GL

Modelo de lenguaje causal de 8 mil millones de parámetros, diseñado para gallego, portugués, español e inglés. Es el resultado de un preentrenamiento continuo del modelo utilizando un corpus multilingüe compuesto por 540 millones de tokens de texto plano y 72 millones de tokens de instrucciones.

LLM (gallego, portugués, español, catalán, inglés)

Llama-3.1-Carballo

Modelo de lenguaje generativo de 8 mil millones de parámetros, diseñado para gallego, portugués, español, catalán e inglés. Es el resultado de un preentrenamiento continuo del modelo con un corpus multilingüe de casi 20 mil millones de tokens, con especial énfasis en textos en gallego.

LLM (euskera)

Latxa 3.1 8B

Modelo fundacional de 8 mil millones de parametros basado en Llama 3.1 y entrenado con un corpus en euskera de 4,3 millones de documentos y 4,2 mil millones de tokens, utilizando técnicas de adaptación lingüística.

LLM (valenciano)

Aitana-2B-S

Modelo de lenguaje generativo entrenado a partir de , utilizando datos en valenciano para lograr una mayor representación de esta lengua minoritaria, muy similar al catalán.

LLM (valenciano, español, inglés - turismo)

Aitana-2B-S-tourism-base-1.0

Modelo de lenguaje generativo basado en y entrenado adicionalmente con datos del dominio turístico para mejorar su rendimiento en la generación de textos relacionados con el turismo.

LLM (valenciano, español, inglés)

Aitana-2B-S-base-1.0

Modelo de lenguaje generativo entrenado a partir de , utilizando datos en valenciano, español e inglés.

Modelo transformer (multilingüe)

mRoBERTa

Modelo multilingüe, entrenado en 35 idiomas y 92 lenguajes de programación, con un volumen total de 12,8 TB de datos.

Modelo transformer (catalán)

RoBERTa-ca

Modelo para catalán basado en , con pesos inicializados desde y ajustes en embeddings para diferencias de tokenización. Preentrenado de forma continua con 95 GB de datos en catalán de alta calidad.

Modelo transformer (euskera)

BERnaT-base

Modelo discriminativo BERnaT de 100M de parámetros, basado en la arquitecutra , entrenado from scratch con corpus en euskera que combina texto estándar y no estándar (redes sociales e histórico).

Modelo transformer (euskera)

BERnaT-large

Modelo discriminativo BERnaT de 400M de parámetros, basado en la arquitecutra entrenado from scratch con corpus en euskera que combina texto estándar y no estándar (redes sociales e histórico).

Modelo transformer (euskera)

BERnaT-medium

Modelo discriminativo BERnaT de 51,4M de parámetros, basado en la arquitecutra , entrenado from scratch con corpus en euskera que combina texto estándar y no estándar (redes sociales e histórico).