🔠Datos y herramientas para modelos de texto
Corpus textuales
CATalog: Corpus textual masivo compuesto por 17.450.496.729 palabras (aproximadamente 23 mil millones de tokens), distribuidas en 34.816.765 documentos provenientes de una amplia variedad de fuentes, con un porcentaje significativo de textos curados manualmente.
Acceso: https://huggingface.co/datasets/projecte-aina/CATalog
MULTILINGUAL PARALLEL SENTENCES Dataset: Corpus de textos multilingües valenciano, español e inglés.
Acceso: https://huggingface.co/datasets/gplsi/alia_multilingual_parallel_sentences
ALIA_DOGV Dataset: Corpus textual bilingüe valenciano-español proveniente del Diari Oficial de la Generalitat Valenciana.
ALIA_BOUA Dataset: Corpus textual bilingüe valenciano-español proveniente del Boletín Oficial de la Universidad de Alicante.
ALIA_AMIC Dataset: Corpus textual en valenciano proveniente de periódicos/blogs del repositorio AMIC.
ALIA_LES_CORTS Dataset: Corpus textual bilingüe valenciano-español proveniente de Les Corts Valencianes.
Acceso: https://huggingface.co/datasets/gplsi/alia_les_corts
Corpus de dominio
ALIA_TOURISM: Corpus especializado en el dominio turístico que incluye textos en valenciano, español e inglés. Cada documento incluye su fuente original, lo que permite filtrar el contenido según la licencia necesaria para cada caso de uso. Incluye un total de 79.15M tokens, de ellos 12.56M en valenciano, 65.34M en español y 1.35M en inglés.
ALIA_INTELLECTUAL_PROPERTY: Corpus especializado en el dominio de la propiedad intelectual que incluye en su versión actual textos en español. Incluye un total de 1130M tokens en español.
Acceso: https://huggingface.co/datasets/gplsi/alia_intellectual_property
latxa-corpus-v2: Corpus en euskera que incluye de textos en los dominio legal, administrativo, periodístico y científico/académico, entre otros.
Acceso: https://huggingface.co/datasets/HiTZ/latxa-corpus-v2
ALIA_biomedical: Corpus de textos biomédicos oficiales y científicos en español, que incluye guías clínicas, registros médicos, publicaciones y boletines de salud, con más de 10 millones de instancias y 5.500 millones de tokens. Cubre áreas clave como la farmacología, la epidemiología, la salud pública y la investigación médica especializada.
Acceso: https://huggingface.co/datasets/SINAI/ALIA-biomedical
ALIA Cultural Heritage Corpus: Corpus de documentos sobre patrimonio cultural en español que incluye inventarios patrimoniales, revistas especializadas, registros de archivo, publicaciones institucionales y recursos descriptivos sobre patrimonio material e inmaterial, con 236.399 instancias y 946.467.028 tokens, distribuidos en 102 conjuntos de datos de origen.
Acceso: https://huggingface.co/datasets/SINAI/ALIA-cultural-heritage
ALIA-legal-administrative: Recurso que reúne y organiza una amplia colección de documentos oficiales del ámbito jurídico y administrativo español. Con más de 7 millones de documentos y 5 mil millones de tokens, incluye boletines oficiales estatales, autonómicos y provinciales, registros especializados, documentos ministeriales, licitaciones, contratos públicos y actas parlamentarias, cubriendo así todo el ecosistema normativo e institucional español.
Acceso: https://huggingface.co/datasets/SINAI/ALIA-legal-administrative
ALIA Legal Hard Negatives: Conjunto de datos que reúne negativos destinados al entrenamiento de sistemas de recuperación, generados a partir de un corpus jurídico-administrativo en español compuesto por pares
<consulta, pasaje>.El conjunto de datos se ha generado de forma automática mediante un pipeline de minería de negativos duros basado en SentenceTransformers, utilizando búsqueda de similitud con FAISS y el modelo de embeddings Qwen3-Embedding-0.6B.Acceso: https://huggingface.co/datasets/SINAI/ALIA-legal-administrative-hard-negatives
Corpus para instruir modelos de texto
InstruCAT: Corpus que recopila más de 200.000 instrucciones destinadas al entrenamiento de modelos de lenguaje (LLMs) en tareas downstream, generadas a partir de los siguientes conjuntos de datos: caBreu, CatalanQA, CoQCat, GuiaCat, IntoxiCat, Parafraseja, PAWS-ca, sts-ca, WikiCat, CEIL, TECA y NLUCat. Estas instrucciones abarcan categorías como paráfrasis, detección de toxicidad, pregunta-respuesta, clasificación, resumen y análisis de sentimientos. Acceso: https://huggingface.co/datasets/projecte-aina/InstruCAT
ALIA-legal-administrative-synthetic-instructions: Corpus sintético de instrucciones en español para el dominio legal-administrativo. Incluye más de 7,4 millones de pares instrucción–respuesta.
Acceso: https://huggingface.co/datasets/SINAI/ALIA-legal-administrative-synthetic-instructions
Corpus para generar datos sintéticos
mPersonas: Conjunto de datos multilingüe y de código abierto que contiene descripciones de personalidad de alta calidad, generadas sintéticamente con DeepSeek-V3–0324. Emplea una metodología de síntesis de datos basada en personas, similar a la de PersonaHub.
Corpus anotados para ajustar y/o evaluar modelos de texto
Salamandra Guard dataset: corpus de clasificación de seguridad multilingüe diseñado para entrenar y evaluar sistemas de moderación de contenido en catalán y español. Consta de 21.335 ejemplos conversacionales cuidadosamente seleccionados y anotados según una taxonomía de seguridad jerárquica. Este conjunto de datos representa un avance significativo en datos de seguridad con base cultural, con especial énfasis en el catalán junto con el español y el inglés.
Acceso: https://huggingface.co/datasets/BSC-LT/salamandra-guard-dataset
Multi-LMentry: Conjunto de datos en nueve idiomas diseñado para evaluar LLMs en tareas de razonamiento y comprensión de nivel elemental; facilitar comparaciones multilingües, en particular entre idiomas con abundantes recursos y aquellos con recursos limitados; y servir como herramienta de diagnóstico o como un conjunto de pruebas unitarias para examinar las habilidades fundamentales de los modelos. Se trata de una extensión multilingüe de LMentry.
Acceso: https://huggingface.co/datasets/BSC-LT/multi_lmentry
VeritasQA: Corpus diseñado para evaluar grandes modelos de lenguaje sobre la veracidad en un entorno zero-shot, basado en el corpus TruthfulQA. Incluye 353 pares de preguntas-respuestas inspiradas en ideas erróneas y falsedades comunes.
Acceso: https://huggingface.co/datasets/projecte-aina/veritasQA
EQ-bench_es: Versión traducida al castellano y adaptada lingüísticamente del conjunto de datos original EQ-Bench, diseñado para evaluar el razonamiento emocional en modelos de lenguaje mediante indicaciones basadas en diálogos. Su diseño responde a la necesidad de ajustar las capacidades de detección emocional de los modelos multilingües, reconociendo que la expresión y la percepción de las emociones pueden variar de manera significativa entre lenguas.
EQ-bench_ca: Versión traducida al calalán y adaptada lingüísticamente del conjunto de datos original EQ-Bench, diseñado para evaluar el razonamiento emocional en modelos de lenguaje mediante indicaciones basadas en diálogos. Su diseño responde a la necesidad de ajustar las capacidades de detección emocional de los modelos multilingües, reconociendo que la expresión y la percepción de las emociones pueden variar de manera significativa entre lenguas.
EsBBQ: Adaptación del conjunto de datos original BBQ a la lengua castellana y al contexto social de España. Este recurso se utiliza para evaluar el sesgo social en modelos de lenguaje a gran escala (LLM) en una tarea de preguntas y respuestas con opciones múltiples, centrada en diez categorías sociales: edad, discapacidad, género, identidad LGBTQIA, nacionalidad, apariencia física, raza/etnicidad, religión, nivel socioeconómico y región española.
CaBBQ: Adaptación del conjunto de datos original BBQ a la lengua catalana y al contexto social de España. Este recurso se utiliza para evaluar el sesgo social en modelos de lenguaje a gran escala (LLM) en una tarea de preguntas y respuestas con opciones múltiples, centrada en diez categorías sociales: edad, discapacidad, género, identidad LGBTQIA, nacionalidad, apariencia física, raza/etnicidad, religión, nivel socioeconómico y región española.
OpenBookQA_es: Traducción al castellano del corpus OpenBookQA, diseñado para evaluar conocimientos básicos del mundo y cierta capacidad de razonamiento. Incluye 1000 instancias con una pregunta, cuatro opciones posibles y la letra que indica la respuesta correcta.
Acceso: https://huggingface.co/datasets/BSC-LT/openbookqa-es
hhh_alignment_es: Traducción al castellano del corpus hhh_alignment de preguntas y respuestas. Está diseñado para evaluar los modelos de lenguaje en cuanto a alineación, con una clasificación pragmática en las categorías de utilidad, honestidad/precisión, inocuidad y otros. Cada instancia contiene una solicitud y dos respuestas posibles.
Acceso: https://huggingface.co/datasets/BSC-LT/hhh_alignment_es
hhh_alignment_ca: Traducción al catalán del corpus hhh_alignment de preguntas y respuestas. Está diseñado para evaluar los modelos de lenguaje en cuanto a alineación, con una clasificación pragmática en las categorías de utilidad, honestidad/precisión, inocuidad y otros. Cada instancia contiene una solicitud y dos respuestas posibles.
Acceso: https://huggingface.co/datasets/projecte-aina/hhh_alignment_ca
IFEval_es: Traducción al castellano del corpus IFEval, diseñado para evaluar modelos de lenguaje optimizados para chat o instrucciones. El conjunto de datos incluye 541 "instrucciones verificables", como "escribir más de 400 palabras" y "mencionar la palabra clave de la IA al menos 3 veces", que se pueden verificar mediante heurística. Cada instancia contiene una única solicitud de entrada.
IFEval_ca: Traducción al catalán del corpus IFEval, diseñado para evaluar modelos de lenguaje optimizados para chat o instrucciones. El conjunto de datos incluye 541 "instrucciones verificables", como "escribir más de 400 palabras" y "mencionar la palabra clave de la IA al menos 3 veces", que se pueden verificar mediante heurística. Cada instancia contiene una única solicitud de entrada.
Acceso: https://huggingface.co/datasets/projecte-aina/IFEval_ca
SIQA_es: Traducción y adaptación al español del conjunto de validación de SIQA (Social Interaction Question Answering), diseñado para evaluar el razonamiento social de sentido común en modelos de lenguaje, presentando una colección de preguntas basadas en situaciones sociales cotidianas, con el objetivo de desafiar a los modelos a inferir motivaciones, reacciones e implicaciones sociales detrás de las acciones humanas.
arc_es: Traducción y adaptación al español del conjunto de validación de ARC (AI2 Reasoning Challenge), diseñado para evaluar el razonamiento científico en modelos de lenguaje, presentando una colección de preguntas auténticas de ciencias de nivel escolar en formato de opción múltiple, divididas en dos conjuntos de distinta dificultad: ARC Easy y ARC Challenging.
COPA-es: Traducción al castellano del corpus COPA, corpus de referencia para el razonamiento causal. Incluye 600 instancias, cada una de las cuales se compone de una premisa y dos hipótesis.
cobie_sst2: Modificación del SST-2 original para evaluar sesgos cognitivos en LLMs.
cobie_ai2_arc: Modificación del ARC original para evaluar sesgos cognitivos en LLMs.
Acceso: https://huggingface.co/datasets/BSC-LT/cobie_ai2_arc
RAG_eu: Corpus de evaluación para RAGs en diferentes dominios (legal-administrativo, parlamentos, periodistico) y tareas (clasificación de dominio, predicción de capacidad de respuesta y recuperación de información).
ALIA-administrative-triplets: conjunto de datos diseñado para entrenar y evaluar modelos orientados a la recuperación de información.
Acceso: https://huggingface.co/datasets/SINAI/ALIA-administrative-triplets
ALIA-legal-administrative-cqa: Corpus de preguntas-respuestas en el dominio legal-administrativo
Acceso: https://huggingface.co/datasets/SINAI/ALIA-legal-administrative-cqa
Galician NER: Corpus en lengua gallega anotados y revisados manualmente para entrenar y evaluar modelos de reconocimiento de entidades nombradas (NER), que permiten identificar, delimitar y clasificar semánticamente nombres propios en categorías estandarizadas como persona, organización, localización y otras.
Acceso: https://huggingface.co/datasets/proxectonos/Galician_NER
sentimento-gl: Corpus en lengua gallega para entrenar y evaluar modelos de análisis de sentimiento, con más de 45.000 oraciones y cerca de 80.000 tokens.
Acceso: https://huggingface.co/datasets/proxectonos/sentimento-gl
UD_Galician-PUD: Corpus de 1.000 frases gallegas anotadas con sus dependencias sintácticas . Es relevante tanto por su utilidad en el desarrollo de herramientas de PLN en gallego como por su valor para realizar comparaciones sintácticas con el resto de las lenguas del PUD.
Acceso: https://huggingface.co/datasets/proxectonos/UD_Galician-PUD
Corpus para clasificación
LexBOE: clasificación de textos legales del Boletín Oficial del Estado, con etiquetas unificadas y datos anonimizados, para evaluar modelos en un contexto jurídico-administrativo español realista.
AbSanitas: recuperación de información biomédica, combinando abstracts en español con consultas sintéticas validadas y distractores controlados para medir la precisión en el emparejamiento pregunta-documento.
AbScientia: clasificación temática de abstracts científicos en español, cuidadosamente filtrados y normalizados para ofrecer categorías científicas coherentes.
DISCRIMINATIVE CLEARSIM_ES Dataset: Conjunto de textos en español diseñado para entrenar o evaluar modelos en una tarea de clasificación relacionada con el lenguaje claro. El conjunto de datos está compuesto por pares y tríos de textos alineados en tres niveles de complejidad: lengua original, lengua facilitada y lectura fácil. Incluye un total de 13.953 textos, agrupados en 4.651 tripletas únicas.
Acceso: https://huggingface.co/datasets/gplsi/discriminative_clearsim_es
DISCRIMINATIVE CLEARSIM_VA Dataset: Conjunto de textos en valenciano diseñado para entrenar o evaluar modelos en una tarea de clasificación relacionada con el lenguaje claro. El conjunto de datos está compuesto por pares y tríos de textos alineados en tres niveles de complejidad: lengua original, lengua facilitada y lectura fácil. Incluye un total de 13.953 textos, agrupados en 4.651 tripletas únicas.
Acceso: https://huggingface.co/datasets/gplsi/discriminative_clearsim_va
BALANCED_FAKE_JOB_POSTINGS_EN Dataset: Conjunto de textos en inglés diseñado para entrenar o evaluar modelos en una tarea de detección de fraude. Versión balanceada en inglés del conjunto de datos original de Kaggle Fake Job Postings Dataset: Real or Fake? Fake Job Posting Prediction. Incluye 1.730 ofertas de empleo, distribuidas equitativamente entre anuncios fraudulentos (falsos) y no fraudulentos (reales).
Acceso: https://huggingface.co/datasets/gplsi/fake_job_postings_balanced_en
BALANCED_FAKE_JOB_POSTINGS_VA Dataset: Conjunto de textos en valenciano diseñado para entrenar o evaluar modelos en una tarea de detección de fraude. Versión traducida del conjunto de datos original de Kaggle Fake Job Postings Dataset: Real or Fake? Fake Job Posting Prediction. Incluye 1.730 ofertas de empleo, distribuidas equitativamente entre anuncios fraudulentos (falsos) y no fraudulentos (reales).
Acceso: https://huggingface.co/datasets/gplsi/fake_job_postings_balanced_va
DISCRIMINATIVE COUNTERFEIT_ES Dataset: Conjunto de textos en español diseñado para entrenar o evaluar modelos en una tarea de verificación de marcas y detección de productos falsificados en entornos jurídicos y administrativos.
Acceso: https://huggingface.co/datasets/gplsi/discriminative_counterfeit_es
DISCRIMINATIVE COUNTERFEIT_EN Dataset: Conjunto de textos en inglés diseñado para entrenar o evaluar modelos en una tarea de verificación de marcas y detección de productos falsificados en entornos jurídicos y administrativos.
Acceso: https://huggingface.co/datasets/gplsi/discriminative_counterfeit_en
Corpus de pre entrenamiento ALIA 40B
Herramientas para el suministro de datos de texto
Para garantizar el suministro de datos, se han implantado distintos métodos de adquisición de datos que automatizan este proceso y garantizan el suministro y la actualización de los datos.
Extractor de texto de Wikipedia que interpreta correctamente textos en una gran variedad de lenguas, entre ellas el español y el catalán. Extracción de más de 675.000 documentos.
Por otra parte, se ha desarrollado un anonimizador de contenidos generados por usuarios. Canal de anonimización para introducir datos de fuera del BSC que puedan contener datos protegidos por el GDPR.
Última actualización