# Adopció (FAQ) ## Preguntes Freqüents: ### Sumari * [Els models cobreixen diversos idiomes o només el català?](#els-models-de-laina-kit-cobreixen-diversos-idiomes-o-nomes-el-catala) * [Quins models de text ofereix l'Aina Kit?](#quins-models-de-text-ofereix-laina-kit) * [Quina diferència hi ha entre un model instruït (a punt per fer servir), un model fundacional (per a desenvolupadors i *fine-tuning*) i un model adaptat a tasques específiques?](#quina-diferencia-hi-ha-entre-un-model-instruit-a-punt-per-fer-servir-un-model-fundacional-per-a-dese) * [Quin model he de fer servir per al Reconeixement d'Entitats Anomenades (NER) en català?](#quin-model-he-de-fer-servir-per-al-reconeixement-dentitats-anomenades-ner-en-catala) * [Quins *embeddings* de paraules ofereix l'Aina Kit?](#quins-embeddings-de-paraules-ofereix-laina-kit) * [Què és RAG (*Retrieval-Augmented Generation*)? L'Aina Kit ofereix models i conjunts de dades per a tasques de RAG?](#que-es-rag-retrieval-augmented-generation-laina-kit-ofereix-models-i-conjunts-de-dades-per-a-tasques) * [Quins models de veu (parla) ofereix l'Aina Kit?](#quins-models-de-veu-parla-ofereix-laina-kit) * [Quina és la diferència entre els models de text i els models de traducció automàtica?](#quina-es-la-diferencia-entre-els-models-de-text-i-els-models-de-traduccio-automatica) * [Els models de l'Aina Kit estan disponibles amb l'API?](#els-models-de-laina-kit-estan-disponibles-amb-lapi) * [Com puc començar a utilitzar i provar els models de l'Aina Kit de manera local o per a prototips?](#com-puc-comencar-a-utilitzar-i-provar-els-models-de-laina-kit-de-manera-local-o-per-a-prototips) * [Com desplegar els models de l'Aina Kit en producció?](#com-desplegar-els-models-de-laina-kit-en-produccio) * [Puc fer *fine-tuning* dels models de l'Aina Kit per a casos d'ús propis?](#puc-fer-fine-tuning-dels-models-de-laina-kit-per-a-casos-dus-propis) * [Quan he de fer *fine-tuning* dels meus models?](#quan-he-de-fer-fine-tuning-dels-meus-models) * [Com puc fer l'ajustament fi (*fine-tuning*) d'un model de l'Aina Kit a les meves dades específiques?](#com-puc-fer-lajustament-fi-fine-tuning-dun-model-de-laina-kit-a-les-meves-dades-especifiques) * [Els models de l'Aina Kit suporten "*function calling*" o “*tool use*”?](#els-models-de-laina-kit-suporten-function-calling-o-tool-use) * [Sota quina llicència es publiquen els models de l'Aina Kit?](#sota-quina-llicencia-es-publiquen-els-models-de-laina-kit) * [Què implica l'ús d'un model amb la llicència Apache 2.0?](#que-implica-lus-dun-model-amb-la-llicencia-apache-2.0) * [Quin maquinari és necessari per utilitzar els models de l'Aina Kit?](#quin-maquinari-es-necessari-per-utilitzar-els-models-de-laina-kit) * [Quins tipus de *datasets* (conjunts de dades) s'ofereixen a l'Aina Kit?](#quins-tipus-de-datasets-conjunts-de-dades-sofereixen-a-laina-kit) * [Quines eines ofereix l'Aina Kit per al subministrament de dades de text?](#quines-eines-ofereix-laina-kit-per-al-subministrament-de-dades-de-text) * [Quines eines ofereix l'Aina Kit per al subministrament de dades de veu?](#quines-eines-ofereix-laina-kit-per-al-subministrament-de-dades-de-veu) * [Sota quina llicència es publiquen els datasets (conjunts de dades) de l'Aina Kit?](#sota-quina-llicencia-es-publiquen-els-datasets-conjunts-de-dades-de-laina-kit) * [Hi ha demostradors disponibles a l'Aina Kit?](#hi-ha-demostradors-disponibles-a-laina-kit) * [Com puc mantenir-me al dia, aclarir dubtes o contribuir al projecte?](#com-puc-mantenir-me-al-dia-aclarir-dubtes-o-contribuir-al-projecte) *** #### **Els models de l'Aina Kit cobreixen diversos idiomes o només el català?** La majoria dels models de l'Aina Kit són multilingües, amb un fort suport al català. Per exemple, Salamandra (2B/7B) i ALIA-40B van ser entrenats en **35 idiomes europeus** (incloent-hi el català, el castellà, l'anglès, el francès, etc.). Això els permet comprendre i generar text en múltiples llengües. D'altra banda, alguns models especialitzats se centren únicament en el català o en entorns bilingües/trilingües (català, castellà i anglès) segons la naturalesa de la tasca. En tots els casos, el català té un suport ple gràcies a l'enfocament del projecte AINA en aquest idioma. *** #### **Quins models de text ofereix l'Aina Kit?** Els models de text de l'Aina Kit es poden agrupar en diverses famílies principals, cadascuna amb les seves pròpies característiques i casos d'ús. Es poden trobar amb les seves respectives descripcions a la [pàgina de models de text](https://langtech-bsc.gitbook.io/aina-kit/models/models-de-text). Les famílies de models més rellevants són: * **Família Salamandra**: És la generació més recent i avançada de LLMs del projecte. Són models multilingües (cobreixen 35 llengües europees) entrenats des de zero al superordinador MareNostrum 5. Estan disponibles en diverses mides i en tres variants: **instruïts** (a punt per fer servir), **fundacionals** (per a desenvolupadors i *fine-tuning*) i **adaptats a tasques específiques**. Són l'opció recomanada per a la majoria dels nous projectes que requereixin capacitats generatives. * **Família ALIA**: Dins de la mateixa iniciativa de desenvolupament que Salamandra, ALIA-40B és el model de mida més gran, amb 40 mil milions de paràmetres. Comparteix la mateixa arquitectura i dades d'entrenament multilingües, amb un èmfasi especial en les llengües cooficials d'Espanya. * **Família FLOR**: Són models generatius trilingües (català, castellà, anglès) basats en l'arquitectura Bloom i que van ser reentrenats pel BSC amb un gran corpus de dades. Existeixen versions de diverses mides (p. ex., 6.3B, 1.3B) i instruïdes. És crucial saber que aquests models han estat **oficialment deprecats** i ja no se'n recomana l'ús. Han estat succeïts per la família Salamandra/ALIA, que ofereix un rendiment superior. * **Família RoBERTa**: Conjunt de models *encoder* basats en l'arquitectura RoBERTa i optimitzats específicament per al català. Útils per a tasques de classificació, NER, QA i generació de representacions semàntiques. A diferència de Salamandra o ALIA, no són models generatius, sinó codificadors bidireccionals que destaquen quan es requereix un processament ràpid i *embeddings* densos o quan es necessita un *backbone* robust per a l'ajustament fi (*fine-tuning*) en català. *** #### **Quina diferència hi ha entre un model instruït (a punt per fer servir), un model fundacional (per a desenvolupadors i *****fine-tuning*****) i un model adaptat a tasques específiques?** * **Models Fundacionals**: Un model fundacional, com ara [salamandra-7b](https://huggingface.co/BSC-LT/salamandra-7b) o [ALIA-40B](https://huggingface.co/BSC-LT/ALIA-40b), ha estat entrenat en una tasca molt simple: predir la paraula següent en una seqüència de text a partir d'un corpus massiu. El resultat és un model amb un vast coneixement lingüístic i del món, però que no està dissenyat per interactuar directament amb un usuari o seguir ordres. La seva principal utilitat és servir de "base" sobre la qual els desenvolupadors poden fer un ajustament fi (*fine-tuning*) per a tasques molt especialitzades. * **Models Instruïts**: Un model instruït, com [salamandra-7b-instruct](https://huggingface.co/BSC-LT/salamandra-7b-instruct), és un model fundacional que ha passat per una segona fase d'entrenament. En aquesta fase, se l'ajusta amb un conjunt de dades constituït per milers d'exemples d'"instruccions" i les "respostes" desitjades (com el *dataset* InstruCAT). Aquest procés ensenya al model a comportar-se com un assistent: a respondre preguntes, a seguir ordres i a mantenir un diàleg coherent. Són els models "a punt per fer servir" per a la creació de xatbots i aplicacions conversacionals. * **Model adaptat a tasques específiques**: Un model que ha estat ajustat o entrenat específicament per a un domini o funció particular, com el reconeixement d'entitats (NER), la classificació textual, l'anotació morfosintàctica (POS), etc. Sol oferir millors resultats en aquest camp concret, tot i que és menys flexible per a altres tasques. *** #### **Quin model he de fer servir per al Reconeixement d'Entitats Anomenades (NER) en català?** * **roberta-base-ca-v2-cased-ner**: Model de reconeixement d'entitats en català basat en el model RoBERTa-base-ca-v2 i adaptat amb el conjunt de dades AnCora-Ca-NER. Disponible en [aquest enllaç](https://huggingface.co/projecte-aina/roberta-base-ca-v2-cased-ner). * **multiner\_ceil**: Model especialista en català. Model de reconeixement d'entitats en català basat en el model RoBERTa-base-ca-v2 i adaptat amb el conjunt de dades CEIL. Disponible en [aquest enllaç](https://huggingface.co/projecte-aina/multiner_ceil). * **DEBERTA\_CIEL**: Model de reconeixement d'entitats multilingües (castellà, català i anglès) basat en el model deberta-v3-large i adaptat amb el conjunt de dades CEIL. Disponible en [aquest enllaç](https://huggingface.co/projecte-aina/DEBERTA_CIEL). La recomanació és la següent: * Si l'aplicació necessita el màxim rendiment possible i només processarà text en català, **roberta-base-ca-v2-cased-ner** o **multiner\_ceil** són les opcions més adequades. * Si l'aplicació necessita gestionar text multilingüe dins d'un mateix flux de treball i busca un model unificat per a les tres llengües, **DEBERTA\_CIEL** és l'opció més adequada. *** #### **Quins *****embeddings***** de paraules ofereix l'Aina Kit?** * **Catalan CBOW Word Embeddings in Floret**: Model CBOW entrenat amb \~34 GB de text en català. Es proporciona en format Floret (una versió eficient de FastText) per facilitar-ne l'ús en aplicacions de PLN. Disponible en [aquest enllaç](https://zenodo.org/records/7330331). *** #### **Què és RAG (*****Retrieval-Augmented Generation*****)? L'Aina Kit ofereix models i conjunts de dades per a tasques de RAG?** En un LLM estàndard, el model genera respostes basant-se únicament en la informació que "va aprendre" durant el seu entrenament. Això té dues limitacions principals: la informació pot estar desactualitzada i el model pot "al·lucinar" o inventar dades si no coneix la resposta. El RAG soluciona això connectant el LLM a una base de coneixement externa (per exemple, la documentació interna d'una empresa, fitxers PDF o articles de notícies recents). Abans de generar una resposta, el sistema primer recupera els documents més rellevants d'aquesta base de coneixement i, després, els proporciona al LLM com a context perquè generi una resposta precisa i fonamentada en aquestes dades. Sí, els models instruïts de l'Aina Kit (com **Salamandra-7B-instructed** i **Salamandra-2B-instructed**) són capaços de realitzar fluxos RAG per respondre preguntes basant-se en contextos externs. Es poden trobar a la [pàgina de models de text](https://langtech-bsc.gitbook.io/aina-kit/models/models-de-text). A més, està disponible el *dataset* **RAG\_Multilingual**, un conjunt de dades que conté més de 56.000 exemples de preguntes, contextos i respostes en català, castellà i anglès, dissenyat explícitament per entrenar i avaluar sistemes RAG. Es pot trobar en [aquest enllaç](https://huggingface.co/datasets/projecte-aina/RAG_Multilingual). *** #### **Quins models de veu (parla) ofereix l'Aina Kit?** L'Aina Kit ofereix models d'avantguarda per a les dues tasques fonamentals de la tecnologia de la parla: * **Síntesi de Veu (*****Text-to-Speech*****, TTS)**: Models que converteixen text escrit en àudio parlat. * **Reconeixement Automàtic de la Parla (*****Automatic Speech Recognition*****, ASR)**: Models que transcriuen àudio parlat a text escrit. Els models de veu de l'Aina Kit i les seves descripcions es poden trobar a la [pàgina de models de veu](https://langtech-bsc.gitbook.io/aina-kit/models/models-de-parla). *** #### **Quina és la diferència entre els models de text i els models de traducció automàtica?** Els models de text de l'Aina Kit són models de llenguatge general capaços de generar, comprendre i manipular text en diferents idiomes i contextos, mentre que els models de traducció automàtica estan específicament dissenyats per convertir text d'un idioma a un altre amb alta fidelitat i precisió. Per tant, la diferència principal és que els primers són versàtils i útils per a tasques com la redacció, el resum o el diàleg, mentre que els segons se centren exclusivament en la tasca de traduir de manera eficient i controlada. Els models de traducció automàtica i les seves descripcions es poden trobar a la [pàgina de models de traducció automàtica](https://langtech-bsc.gitbook.io/aina-kit/models/models-de-traduccio-automatica). *** #### **Els models de l'Aina Kit estan disponibles amb l'API?** Per ara, l'Aina Kit no ofereix els seus models mitjançant una API pròpia: els publica com a repositoris a Hugging Face juntament amb les seves *model cards*, perquè qualsevol pugui desplegar-los fent servir *frameworks* com Transformers, FastAPI o Gradio, o utilitzar-los com a *endpoints* en diverses plataformes, incloses la pròpia Hugging Face Inference Endpoints, Amazon Web Services, Azure, etc. *** #### **Com puc començar a utilitzar i provar els models de l'Aina Kit de manera local o per a prototips?** Per utilitzar els models de l'Aina Kit existeixen diverses opcions segons les necessitats de l'usuari: * Alguns models de l'Aina Kit estan disponibles en un [*Space* de demostració a Hugging Face (ChatUI)](https://huggingface.co/spaces/BSC-LT/ChatUI), per a proves ràpides d'inferència. * **Instal·lació local amb codi Python**: Descarregar els pesos des de Hugging Face i carregar-los amb la biblioteca Transformers. Cal crear un entorn virtual, instal·lar les llibreries clau com *torch* i *transformers* i, després, carregar el model. Hi ha exemples de codi a les *model cards* de cada model específic. {% embed url="" %} * **Softwares especialitzats**: Eines com [Ollama](https://ollama.com/) i [LM Studio](https://lmstudio.ai/) permeten executar models localment de forma més *user-friendly*, sempre que el model estigui disponible en format GGUF (no tots els models de l'Aina Kit estan en aquest format per defecte, però és possible fer la conversió manual utilitzant eines com llama.cpp). * ***Pipelines***** i *****notebooks***** d'exemple**: A Hugging Face, a l'opció “Use this model”, es proporcionen fragments de codi a punt i exemples pràctics per utilitzar els models a través de *notebooks* de Google Colab i Kaggle per facilitar les primeres proves. *** #### **Com desplegar els models de l'Aina Kit en producció?** Un cop escollit el model, existeixen diverses opcions per al seu desplegament: * **Hugging Face Inference Endpoints**: Disponible a la pàgina del model a Hugging Face, a través del botó “Deploy”. Es crea un *endpoint* directament des de la pàgina del model, seleccionant el proveïdor i el tipus d'instància més adequats. És possible optimitzar l'ús de recursos activant opcions com l'escalat automàtic o la quantització. Aquesta opció és ideal per a prototips i aplicacions de volum mitjà. {% embed url="" %} * **Amazon Sagemaker**: Disponible a la pàgina del model a Hugging Face, a través del botó “Deploy”. S'instancia un objecte HuggingFaceModel, es defineix la variable HF\_MODEL\_ID i s'invoca *deploy*. Sagemaker aixeca un *endpoint* HTTPS gestionat que escala sota demanda en instàncies de GPU. * **Proveïdors *****Cloud*** (AWS, Google Cloud, Azure, etc.): Ofereixen serveis d'inferència de ML que permeten desplegar models. S'han de seguir els procediments estàndard de cada plataforma per a la creació d'*endpoints* d'inferència. * **Infraestructura pròpia**: Per a casos que requereixen màxim control, es poden desplegar en servidors propis utilitzant *frameworks* com FastAPI, Flask o serveis com TorchServe. També es pot utilitzar el contenidor oficial Text-Generation-Inference (TGI) de Hugging Face per facilitar el desplegament i la gestió de càrrega. Aquesta opció ofereix més control però requereix la gestió completa de la infraestructura. Cada model compta amb una *model card* a la seva pàgina corresponent de Hugging Face amb instruccions detallades per desplegar-lo pas a pas. Els enllaços a les *model cards* de Hugging Face estan disponibles a: * [Pàgina de models de text](https://langtech-bsc.gitbook.io/aina-kit/models/models-de-text) * [Pàgina de models de veu](https://langtech-bsc.gitbook.io/aina-kit/models/models-de-parla) * [Pàgina de models de traducció automàtica](https://langtech-bsc.gitbook.io/aina-kit/models/models-de-traduccio-automatica) *** #### **Puc fer *****fine-tuning***** dels models de l'Aina Kit per a casos d'ús propis?** Es pot realitzar *fine-tuning* dels models de l'Aina Kit sempre que es consulti la llicència específica de cada model. Aquells publicats sota llicències permissives com Apache 2.0 permeten modificacions i ús comercial, sempre que es mantinguin els avisos corresponents i la llicència original. Els models amb llicència CC-BY requereixen atribució; els models amb CC-BY-SA exigeixen que les modificacions es comparteixin sota la mateixa llicència; els models amb CC-BY-NC no poden ser utilitzats amb finalitats comercials, i en el cas de models sense llicència explícita, no es concedeix permís d'ús. *** #### **Quan he de fer *****fine-tuning***** dels meus models?** L'ajustament fi (*fine-tuning*) és una tècnica avançada i, tot i que és molt potent, no sempre és necessària. De fet, la majoria dels problemes de negoci i casos d'ús es poden resoldre de manera més ràpida, econòmica i eficient amb altres tècniques: * **Enginyeria d'Instruccions (*****Prompt Engineering*****)**: Consisteix en el disseny acurat de les instruccions (el "prompt") que rep el model. Sovint, un canvi en la formulació de la pregunta pot transformar completament la qualitat de la resposta. Aquesta tècnica també inclou la provisió d'exemples directament al *prompt*, un mètode conegut com a *Few-Shot Learning*, en què es mostren al model parells de "pregunta-resposta" per il·lustrar el resultat esperat, o *Chain-of-Thought*, que ensenya al model quins passos seguir per arribar a la resposta. Els seus principals avantatges resideixen en el fet que és una tècnica ràpida, de baix cost i flexible, que no requereix la preparació d'un conjunt de dades d'entrenament. * **Generació Augmentada per Recuperació (RAG - *****Retrieval-Augmented Generation*****)**: Una solució ideal quan es requereix que el model respongui basant-se en informació específica i actualitzada que no forma part del seu coneixement original. Es connecta el model a una base de dades externa, com una col·lecció de documents d'una empresa o manuals de producte. En rebre una consulta, un sistema de cerca ("Retriever") localitza els fragments de text més rellevants d'aquesta base de dades, i aquests fragments s'injecten al *prompt* juntament amb la pregunta original, de manera que el model pugui generar una resposta fonamentada en aquest context específic. Aquest enfocament redueix la probabilitat d'"al·lucinacions" (respostes inventades), permet que la base de coneixement es mantingui actualitzada sense reentrenar el model i facilita la citació de fonts, la qual cosa augmenta la confiança en la resposta. L'ajustament fi (*fine-tuning*) s'hauria de considerar només quan aquestes tècniques no siguin suficients i sigui necessari que el model adquireixi un comportament o coneixement fonamentalment nou. *** #### **Com puc fer l'ajustament fi (*****fine-tuning*****) d'un model de l'Aina Kit a les meves dades específiques?** L'ajustament fi (*fine-tuning*) és el procés mitjançant el qual s'especialitza un model pre-entrenat per a una tasca o un domini concret (per exemple, un xatbot d'atenció al client d'una empresa). A continuació, es descriuen els mètodes principals per dur-lo a terme: **Low-code/no-code**: * **Hugging Face AutoTrain**: Disponible a la pàgina del model a Hugging Face, a través del botó “Train → AutoTrain”. És una solució que facilita la càrrega d'un conjunt de dades per entrenar un model de forma automàtica, delegant la gestió de la infraestructura. És el mètode més recomanable en la majoria dels casos. * **Amazon SageMaker**: Exemple de codi disponible a la pàgina del model a Hugging Face, a través del botó “Train → Amazon SageMaker”. Requereix un compte propi d'AWS i és recomanable per a projectes empresarials que necessitin major control i personalització. **Programàtic**: * ***Scripts***** de Hugging Face**: La biblioteca *transformers* proporciona la classe *Trainer* i els exemples clàssics (run\_clm.py, run\_mlm.py, etc.) l'empren directament, la qual cosa simplifica el procés d'ajustament fi. El procediment requereix la preparació d'un conjunt de dades i la configuració dels arguments d'entrenament. * **Optimització amb PEFT (*****Parameter-Efficient Fine-Tuning*****)**: En lloc d'entrenar els milers de milions de paràmetres del model complet (la qual cosa requereix una gran quantitat de memòria de GPU), PEFT congela el model original i entrena únicament un petit nombre de paràmetres addicionals en "capes adaptadores". La tècnica més popular és **LoRA** (*Low-Rank Adaptation*). Una versió encara més optimitzada, **QLoRA**, utilitza la quantització per reduir encara més els requisits de memòria. Amb PEFT, és possible realitzar l'ajustament fi de models molt grans en GPU de consum, de manera que es democratitza l'accés a aquesta tecnologia. No obstant això, l'ajustament fi no sempre és necessari o la millor alternativa per adaptar un model, i s'hauria de considerar només quan tècniques com l'Enginyeria d'Instruccions o RAG no siguin suficients. *** #### **Els models de l'Aina Kit suporten "*****function calling*****" o “*****tool use*****”?** Els models instruïts de l'Aina Kit no disposen, en la seva versió actual, d'una API nativa de *function calling* o *tool use* integrada en la seva arquitectura, com sí que ofereixen alguns models comercials. Aquesta funcionalitat està en desenvolupament actiu per part de l'equip del BSC. No obstant això, l'absència d'una API nativa no impedeix la implementació de fluxos de treball d'agents. És possible implementar-ho de forma manual. Aquest enfocament atorga al desenvolupador un control total sobre el procés. *** #### **Sota quina llicència es publiquen els models de l'Aina Kit?** La majoria dels models de l'Aina Kit es publiquen sota la **llicència Apache 2.0**, una llicència lliure i permissiva que permet el seu ús, modificació i distribució amb poques restriccions, fins i tot per a finalitats comercials. No obstant això, alguns models concrets es distribueixen amb llicències diferents que poden exigir atribució o prohibir-ne l'ús comercial, com els models de veu Matxa-TTS, disponibles **només per a ús no comercial**. En cas de requerir un altre tipus d'ús o integració, es recomana contactar amb l'equip responsable del projecte per tal de facilitar l'accés adequat als recursos de l'Aina Kit. La llicència aplicable a un model concret pot ser consultada a la [pàgina de llicències dels models](https://langtech-bsc.gitbook.io/aina-kit/models/llicencies-dels-models). *** #### **Què implica l'ús d'un model amb la llicència Apache 2.0?** La llicència Apache 2.0 és una llicència de programari de codi obert permissiva que concedeix drets amplis i perpetus per a l'ús, la modificació, la distribució i el subllicenciament del model per a qualsevol propòsit, inclòs el comercial, sense requerir el pagament de regalies. Una característica fonamental d'aquesta llicència és la concessió explícita de drets de patent per part dels contribuïdors sobre les seves aportacions, la qual cosa protegeix l'usuari davant de possibles reclamacions per infracció de patents relacionades amb aquestes contribucions. El llicenciatari està obligat a conservar els avisos de drets d'autor i el text de la llicència en les distribucions del programari o model. Si es realitzen modificacions, s'ha d'incloure una notificació que indiqui els canvis efectuats. A diferència de les llicències de tipus *copyleft*, l'Apache 2.0 no exigeix que les obres derivades es distribueixin sota els mateixos termes ni que se'n publiqui el codi font, fet que permet que les modificacions i treballs derivats puguin mantenir-se com a programari propietari. *** #### **Quin maquinari és necessari per utilitzar els models de l'Aina Kit?** Els requisits de maquinari, especialment la memòria de vídeo (VRAM) de la GPU, depenen críticament de la mida del model i de la tasca a realitzar. Per determinar la memòria de vídeo necessària, s'ha de comprovar la mida del model que es desitja utilitzar i la precisió amb la qual s'executarà. Cada paràmetre ocupa aproximadament 4 bytes en precisió completa (FP32), 2 bytes en FP16, una mica més d'1 byte en INT8 i al voltant de 0,5 bytes en els formats quantitzats de 4 bits. Per exemple, Salamandra-7B compta amb \~7,8 mil milions de paràmetres: en FP16 requereix al voltant de 14–16 GB de VRAM, en INT8 aproximadament 10 GB i en 4-bit pot reduir-se a \~5 GB, de manera que permet la seva execució en targetes de 8 GB, si les seqüències no són massa llargues. Una pràctica habitual consisteix a sumar la RAM del sistema i la VRAM de la GPU, seleccionar un fitxer de pesos (GGUF, Safetensors, etc.) que sigui un o dos gigabytes menor que aquesta suma i assegurar-se que la seqüència d'entrada no causi un augment excessiu de la memòria utilitzada per a la KV-cache. D'aquesta manera, es garanteix la càrrega correcta del model i el seu funcionament sense errors de memòria insuficient. Per a tasques menys exigents, com la síntesi de veu o la transcripció fonètica, els models són més lleugers i poden executar-se amb una GPU de 4–6 GB o, fins i tot, només amb CPU i 8–12 GB de RAM, tot i que l'ús de GPU millora els temps de resposta. Consultant la mida exacta del model a la *model card* del model específic a Hugging Face i aplicant el càlcul de bytes per paràmetre, és possible estimar amb precisió els requisits de maquinari per a cada cas. També és possible utilitzar la següent [demo a Hugging Face](https://huggingface.co/spaces/Vokturz/can-it-run-llm) per calcular els recursos necessaris. *** #### **Quins tipus de *****datasets***** (conjunts de dades) s'ofereixen a l'Aina Kit?** L'Aina Kit ofereix una varietat de conjunts de dades (*datasets*) per a l'entrenament i l'avaluació de models d'intel·ligència artificial en llengua catalana. Aquests es divideixen en tres categories principals: * Per a **models de text**, l'Aina Kit proporciona des de corpus massius amb milers de milions de paraules fins a col·leccions cuidades específicament per a l'ajustament fi (*fine-tuning*) i l'avaluació de models de text. Aquestes dades cobreixen una àmplia gamma de tasques com la classificació de textos, l'anàlisi de sentiments, la detecció d'emocions, la resposta a preguntes, el resum de textos i la detecció de llenguatge abusiu, entre altres. A més, s'inclouen conjunts de dades dissenyats per instruir i avaluar models de llenguatge. Estan disponibles a la [pàgina de datasets de text](https://langtech-bsc.gitbook.io/aina-kit/datasets/dades-i-eines-per-a-models-de-text). * Per a **models de veu**, l'Aina Kit ofereix diversos corpus de parla, fonamentals per a l'entrenament de sistemes de reconeixement (ASR) i de síntesi de veu (TTS). Es posen a disposició corpus de parla sense i amb transcripció per a reconeixement automàtic, enregistraments multidialectals i multigènere, bancs de proves d'accents, registres parlamentaris i televisius, corpus depurats per a síntesi i conjunts amb transcripció fonètica. Estan disponibles a la [pàgina de datasets de veu](https://langtech-bsc.gitbook.io/aina-kit/datasets/dades-i-eines-per-a-models-de-veu). * Per a **models de traducció automàtica**, l'Aina Kit subministra grans corpus paral·lels “català-altres llengües” destinats a l'entrenament de sistemes i, de forma complementària, col·leccions més reduïdes i de domini que serveixen per adaptar i avaluar els models, i que cobreixen parells com català-anglès, català-castellà, català-francès, català-portuguès, català-italià o català-xinès, entre d'altres. Estan disponibles a la [pàgina de datasets de traducció automàtica](https://langtech-bsc.gitbook.io/aina-kit/datasets/dades-per-a-la-traduccio-automatica). *** #### **Quines eines ofereix l'Aina Kit per al subministrament de dades de text?** L'Aina Kit proporciona diverses eines per automatitzar l'adquisició i actualització de dades textuals en català. Inclou, per exemple, un extractor de textos de la Viquipèdia que permet obtenir grans volums de documents en diferents llengües, una *pipeline* automatitzada per processar dades obertes del Diari Oficial de la Generalitat de Catalunya (DOGC) i un anonimitzador per garantir la privacitat de dades sensibles d'acord amb el GDPR. Els enllaços a cada eina estan disponibles a la [pàgina de datasets i eines de text](https://langtech-bsc.gitbook.io/aina-kit/datasets/dades-i-eines-per-a-models-de-text). *** #### **Quines eines ofereix l'Aina Kit per al subministrament de dades de veu?** L'Aina Kit inclou dues eines per a la creació de corpus de veu alineats amb les seves transcripcions: * **Datapipe**: Eina desenvolupada per generar un corpus de la parla alineat entre enregistraments de diverses fonts (YouTube, parlaments autonòmics, etc.) i les seves transcripcions i/o subtítols. * **Found speech pipeline**: Eina desenvolupada per generar un corpus de la parla alineat entre enregistraments de YouTube i dels diferents parlaments d'autonomies d'Espanya i les seves transcripcions i/o subtítols. Els enllaços a cada eina estan disponibles a la [pàgina de datasets i eines de veu](https://langtech-bsc.gitbook.io/aina-kit/datasets/dades-i-eines-per-a-models-de-veu). *** #### **Sota quina llicència es publiquen els *****datasets***** (conjunts de dades) de l'Aina Kit?** Els conjunts de dades (*datasets*) es publiquen sota diverses llicències Creative Commons (CC). La llicència aplicable a un conjunt de dades concret pot ser consultada a la [pàgina de llicències dels datasets](https://langtech-bsc.gitbook.io/aina-kit/llicencies-dels-datasets). *** #### **Hi ha demostradors disponibles a l'Aina Kit?** L'Aina Kit disposa de diversos demostradors a Hugging Face Spaces que permeten provar diferents tecnologies lingüístiques a través d'una API gratuïta. Entre aquests serveis es troben un model de traducció automàtica amb suport per a múltiples idiomes i un sistema de xat per conversar amb alguns dels nostres models. Addicionalment, s'ofereixen eines específiques per al català, com un sistema de síntesi de veu amb múltiples parlants, una aplicació per a la transcripció fonètica i un classificador de models de text a veu. En el cas del [sistema de xat (ChatUI)](https://huggingface.co/spaces/BSC-LT/ChatUI), hi ha disponibles diversos models, com Salamandra-7b-instructed, models amb funció de *function calling*, etc. El sistema s'apaga automàticament si no registra activitat durant molt de temps. Quan un usuari envia una consulta a ChatUI i el model corresponent no està actiu, aquest s'inicia automàticament, la qual cosa pot trigar entre 5 i 10 minuts. Només s'inicia el model associat a la conversa activa en aquell moment, tot i que és possible seleccionar qualsevol model disponible. Els enllaços a cada demostrador estan disponibles a la [pàgina de demostradors](https://langtech-bsc.gitbook.io/aina-kit/demostradors/a-spaces-de-hugging-face). *** #### **Com puc mantenir-me al dia, aclarir dubtes o contribuir al projecte?** El projecte Aina es troba en constant evolució. Per a tots aquells interessats a seguir de prop el seu desenvolupament, resoldre dubtes o fins i tot col·laborar-hi activament, existeixen diverses plataformes i canals de comunicació. A continuació, estan disponibles els enllaços oficials per no perdre cap novetat i formar part d'aquesta comunitat: * Sistema RAG entrenat amb dades dels models i conjunts de dades de l'Aina Kit (en breu) * [Canal de Discord per a la comunitat](https://discord.gg/twy3GnBCaY) * [Pàgina del BSC a Hugging Face](https://huggingface.co/BSC-LT) * [Pàgina del Projecte Aina a Hugging Face](https://huggingface.co/projecte-aina) * [Repositori del Projecte Aina a GitHub](https://github.com/projecte-aina) --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://langtech-bsc.gitbook.io/aina-kit/integracio/adopcio-faq.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.