
LongLLaMa
LongLLaMA è un grande modello di linguaggio progettato per gestire contesti di testo estesi, in grado di elaborare fino a 256.000 token. Si basa su OpenLLaMA ed è stato ottimizzato utilizzando il metodo Focused Transformer (FoT). Il repository offre una variante di base più piccola di LongLLaMA da 3B con licenza Apache 2.0 per l'utilizzo in implementazioni esistenti. Inoltre, fornisce codice per l'ottimizzazione delle istruzioni e il pretraining continuato di FoT. L'innovazione chiave di LongLLaMA risiede nella sua capacità di gestire contesti significativamente più lunghi rispetto ai dati di addestramento, rendendolo utile per compiti che richiedono una comprensione del contesto estesa. Include strumenti per un'integrazione facile in Hugging Face per compiti di elaborazione del linguaggio naturale.
Modello di prezzo: