new-star
avatar image $

LongLLaMa

0 Favoriten
(0 | 0 voted)
LongLLaMA ist ein großes Sprachmodell, das für die Verarbeitung umfangreicher Textkontexte entwickelt wurde und bis zu 256.000 Tokens verarbeiten kann. Es basiert auf OpenLLaMA und wurde mit der Focused Transformer (FoT)-Methode feinabgestimmt. Das Repository bietet eine kleinere 3B-Basisvariante von LongLLaMA unter einer Apache 2.0-Lizenz für die Verwendung in bestehenden Implementierungen an. Darüber hinaus stellt es Code für die Anweisungsabstimmung und das FoT-Weitertraining zur Verfügung. Die wichtigste Innovation von LongLLaMA besteht darin, dass es in der Lage ist, Kontexte deutlich länger als seine Trainingsdaten zu verwalten, was es für Aufgaben, die ein umfangreiches Kontextverständnis erfordern, nützlich macht. Es enthält Tools für eine einfache Integration in Hugging Face für Aufgaben der natürlichen Sprachverarbeitung.

LongLLaMA ist ein großes Sprachmodell, das für die Verarbeitung umfangreicher Textkontexte entwickelt wurde und bis zu 256.000 Tokens verarbeiten kann. Es basiert auf OpenLLaMA und wurde mit der Focused Transformer (FoT)-Methode feinabgestimmt. Das Repository bietet eine kleinere 3B-Basisvariante von LongLLaMA unter einer Apache 2.0-Lizenz für die Verwendung in bestehenden Implementierungen an. Darüber hinaus stellt es Code für die Anweisungsabstimmung und das FoT-Weitertraining zur Verfügung. Die wichtigste Innovation von LongLLaMA besteht darin, dass es in der Lage ist, Kontexte deutlich länger als seine Trainingsdaten zu verwalten, was es für Aufgaben, die ein umfangreiches Kontextverständnis erfordern, nützlich macht. Es enthält Tools für eine einfache Integration in Hugging Face für Aufgaben der natürlichen Sprachverarbeitung.

Preismodell:

price unknown / product not launched yet
Kategorien: #research
Light
Neutral
Dark
LongLLaMa
LongLLaMa
LongLLaMa
Copy embed code

Erkunden Sie ähnliche KI-Tools.