
LongLLaMa
LongLLaMA est un modèle de langage de grande taille conçu pour gérer des contextes textuels étendus, capable de traiter jusqu'à 256 000 jetons. Il est basé sur OpenLLaMA et affiné à l'aide de la méthode Focused Transformer (FoT). Le référentiel propose une variante de base 3B plus petite de LongLLaMA sous licence Apache 2.0 pour une utilisation dans des implémentations existantes. De plus, il fournit du code pour l'optimisation des instructions et la préformation continue de FoT. L'innovation clé de LongLLaMA réside dans sa capacité à gérer des contextes significativement plus longs que ses données d'entraînement, ce qui le rend utile pour les tâches nécessitant une compréhension contextuelle étendue. Il comprend des outils pour une intégration facile dans Hugging Face pour les tâches de traitement du langage naturel.
Modèle de tarification: