
LongLLaMa
0 收藏夹
LongLLaMA是一个大型语言模型,专为处理广泛的文本语境而设计,能够处理高达256,000个标记。它基于OpenLLaMA,并使用Focused Transformer(FoT)方法进行了精调。该存储库提供了LongLLaMA的较小的3B基础变体,采用Apache 2.0许可证,可用于现有实现中。此外,它还提供了用于指令调整和FoT持续预训练的代码。LongLLaMA的关键创新在于其能够管理比其训练数据更长的上下文,使其对需要广泛上下文理解的任务非常有用。它包括用于轻松集成到Hugging Face的自然语言处理任务的工具。
LongLLaMA是一个大型语言模型,专为处理广泛的文本语境而设计,能够处理高达256,000个标记。它基于OpenLLaMA,并使用Focused Transformer(FoT)方法进行了精调。该存储库提供了LongLLaMA的较小的3B基础变体,采用Apache 2.0许可证,可用于现有实现中。此外,它还提供了用于指令调整和FoT持续预训练的代码。LongLLaMA的关键创新在于其能够管理比其训练数据更长的上下文,使其对需要广泛上下文理解的任务非常有用。它包括用于轻松集成到Hugging Face的自然语言处理任务的工具。
定价模型:
price unknown / product not launched yet
Top 5
Tools of the DAY