
LongLLaMa
0 즐겨찾기
LongLLaMA는 광범위한 텍스트 맥락을 처리하기 위해 설계된 대규모 언어 모델로, 최대 256,000 토큰을 처리할 수 있습니다. 이 모델은 OpenLLaMA를 기반으로 하며, Focused Transformer (FoT) 방법을 사용하여 세밀하게 조정되었습니다. 이 저장소는 기존 구현에서 사용할 수 있는 Apache 2.0 라이선스의 작은 3B 기본 변형인 LongLLaMA를 제공합니다. 또한, 지시어 조정 및 FoT 지속 사전 훈련을 위한 코드도 제공합니다. LongLLaMA의 주요 혁신은 훈련 데이터보다 훨씬 긴 맥락을 관리할 수 있는 능력에 있으며, 이는 광범위한 맥락 이해를 요구하는 작업에 유용합니다. 이 모델은 Hugging Face에 쉽게 통합할 수 있는 도구를 포함하고 있어 자연어 처리 작업에 용이하게 사용할 수 있습니다.
LongLLaMA는 광범위한 텍스트 맥락을 처리하기 위해 설계된 대규모 언어 모델로, 최대 256,000 토큰을 처리할 수 있습니다. 이 모델은 OpenLLaMA를 기반으로 하며, Focused Transformer (FoT) 방법을 사용하여 세밀하게 조정되었습니다. 이 저장소는 기존 구현에서 사용할 수 있는 Apache 2.0 라이선스의 작은 3B 기본 변형인 LongLLaMA를 제공합니다. 또한, 지시어 조정 및 FoT 지속 사전 훈련을 위한 코드도 제공합니다. LongLLaMA의 주요 혁신은 훈련 데이터보다 훨씬 긴 맥락을 관리할 수 있는 능력에 있으며, 이는 광범위한 맥락 이해를 요구하는 작업에 유용합니다. 이 모델은 Hugging Face에 쉽게 통합할 수 있는 도구를 포함하고 있어 자연어 처리 작업에 용이하게 사용할 수 있습니다.
가격 책정 모델:
price unknown / product not launched yet
Top 5
Tools of the DAY