Llama 2:新一代开源LLM,可用于研究和商业用途

发布网友发布时间：2024-10-08 20:19

共1个回答

热心网友时间：2024-10-08 20:26

大型语言模型（LLMs）在复杂推理任务中展现出色能力，包括编程和创意写作等领域。LLMs通过直观的聊天界面与人类交互，迅速在公众中普及。然而，由于训练LLMs所需计算资源巨大，仅少数公司具备开发能力。已有的开源预训练LLMs，如BLOOM、LLaMa-1和Falcon，虽性能接近闭源产品，但无法完全替代像ChatGPT、BARD和Claude等经过微调以满足人类偏好的闭源模型。为解决这一问题，Meta AI发布了Llama 2和Llama 2-Chat，这两个模型规模达到700亿参数，预训练数据量增加40%，上下文长度翻倍，并采用分组查询注意力快速推理。Llama 2开源，适用于研究和商业用途，预训练模型训练了2万亿个标记，微调模型接受了100万+人类注释训练。在基准测试中，Llama 2-Chat表现出色，优于大多数开源模型，并接近某些闭源模型。安全性通过安全数据注释、调整和红队测试保障。Llama 2被用于生成逼真对话和语言翻译，是强大的开源LLM选择。微调后的Llama 2-Chat经过人类反馈强化学习优化，适用于对话应用，表现出色。相较于GPT-4，Llama 2在有用性和安全性方面具有竞争力。Meta AI与Hugging Face合作，将Llama 2集成至平台，提供访问。开发者可在Hub上获取12个开放访问模型，包括基本模型和微调模型。Llama 2通过Hugging Face生态系统易于使用，提供加载、微调和应用的指南，包括使用PEFT进行微调。Llama 2官网、论文、GitHub和Hugging Face页面提供了详细资源。Llama 2作为强大的开源LLM，为人工智能应用开辟新可能。