LLaMA2–WebUI模型下载以及环境搭建

? 1.LLaMA-2模型简介

LLaMA-2(Language Learning and Modeling Architecture)是一种语言学习和建模框架,用于自然语言处理任务。它是在LLaMA的基础上进一步发展而来的。LLaMA-2模型通过结合多种语言学习和建模方法,提供了更强大和灵活的框架来处理自然语言的复杂性。目前共有7B、13B、33B、65B 四种版本,其模型参数如下表所示:
模型参数

LLaMA-2模型的主要特点包括:

多任务学习:LLaMA-2模型可以同时处理多个相关任务,从而实现知识的共享和迁移,提高模型在各种任务上的性能。
细粒度语言建模:LLaMA-2模型通过使用更细粒度的语言建模技术,如基于字符的建模和多层次建模,提高了模型对语言的理解和表达能力。
知识图谱融合:LLaMA-2模型可以将外部知识图谱与文本数据相结合,从而增强模型的语义理解和推理能力。
迁移学习:LLaMA-2模型可以将从一个任务中学到的知识迁移到其他任务中,从而减少对大量标注数据的依赖,提高模型的泛化能力。
总之,LLaMA-2模型是一个强大的语言学习和建模框架,能够处理各种自然语言处理任务,并具有灵活性和扩展性。

2.LLaMA-2软件下载&环境搭建

  1. 样机环境
    1.1 基于Windows 11搭建
    1.2 Python:3.11 (Python版本需要高一些,否则会存在兼容性问题,导致无法执行)
    1.3 网络环境请使用外网,国内网络会无法下载资源

  2. 软件下载
    2.1 下载llama2-webui软件包
    2.11 下载地址 :Github链接
    在这里插入图片描述

2.12 将下载好的软件包,解压到本地磁盘(我解压在了C盘)

在这里插入图片描述
2.13 安装llama2-wrapper

从PYPI下载

pip install llama2-wrapper

3.LLaMA-2模型Demo测试

1.Web Chat UI Demo
1.1 使用 Web UI 运行聊天机器人:

Python C:llama2-webui-mainapp.py (使用自己部署的路径)

1.2 模型自动下载
app.py将加载默认配置,该配置用作后端来运行模型进行推理。模型将自动下载,默认下载llama-2-7b-chat.Q4_0.gguf,执行结果如下:

Running on backend llama.cpp.
Use default model path: ./models/llama-2-7b-chat.Q4_0.gguf
Start downloading model to: ./models/llama-2-7b-chat.Q4_0.gguf

1.3 执行结果
执行结果
1.4 Web UI打开聊天窗口
将URL:http://127.0.0.1:7860复制到浏览器,运行后会出现Gradio窗口
聊天窗口

2.Code Llama UI Demo
2.1 代码完成/填充 UI模型下载
下载路径
2.2 将模型文件 codellama-7b.Q4_0.gguf 放入Models文件夹中
模型存放路径
2.3 CodeLlama 代码执行

python C:llama2-webui-maincode_completion.py --model_path ./models/codellama-7b.Q4_0.gguf

2.4 执行结果
执行结果
2.5 CodeLlama 效果
将URL:http://127.0.0.1:7860复制到浏览器,运行后会出现Gradio窗口
在这里插入图片描述

4.问题Q&A

1.执行Web UI代码时报错如下,按照报错提示将代码中相应位置修改即可。
在这里插入图片描述
2.在运行app.py自动下载模型时,文件较大,请使用网络状况良好的外网。
3.在打开Web窗口,请注意不要将 代码运行窗口关掉,否则会无法使用。

?