llama2与text generator webui

llama2

Meta开源了他们的大模型。由于它支持免费商用，很有可能成为GPT界的安卓。之前使用llama.cpp安装使用过，这次听说有了类似于stalbe diffusion webui的工具，也就是text generator webui，于是便通过这个方法来使用llama2。记录这次安装的过程。

安装 text generator webui

项目托管在github上，有详细的安装说明。我的安装过程如下：

  1. 下载Mac专用的安装包

  2. 在Terminal中执行 start_macos.sh时，会提示权限不够（permission denied）。

    解决方法 chmod +x start_macos.sh

  3. 安装程序会安装全部所需的文件，需要梯子以免部分软件无法下载导致安装失败。中途会提示选择合适的GPU。

    text-generator-webui

下载llama2

下载llama2还是有点麻烦的，我先是用了境外的邮箱申请，总算通过了。

简要步骤：

  1. 在官网申请

  2. 在Hugging Face 上，Meta的官方模型中下载（申请邮箱和HG上的邮箱需要一致）

如果不想等待的话，可以使用Tom Jobbins的提供的模型中下载。

下载方法

使用text generator webui下载Hugging Face上的模型非常简单。

  1. 找到 TheBloke/CodeUp-Llama-2-13B-Chat-HF-GGML，并点击复制按钮

    复制模型ID

  2. 在Model -> Download custom model or LoRA 中粘贴对应的模型ID

    下载模型

经过较长时间的等待，即可自动完成下载。

体验

Meta自己公布的模型效果如下：

![模型对比](/assets/blog-images/20230811/benchmark.jpg)

目前体验了一下，比llama好了一些，当问及大模型中文问题时，它就开始有点像乱码了。英文自身的回答，体感还可以。目前有了llama-2-7b模型有了中文版，但是效果也一般般。

API也支持了

# For local streaming, the websockets are hosted without ssl - http://
HOST = 'localhost:5000'
URI = f'http://{HOST}/api/v1/generate'

期待大模型的进一步演化，想象空间真是无限的。

参考

  1. 免安装，直接体验llama2
  2. 中文llama2体验

published on .