从Docker中调用本地大模型

故障:直接输入本地化大模型localhost就是会一直连不上

原因:默认情况下,容器内部无法直接访问宿主机的网络服务。因此,需要一种方式来使容器内部的应用程序能够访问宿主机提供的服务。

解决:http://host.docker.internal:11434

http://host.docker.internal 是一个特殊的 DNS 名称,在 Windows 和 MacOS 上的 Docker Desktop 提供,用于让容器访问宿主机的网络服务。这是 Docker 提供的一种便捷方式,使容器内部的应用程序能够通过这个地址访问宿主机。

本地大模型

以ollama 运行千问7b模型(qwen2:7b)为例

7b也就是70亿参数,大模型运行的时候需要将模型参数全部装入内容,每个参数4字节的话,就是280亿个字节(约28G内存)