使用 Ollama框架 下载和使用 Llama3 AI大模型的完整指南

文强

使用 Ollama框架 下载和使用 Llama3 AI大模型的完整指南

文强

https://cloud.tencent.com/developer/article/2424179

文强

https://cloud.tencent.com/developer/article/2394293

文强

https://baijiahao.baidu.com/s?id ... r=spider&for=pc

文强

1.1 什么是ollama

ollama是专为在Docker容器中部署LLM而设计的，简化了部署和管理流程，目前它支持的模型如下：

Model

Parameters

Size

Download

Llama 2

7B

3.8GB

ollama run llama2

Mistral

7B

4.1GB

ollama run mistral

Dolphin Phi

2.7B

1.6GB

ollama run dolphin-phi

Phi-2

2.7B

1.7GB

ollama run phi

Neural Chat

7B

4.1GB

ollama run neural-chat

Starling

7B

4.1GB

ollama run starling-lm

Code Llama

7B

3.8GB

ollama run codellama

Llama 2 Uncensored

7B

3.8GB

ollama run llama2-uncensored

Llama 2 13B

13B

7.3GB

ollama run llama2:13b

Llama 2 70B

70B

39GB

ollama run llama2:70b

Orca Mini

3B

1.9GB

ollama run orca-mini

Vicuna

7B

3.8GB

ollama run vicuna

LLaVA

7B

4.5GB

ollama run llava

Gemma

2B

1.4GB

ollama run gemma:2b

Gemma

7B

4.8GB

ollama run gemma:7b

也就是说，我们安装了ollama之后，可以轻松地使用这些开源的大模型，ollama也强调了，想要运行这些大模型的硬件要求。

注意：应该至少有8GB的可用内存来运行7B模型，16GB的可用内存来运行13B模型，以及32GB的内存来运行33B模型。

注意：应该至少有8GB的可用内存来运行7B模型，16GB的可用内存来运行13B模型，以及32GB的内存来运行33B模型。

注意：应该至少有8GB的可用内存来运行7B模型，16GB的可用内存来运行13B模型，以及32GB的内存来运行33B模型。

1.2 安装ollama

安装ollama特别简单，直接从官网下载，然后执行安装即可

地址：https://ollama.com/

点击下载，然后进行安装即可