分为直接安装和docker安装两种方法,建议部署时使用docker部署。
一、直接安装方法
下装安装:
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
定义开机自启动服务:
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
vi /etc/systemd/system/ollama.service
填入以下内容:
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target
之后就可以设置自启动了
sudo systemctl daemon-reload
sudo systemctl enable ollama
二、docker安装方法
首先在能访问镜像源的服务器上下载ollama镜像
sudo docker pull ollama/ollama:0.5.12
创建docker-compose.yaml
mkdir -p /datadisk/compose/ollama
cd /datadisk/compose/ollama
vi docker-compose.yaml
填入以下内容:
services:
ollama:
container_name: ollama
ports:
- "11434:11434"
volumes:
- /datadisk/apps/ollama:/root/.ollama
image: ollama/ollama:0.5.12
network_mode: bridge
启动ollama
sudo docker compose up -d
版本测试,拉取模型:
[root@localhost ollama]# sudo docker exec -it ollama /bin/bash
root@11211bc88730:/# ollama -v
ollama version is 0.5.12
root@11211bc88730:/# ollama run deepseek-r1:1.5b
pulling manifest
pulling aabd4debf0c8... 100% ▕█████████████████████████████████████████████████████▏ 1.1 GB
pulling 369ca498f347... 100% ▕█████████████████████████████████████████████████████▏ 387 B
pulling 6e4c38e1172f... 100% ▕█████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕█████████████████████████████████████████████████████▏ 148 B
pulling a85fe2a2e58e... 100% ▕█████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
如果自己有显卡的话,可以考虑7b(4060卡)、8b、14b(4090卡)版本,再高就超出个人电脑的极限了
输入命令查看模型列表:
root@11211bc88730:/# ollama list
NAME ID SIZE MODIFIED
deepseek-r1:1.5b a42b25d8c10a 1.1 GB 4 minutes ago
deepseek-r1:14b ea35dfe18182 9.0 GB 14 minutes ago
deepseek-r1:8b 28f8fd6cdc67 4.9 GB 2 hours ago
如果是自己单机用的话,可以下载open-webui界面,如果放公网的话建议自己开发前端界面,规避一些网络安全风险。
鄂公网安备 42010202002486号