概述:下载安装Ollama、Node.js、ollama-webuiWeb;不卡壳半小时不到就可以在自己电脑运行一个私有专属大模型。
第1步:下载安装Ollama本地大模型管理工具。
下载地址:https://ollama.com/download
注:Ollama提供了MacOS、Linux和Windows操作系统的安装包,可根据自己的操作系统,下载安装即可。
①进入Ollama下载地址,点击“Download”,这里以win11为例。
②根据电脑情况下载安装(Linux是命令方式)
第2步:下载并运行大模型
官方网站:
https://ollama.com/library/gemma:2b
这里没有独立显卡,先下载个小的,选2B大小。其他的请参考《大模型配置要求与配置推荐》
ollama run gemma:2b
第3步:安装Node.js编程语言工具包
和通其他软件包一样,Node.js编程语言工具包直接根据提示无脑下载即可。Node.js下载,建议用目前的最新v20版本。(查看版本命令:node -v)
第4步:部署Ollama大模型Web对话界面
部署Web可视化聊天界面
①首先,下载ollama-webuiWeb工程代码下载地址
②切换上述下载的切换ollama-webui代码的目录(cd ollama-webui-lite)
③设置Node.js工具包镜像源(目的:下载Node.js的依赖包更加快速)
命令:npm config set registry https://registry.npmmirror.com
④安装Node.js依赖的工具包:npm install
⑤启动Web可视化界面:npm run dev(出现下图即为成功)
第五步:浏览器打开Web可视化界面:
可以看到Ollama的初始化页面,默认没有模型,需要选择,我们选择刚创建并部署的模型