LMStuido本地运行谷歌Gemma,设备要求低,操作简单!
Gemma已经介绍过了,另外还介绍了使用代码的方式和他进行聊天。
代码这种方式,比较适合搞开发的程序员,相对门槛较高。
从使用的角度来说,用起来也不方便。
今天介绍另外一种对任何人都更友好的方式,直接使用可视化软件和Gemma进行交流。
今天要用的软件叫lmstudio,一个支持一键运行众多大模型的软件。
![](https://tonyisstark.oss-cn-hangzhou.aliyuncs.com/2024/07/image-30.png@!large)
这个软件之前有分享过。
它的最新版0.2.16已经支持Gemma模型,20亿和70亿参数的模型都支持。
这个软件挺不错,除了支持和大量开源模型聊天之外,还能启动兼容OpenAI的API服务。
对普通用户和开发者都比较友好。
软件也有多平台支持,目前已经支持Windows,Mac(Apple Silicon M系列),Linux 这三个系统。
另外软件默认好像是调用CPU进行推理,所以设备门槛就降低了很多很多。
小模型推理速度也非常不错。
![](https://tonyisstark.oss-cn-hangzhou.aliyuncs.com/2024/07/image-31.png@!large)
安装完软件之后(旧版用户记得升级),在主界面上就可以看到Google’s Gemma 2b Instruct 的卡片。在卡片中找到download,点一下就开始下载模型了。
整个过程非常简单,但是内网用户可能遇到无法下载的问题。
下载完成之后,在软件顶部下拉选择Gemma模型,等待模型加载完成就可以进行对话了。
![](https://tonyisstark.oss-cn-hangzhou.aliyuncs.com/2024/07/image-32.png@!large)
在窗口底部User后面输入内容,就可以开始聊天了。
你可以直接发中文,它能听懂,但是他会用英文回答你。
![](https://tonyisstark.oss-cn-hangzhou.aliyuncs.com/2024/07/image-33.png@!large)
这种中英互聊也是挺有意思的。如果你想让他回复中文,请明确地告诉他。
比如“请用中文回答我,你可以说中文么”。
如果每次聊天都要说一下肯定会比较麻烦,这个时候系统指令就派上用场了。
![](https://tonyisstark.oss-cn-hangzhou.aliyuncs.com/2024/07/image-34.png@!large)
在System Prompt中输入“请说中文”。然后窗口底部会出现一个重新加载模型的按钮,点一下。
模型加载完成之后,就是纯中文了。
这个模型可以正确回答自我认知的问题。
也可以做一些简单知识问答。
![](https://tonyisstark.oss-cn-hangzhou.aliyuncs.com/2024/07/image-35.png@!large)
但是如果你想和它进行意识层面的深入交流,那肯定是不行滴…
![](https://tonyisstark.oss-cn-hangzhou.aliyuncs.com/2024/07/image-36.png@!large)
活脱脱就是一个还在擦鼻涕的小朋友的表现,没断奶的那种。
谷歌在一波AI浪潮中确实显得有点步履蹒跚…很想证明自己,但是感觉有点力不从心,老马还在X上疯狂吐槽谷歌ZZ正确。
![](https://tonyisstark.oss-cn-hangzhou.aliyuncs.com/2024/07/image-37.png@!large)
不过从最新更新的模型来看,实用性上已经达到了一定的水准。
Bard更名Gemini ,升级pro之后,体验已经好了很多了。虽然目前网页上能体验到的还是1.0版本,但是在一些实际问题中已经可以和GPT4掰手腕了。
尤其是它的回答速度巨快,免费,没有限额,另外天然就融入了谷歌搜索引擎的结果,有些问题能回答得更全面和准确。
有空的话,我会就一些具体的问题,做一个免费版Gemini和收费GPT4的对比。
Gemma 作为谷歌的开源版Gemini,后续肯定还会有升级。所以,我们可以先学会怎么玩,以后只要坐等更新就可以了。
最后说一下软件官网:
访问官网和下载模型,对国内的朋友来说可能会比较困难。
我已经将模型和软件传到网盘!
给公众号发送lms获取!
看到这里眼睛都有点累了吧,那就动动小手吧!哈哈!