四合一软件包来咯,千问和千问视觉,百川2,书生!
一个安装包,把国内最强的“开源GPT”装到自己的电脑里!不管你懂不懂技术,只要显卡到位,立马搞起来。
一键包已经包含了 阿里千问(Qwen),百川2(baichuan),书生(InternLM) 这三个开源大语言模型,外加一个千问的视觉语言大模型。具体的介绍可以参考之前的文章。《玩一玩“baichuan2”,很强的中文开源模型,2060s即可流畅运行》和《本地运行140亿参数,阿里千问玩起来!Qwen+Win11+3060》。
配置够的话,可以直接运行Qwen-VL版,除了常规的对话能力外,还有比较强大的图片识别能力。
比如上面的例子中,它能在完全离线的情况下识别出图中有三辆车以及他们的品牌,能正确理解左右关系,能知道车的具体型号,车型,价格。
除了上面的问题之外 ,你还可以尝试更多的问题。
比如给出一张图片,问它这是哪里。
还可以同时给出两张图片,它也能准确区分第一张和第二张。
你也可以通过海报问它电影相关的内容。
除了简单的给出一张图片,直接让他描述,以及特定领域图片的问答之外。它还能识别图片中的文字。并且展现出一定的理解能力。
试了很多次,并不是每次都准。但是可以看得出,它确实能识别文字,并且懂得一些基本的对应关系。官方还给了另外一个例子,就是通过一张菜单,让他计算指定食物的总价。
现在越来越多的模型都往多模态方向发展了,不过能本地跑起来的还不多。下面简单说一下硬件要求。
硬件要求:
英伟达显卡,显存8G+,视觉模型12G + 。
使用方法:
获取压缩包并解压 ,双击对应的EXE打开。
推荐使用第一个,直接打开网页版,支持流式返回。
第二个是命令行版。
第三个是带图片理解能力的视觉语言模型。
上面两个打开之后,会让你选择具体的模型。
搞不明白的话,直接回车就好了。
接下来就是自动加载模型了,模型比较大,需要一些时间。具体时间和你的硬盘读写速度有关!
加载完整自动调用浏览器打开网页,只要输入你的问题,点击提交就可以开始提问聊天了。也可以直接点击红色框中的问题,快速提问。
操作很简单,如果无法使用,就看一下硬件设备是否达标。
视觉版的用法也类似,只是不用选模型了,直接双击打开。
根据提示打开浏览器并输入URL:http://127.0.0.1:8000
打开后,①先上传图片,②输入内容,③点击发送。
使用界面很简单,不做过多赘述了。
关于模型
考虑到一键包的整体性和压缩包的大小问题。一键包里默认包含了一个百川7b的量化模型和一个千问的视觉模型,只要下载解压立马可以使用。
另外如果想体验更强大的模型,可以单独下载模型放到指定的文件夹里面。
目前支持的模型有:
- 千问系列
- 百川系列
- 书生系列
只要在网上下载整个模型文件,放到对应的位置,启动软件,选择模型,即可使用。
软件包获取方式
给公众号“托尼不是塔克“发送“jarvis” 。