四合一软件包来咯,千问和千问视觉,百川2,书生!

一个安装包,把国内最强的“开源GPT”装到自己的电脑里!不管你懂不懂技术,只要显卡到位,立马搞起来。

 

一键包已经包含了 阿里千问(Qwen),百川2(baichuan),书生(InternLM) 这三个开源大语言模型,外加一个千问的视觉语言大模型。具体的介绍可以参考之前的文章。《玩一玩“baichuan2”,很强的中文开源模型,2060s即可流畅运行》和《本地运行140亿参数,阿里千问玩起来!Qwen+Win11+3060》。

配置够的话,可以直接运行Qwen-VL版,除了常规的对话能力外,还有比较强大的图片识别能力。

比如上面的例子中,它能在完全离线的情况下识别出图中有三辆车以及他们的品牌,能正确理解左右关系,能知道车的具体型号,车型,价格。

除了上面的问题之外 ,你还可以尝试更多的问题。

比如给出一张图片,问它这是哪里。

还可以同时给出两张图片,它也能准确区分第一张和第二张。

你也可以通过海报问它电影相关的内容。

除了简单的给出一张图片,直接让他描述,以及特定领域图片的问答之外。它还能识别图片中的文字。并且展现出一定的理解能力。

 

试了很多次,并不是每次都准。但是可以看得出,它确实能识别文字,并且懂得一些基本的对应关系。官方还给了另外一个例子,就是通过一张菜单,让他计算指定食物的总价。

现在越来越多的模型都往多模态方向发展了,不过能本地跑起来的还不多。下面简单说一下硬件要求。

硬件要求:

英伟达显卡,显存8G+,视觉模型12G + 。

使用方法:

获取压缩包并解压 ,双击对应的EXE打开。

推荐使用第一个,直接打开网页版,支持流式返回。

第二个是命令行版。

第三个是带图片理解能力的视觉语言模型。

上面两个打开之后,会让你选择具体的模型。

搞不明白的话,直接回车就好了。

接下来就是自动加载模型了,模型比较大,需要一些时间。具体时间和你的硬盘读写速度有关!

加载完整自动调用浏览器打开网页,只要输入你的问题,点击提交就可以开始提问聊天了。也可以直接点击红色框中的问题,快速提问。

操作很简单,如果无法使用,就看一下硬件设备是否达标。

视觉版的用法也类似,只是不用选模型了,直接双击打开。

 

根据提示打开浏览器并输入URL:http://127.0.0.1:8000

打开后,①先上传图片,②输入内容,③点击发送。

使用界面很简单,不做过多赘述了。

关于模型

考虑到一键包的整体性和压缩包的大小问题。一键包里默认包含了一个百川7b的量化模型和一个千问的视觉模型,只要下载解压立马可以使用。

另外如果想体验更强大的模型,可以单独下载模型放到指定的文件夹里面。

目前支持的模型有:

  • 千问系列
  • 百川系列
  • 书生系列

只要在网上下载整个模型文件,放到对应的位置,启动软件,选择模型,即可使用。

软件包获取方式

给公众号“托尼不是塔克“发送“jarvis” 。

 

小尾巴==========================
公众号:托尼不是塔克
交流群
知识星球
==============================