Qwen一键运行包，低配显卡可用，支持角色扮演！

这次更新，从各个维度来说，都非常优秀！

一方面是拉高了天花板，一方面压低了地平线。

720亿的天花板我们是摸不到了。18亿的迷你版，大部分人都能轻松驾驭了。

只需要2G显存，上古的750ti显卡，都可以一战了！

所以，这个必须出一个一键包啊！

在3060上实测，加载模型前1.1GB，加载模型之后3.5GB，比2GB多一点，但是确实差来不多了。

除了显存需求低之外，这次官方特别强调了“系统指令跟随” 这个东西。

通过调整系统指令，可以实现角色扮演，语言风格迁移，任务设定，和行为设定等能力。

这也是我比较喜欢的一个功能，上次测试过72B模型，角色扮演能力比ChatGPT都还要强。

1.8B版本虽然没有那么强，但是同样拥有这一项能力。

但是github上demo并没有提供系统指令的设置功能。

我手动添加了一个输入框和设置按钮。

只要在系统提示词这里输入特定的描述，点击设置系统提示词，就会立马生效。

命令行没有提供输入功能，而是内置了一个系统提示词，懂代码的也可以轻松修改。

上面的样式的功能。只要获取一键运行包，解压，双击run_web 或者run_cli即可体验。

一键离线运行包，一键包含了所有内容，包括18亿参数的模型，开箱即用。

当然，这个一键运行包支持Qwen系列的所有模型。如果你的显卡比较牛逼，也可以自己替换更强的模型。

从18亿量化版，到720亿完整版，任君选择！

替换起来也非常简单。

只要下载模型到本地，将整个模型文件夹放到models文件夹。

然后复制这个文件的名字，打开web_demp.py这个文件。

修改22行，把名字粘贴在红色框处，Ctrl+S保存！

再次运行，就会加载你自己设置的模型了。

软件获取方式：给公众号发送“qwen” 即可！

如果要其它Qwen模型，可以发送“jarvis” ，这个地址上我存了一些模型！