使用Jan,把你的PC变成AI机器!支持在Windows,MacOS,Linux上运行大语言模型!

最近有个概念叫“AIPC” ,听起来很牛逼,其实就是让PC运行AI算法&软件,比如运行大语言模型。

我们并不需要特意去买台联想电脑,完全可以用现成的软件把你的电脑变成AIPC

昨天分享了一个运行Llama3大语言模型的软件叫LMStudio

有人在评论中反馈,有更好的开源软件叫Jan

我看了一下果然不错,所以立马来给大家分享了。

这个软件的官网就有这样一句话“Rethink the Computer, Turn your computer into an AI machine

翻译一下大概是,重新思考电脑的定位,把它转变成AI机器。

这句话很有意思啊。

这里的电脑肯定指的是个人电脑(PC,Person Computer)!

这个理念非常不错,我们就是要把所有AI塞进自己的电脑,而不依赖任何中心化的服务器。

也许死气沉沉的PC市场,是应该有一些变化了。

说回软件,我们来看看Jan有哪些特性,然后再说说具体的使用方法!

完全开源

lmstudio其实已经是一个不错的软件了,但是它属于闭源软件,而Jan是开源的,对于软件开发者来说,代码学习者来说,就会更友好了。

多平台支持

Jan 可以在任何硬件上运行,支持的平台有:

  •  Nvidia GPUs (fast)
  •  Apple M-series (fast)
  •  Apple Intel
  •  Linux Debian
  •  Windows x64

这一点也是非常优秀了!

支持三大操作系统,支持苹果的Inter系列和M系列,所以基本上的PC用户都能用上!

另外,除了可以完全离线运行开源模型之外,也内置了对在线模型的支持,比如 OpenAI。

除此之外,也支持在本地运行Server,提供API服务!

说完特性,我们赶快来使用一下吧!

下面就完整地展示一下软件的使用方法。

1.下载并安装

这一步非常简单。

打开官网下载对应的版本即可。

官网地址:https://jan.ai

我这里演示的是Windows版本,下载之后直接双击EXE安装即可。

这个软件图标Logo有点意思啊!

2.下载模型

软件安装完成之后,需要先下载一个模型。

这里以国内比较好的开源模型Qwen为例子。

点击①图标,进入模型展示界面,这个界面上列出了一些模型。只要选择你需要的直接下载即可。

通过②处的检索功能,可以快速搜索模型。

通过③处可以下载模型。因为我已经下载过了所以图片中显示的为使用(USE)。

下载过程左下方会有进度条,需要魔法才能下载!

3.使用模型

模型下载成功之后,就可以选择模型,然后进行对话了。

在对话界面右侧中间区域,点击Model下面的下拉框,选中我们需要的模型。

我们只下载了一个Qwen,所以直接在Local下面选择Qwen就可以了。

选择成功之后,就立马可以开始对话了。

Qwen是一个非常不错的中文对话模型,你可以尝试各种问题。

4.导入外部模型

我们在上一篇文章中使用了最新发布的Llama3模型,而在Jan上却找不到。那么,如果我们想在Jan上使用这个模型该怎么办呢?

好办!我们可以使用它的导入功能。

点击导入模型(Import Model)

然后会跳出一些界面,需要简单操作一下。

把模型拖动到窗口中,或者点击打开一个文件夹选择器,选中模型所在的文件夹。

选中导入文件夹(Import Folder)

选中一个具有GGUF模型文件的文件夹。

我这里用的是上次在LMStudio中下载的Llama3模型。

择保持原始文件&创建软链接(Keep Original Files & Symlink)

这么做的好处是,减少重复文件,节省硬盘空间。相当于同一个模型文件,可以同时给多个软件使用,不需要搬运复制。

最后点击继续导入(Continue Importing)

导出成功之后,就可以使用这个模型了。

在对话界面中,选中Llama3模型,就可以直接开始对话了。

Llama3的英文能力比较好,英语比较好的可是使用这个模型。

大语言模型的容错率还是比较强的,你即便语法不对,拼写错误,也能正确理解你的意思。

说完了模型安装和模型导入。我们接下来说一个看起来并不重要,实际上很重要的问题。

6.修改模型路径

这个软件默认的模型保存路径在C盘的用户目录下,这一点有时候很要命。

大模型文件动不动就几个G,随便下几个模型,就能把C盘给塞爆咯。

所以,这个必须改掉。

修改方式如上图。

点击①设置

点击②扩展选项(Advanced Settings)

点击③ 数据文件设置(Jan Data Folder)后面的小笔。

然后选中一个比较大的硬盘路径。

7.使用在线模型

本地模型有足够的自由度,但是说起绝对的能力,还是闭源在线模型强一点。

所以,有需要的情况下,我们也可以直接在这个软件上使用ChatGPT等在线模型。

设置方式如上图。只要在秘钥(APIKey)的地方设置一个OpenIA的Key就好了。这个key可以在OpenAI官网获取!

当然这是收费滴,而且只有本地环境能访问OpenAI的情况下才可以使用。

除了OpenAI之外,这里还有好几个在线引擎(Engine),可以根据自己的喜好和应用场景进行选择。

8.提供API服务

这个软件的功能也是非常完善,有普通用户使用的功能,也有适合高阶玩家的功能。

比如,除了我使用别人的API之外,我也可以提供兼容OpenAI的API。

设置方式如上图。

点击①图标

选择②模型

点击③启动服务。

启动成功之后,就可以通过设定好的网址,端口和API前缀提供API服务了。

根据官方文档介绍,后续可能还会集成微调服务

这个项目方还特别强调了以下几点:

  • 不会索要个人信息
  • 完全免费,没有收费版本
  • 不会发代币,没有ICO(这个有点意思)
  • 目前没有积极筹款或寻求捐赠

这么好的项目,值得去点个Star,也别忘了给这篇文章点个

关于这个软件的核心用例和设置应该都提到了,如果还有什么问题可以留言或者阅读官方文档。

这个项目的githubdoc也做的非常优秀,高搞技术写代码的可以去观摩一下。

github:

https://github.com/janhq/jan

doc:

https://jan.ai/docs

最后,有需要软件和模型的,可以给公众号发送”jan” 。


记得活动一下手指,改点的地方点一点!

收工收工!

 

小尾巴==========================
公众号:托尼不是塔克
交流群
知识星球
==============================