使用Jan，把你的PC变成AI机器！支持在Windows，MacOS，Linux上运行大语言模型！

最近有个概念叫“AIPC” ，听起来很牛逼，其实就是让PC运行AI算法&软件,比如运行大语言模型。

我们并不需要特意去买台联想电脑，完全可以用现成的软件把你的电脑变成AIPC。

昨天分享了一个运行Llama3大语言模型的软件叫LMStudio。

有人在评论中反馈，有更好的开源软件叫Jan。

我看了一下果然不错，所以立马来给大家分享了。

这个软件的官网就有这样一句话“Rethink the Computer, Turn your computer into an AI machine”

翻译一下大概是，重新思考电脑的定位，把它转变成AI机器。

这句话很有意思啊。

这里的电脑肯定指的是个人电脑（PC，Person Computer）!

这个理念非常不错，我们就是要把所有AI塞进自己的电脑，而不依赖任何中心化的服务器。

也许死气沉沉的PC市场，是应该有一些变化了。

说回软件，我们来看看Jan有哪些特性，然后再说说具体的使用方法！

完全开源

lmstudio其实已经是一个不错的软件了，但是它属于闭源软件，而Jan是开源的，对于软件开发者来说，代码学习者来说，就会更友好了。

多平台支持

Jan 可以在任何硬件上运行，支持的平台有：

•  Nvidia GPUs (fast)
•  Apple M-series (fast)
•  Apple Intel
•  Linux Debian
•  Windows x64

这一点也是非常优秀了！

支持三大操作系统，支持苹果的Inter系列和M系列，所以基本上的PC用户都能用上！

另外，除了可以完全离线运行开源模型之外，也内置了对在线模型的支持，比如 OpenAI。

除此之外，也支持在本地运行Server，提供API服务！

说完特性，我们赶快来使用一下吧！

下面就完整地展示一下软件的使用方法。

1.下载并安装

这一步非常简单。

打开官网下载对应的版本即可。

官网地址：https://jan.ai

我这里演示的是Windows版本，下载之后直接双击EXE安装即可。

这个软件图标Logo有点意思啊！

2.下载模型

软件安装完成之后，需要先下载一个模型。

这里以国内比较好的开源模型Qwen为例子。

点击①图标，进入模型展示界面，这个界面上列出了一些模型。只要选择你需要的直接下载即可。

通过②处的检索功能，可以快速搜索模型。

通过③处可以下载模型。因为我已经下载过了所以图片中显示的为使用（USE）。

下载过程左下方会有进度条，需要魔法才能下载！

3.使用模型

模型下载成功之后，就可以选择模型，然后进行对话了。

在对话界面右侧中间区域，点击Model下面的下拉框，选中我们需要的模型。

我们只下载了一个Qwen，所以直接在Local下面选择Qwen就可以了。

选择成功之后，就立马可以开始对话了。

Qwen是一个非常不错的中文对话模型，你可以尝试各种问题。

4.导入外部模型

我们在上一篇文章中使用了最新发布的Llama3模型，而在Jan上却找不到。那么，如果我们想在Jan上使用这个模型该怎么办呢？

好办！我们可以使用它的导入功能。

点击导入模型（Import Model）

然后会跳出一些界面，需要简单操作一下。

把模型拖动到窗口中，或者点击打开一个文件夹选择器，选中模型所在的文件夹。

选中导入文件夹（Import Folder)

选中一个具有GGUF模型文件的文件夹。

我这里用的是上次在LMStudio中下载的Llama3模型。

选择保持原始文件&创建软链接（Keep Original Files & Symlink）

这么做的好处是，减少重复文件，节省硬盘空间。相当于同一个模型文件，可以同时给多个软件使用，不需要搬运复制。

最后点击继续导入（Continue Importing）

导出成功之后，就可以使用这个模型了。

在对话界面中，选中Llama3模型，就可以直接开始对话了。

Llama3的英文能力比较好，英语比较好的可是使用这个模型。

大语言模型的容错率还是比较强的，你即便语法不对，拼写错误，也能正确理解你的意思。

说完了模型安装和模型导入。我们接下来说一个看起来并不重要，实际上很重要的问题。

6.修改模型路径

这个软件默认的模型保存路径在C盘的用户目录下，这一点有时候很要命。

大模型文件动不动就几个G，随便下几个模型，就能把C盘给塞爆咯。

所以，这个必须改掉。

修改方式如上图。

点击①设置

点击②扩展选项（Advanced Settings）

点击③ 数据文件设置（Jan Data Folder）后面的小笔。

然后选中一个比较大的硬盘路径。

7.使用在线模型

本地模型有足够的自由度，但是说起绝对的能力，还是闭源在线模型强一点。

所以，有需要的情况下，我们也可以直接在这个软件上使用ChatGPT等在线模型。

设置方式如上图。只要在秘钥（APIKey）的地方设置一个OpenIA的Key就好了。这个key可以在OpenAI官网获取！

当然这是收费滴，而且只有本地环境能访问OpenAI的情况下才可以使用。

除了OpenAI之外，这里还有好几个在线引擎（Engine），可以根据自己的喜好和应用场景进行选择。

8.提供API服务

这个软件的功能也是非常完善，有普通用户使用的功能，也有适合高阶玩家的功能。

比如，除了我使用别人的API之外，我也可以提供兼容OpenAI的API。

设置方式如上图。

点击①图标

选择②模型

点击③启动服务。

启动成功之后，就可以通过设定好的网址，端口和API前缀提供API服务了。

根据官方文档介绍，后续可能还会集成微调服务！

这个项目方还特别强调了以下几点：

• 不会索要个人信息
• 完全免费，没有收费版本
• 不会发代币，没有ICO（这个有点意思）
• 目前没有积极筹款或寻求捐赠

这么好的项目，值得去点个Star，也别忘了给这篇文章点个赞！

关于这个软件的核心用例和设置应该都提到了，如果还有什么问题可以留言或者阅读官方文档。

这个项目的github和doc也做的非常优秀，高搞技术写代码的可以去观摩一下。

github：

https://github.com/janhq/jan

doc：

https://jan.ai/docs

最后，有需要软件和模型的，可以给公众号发送”jan” 。

记得活动一下手指，改点的地方点一点！

收工收工！