我寻思这文章好像没什么问题,符合各项要求,可就是要把我打回。
GLM和GPT相比,还是差了亿点的,我想让两个GLM开一个辩论会,结果
(资料图)
但是基本上也能完成许多基础的对话任务,个人感觉还是不错的。
声明:
为了方便给别人安利这个东西,于是我就写了这篇文章。我的python代码能力不强,所以很多东西都是东拼西凑的,那有什么是我自己原创的呢,有,我看别人用gradio做了web的界面,但是我嫌麻烦,于是用Qt换了个皮,实现了一些基础的交互,但实在缺少优化。这部分应该也算原创,毕竟我自己对于这个项目的实现还是很满意的。最后我会分享一下代码。
但是我不会直接把所有东西一起打个包来分享,我会分开来发,因为我会介绍每一个部分是干什么的,之后如果出问题了自己也好解决。
目前界面长这样,丑是真的丑,但看懂应该也没什么问题:
本人声明:GLM开源,商业用途的解释权在他官方手里,我仅仅作为学习用途使用。
第一步:模型
要求英伟达卡,显存6G以上。首先下载安装英伟达cuda的11.7.0_516.01版本,安装完成后默认情况下环境变量会自动配置好。我提供:盘.百度.亢母/s/1jOvy0英伟达T2ADIm英伟达tHCpjdM英伟达Wegw 取mq6l
然后获得模型,可以在Hugging Face上直接下:hugg模型ingface.co/THU模型DM/chat模型glm-6b,网实在不好的话,我提供:盘.百度.亢母\s\1C模型5r7xGd模型l5_Vj模型dhFEPp模型G18Q 取ghwt
(压缩包设置了分卷,需要全部下到同一路径,打开其中的zip文件解压)
第二步:环境
获得python以及环境,我的环境资源主要来源于BV1E24y1u7Go,但是我又自行添加了一些其他的库,所以这里我也提供:盘.百度.亢母\s\17zXy环境U98G环境LAUtu环境KYLY环境SIT-Q 取4xz0
我这里同时把需要用的ui文件也分享一下:盘.百度.亢母\s\1ugLqa界面qXmZ界面jzfzW界面m6P1c界面ZDQ 取k226
第三步:解压
如果下好了前面两步的东西了,我就介绍一下怎么解压。首先自己选一个存放路径,足够大即可,新建一个文件夹作为项目文件夹,绝不允许有中文路径。把模型压缩包里的“model”路径解压到项目文件夹中;把环境压缩包里的“py310”路径解压到项目文件夹中;把UI压缩包里的“qtgui”路径解压到项目文件夹中。
这时你的项目应该是这样的:
━ChatGLMProject
┗━model
┗━py310
┗━qtgui
第四步:脚本
在工程目录的根目录里创建一个python脚本,文件拓展名为“.py”,作为使用脚本。我的示例文件名为“QtTalkToChatGLM.py”。源码如下:
在工程目录的根目录里创建一个shell脚本,文件拓展名为“.bat”,作为启动脚本。我的示例文件名为“OpenQtGUI.bat”。其实就是设置用什么环境来运行什么脚本。源码如下:
这时你的项目文件夹应该是这样的:
━ChatGLMProject
┗━model
┗━py310
┗━qtgui
┗━OpenQtGUI.bat
┗━QtTalkToChatGLM.py
第五步:运行
接下来要配置一下代码的显存模式:用任何文字编辑器打开python脚本,在第19和20行那里有一个整数,有四种模式,根据显存设置即可。
接下来双击OpenQtGUI.bat启动测试,如果控制台显示“Traceback”报错就把控制台关掉重新启动一遍bat文件,这个不影响。
初始化过程可能会等一段时间,6G2060大概要等3分钟。
当UI上的骚粉色提示变灰了之后就可以点右边的“提交文段”按钮来上传文本,AI回复需要一定的时间,推荐先用“你好”先测试一下。
右下角允许保存加载历史,保存的历史文件默认在工程目录的“outputs”文件夹里,加载的时候将历史文件拖到“加载历史”左边的文本框里,点击“加载历史”即可。“删除历史”会删除所有递给AI的上下文语境,此时需要使用“加载历史”来恢复。按钮默认是灰的,需要勾选按钮左边的锁才能点击。
目前这个东西很多地方不太完善,比如说我想弄一个实时打字机效果,但感觉自己没能力做出来;以及QTextBrowser如何加载他生成的markdown,这也没有做出来;更别说界面美化、改一下字体啊什么的,我之后试试解决这些问题。
6G卡体验上确实是丐卡,双开两个模型,控制台直接overflow了,之后想办法整一个24G的。
关键词:
-
【速看料】[个人使用] 清华ChatGLM本地丐机部署,附带资源(至少需要N卡6G显存)2023-04-22
-
乾隆帝御笔《御制澄怀堂诗》七言诗 历经三百年首次公开面世_天天微资讯2023-04-22
-
环球今头条!超越德克!库里季后赛总得分升至历史第16位2023-04-22
-
子规 天天微头条2023-04-22