
在旧款MacBook Pro上运行deepseek R1 32b模型的效果
一、机器的配置:
我用的是2021款的16寸MacBookPro,具体配置是M1Pro+32G统一内存+1T硬盘。Mac的统一内存是个好东西,32G的内存机器不难搞,32G显存的显卡可是贵多了。
在统一内存架构的加持下,这个机器可以近似当做32G显存的电脑来用。
二、环境的搭建
我使用的环境是ollama+chatbox,在ollama里直接下载了deepseek r1的32b模型,也就是320亿参数,对应的模型文件大小是差不多20G。
另外,还下载了阿里的QWEN2.5 32b模型,模型文件的大小也一样也是接近20G。
三、使用验证一下
先让它写一首诗,简单的七言绝句。
在模型运行过程中,CPU使用率基本没有波动,内存使用急剧增加,见上图,32G内存占了80%出头。
我们来看一下AI输出的结果:
思考的过程很全面,耗时也比较长。
蝉鸣树影日初斜,荷香满袖映朝霞。风起绿波翻翠浪,云生碧宇走龙蛇。
(注:此诗描绘了夏日正午时分的景象。蝉鸣声中,树影斑驳,太阳刚刚偏西;荷花香气扑鼻,衣袖上仿佛沾满了花香,映照在朝霞之中。忽然风起,绿色的水波翻滚如翠浪;云气升腾,在碧蓝的天空中如同龙蛇般游走,形容夏日天气多变而富有动感。)
总体耗时1分钟左右。
下面有意思的事情来了, 我有问了一些其他其他问题,下面这个问题给我整懵了,直接看图吧,对于这个问题的回答,多次提问,结果差异好大。
而且,对于这个问题,deepseek没有给出思考过程。
出处:头条号 @韬哥杂谈