很早之前就听说过RWKV这款大模型，一直没有测过。最近我找时间体验了一把，感觉很不错。且这款产品有针对小说续写的版本，小伙伴们可以来围观一下。

产品简介

RWKV是一款开源的国产大模型，采用非Transformer架构（有别于GPT等其他常见大模型），官网学术气息浓厚。

RWKV没有提供在线AI Chat体验，需要跳转到其他平台看Demo效果。

既然提供了中文小说的Demo，我们就来体验一把用RWKV写小说的效果吧。在线Demo界面如下：

不是AI Chat的模式，而是提供了小说续写界面交互，并开放参数可调。

这次我还是以那篇超能力小说为例：

Instruction

第二件拍品是“复制能力”。

我再次点下竞拍按钮，思索良久，我写下了“我是超能力者，可以提供1年的无偿服务”。

呵呵，真可笑，我以为不需要用钱竞拍，自己就有了搏一搏的资格。细想之后才发现，自己除了钱以外，依旧一无所有。

这次，我的出价排名出现在101位，出价者总共121人。

我不甘心，这是我唯一能拿得出手的东西。如果这次不行，那只能说明，我根本不可能通过拍卖得到超能力。

这些人是凭借什么，给各种稀奇古怪的东西评估价值的？

要是能做点手脚就好了。

倒计时剩下10秒，我心中焦急万分。

这时，我灵机一动，尝试调动残余的电磁操控能力。

我与手机网络产生了感应，连接到拍卖行的直播程序之中。

我尝试以超能力影响出价排名。

眨眼间，出价排名有了变化，我的名次变成了100。

我欣喜异常，没想到居然有用！

还剩5秒。

我铆足劲，开始与程序拉扯，强行将我的排名挤到第一个。

“恭喜Light成功拍得复制超能力，稍后我们的工作人员会联系您。”

听到面具男叫出我的代号，我感觉自己一步从地狱跳到了天堂，幸福来得太突然！

我终于不用去死了。

（续写方向：阿光赶到交易地点，交易地点在老破小区。女人让阿光进去，等阿光进去就暗示手下扣住阿光，阿光才知道他们已经识破自己拍卖时作弊了。）

生成效果如下：

完整的输出内容（397字）：

第十章 交易地点

我赶到交易地点，交易地点在老破小区。

女人让阿光进去，等阿光进去就暗示手下扣住阿光，阿光才知道他们已经识破自己拍卖时作弊了。

我一路狂奔，身后的追兵穷追不舍。

他们都是高手，但我也不是吃素的。跑着跑着，我的超能力再次发动了。

“大家小心！”

一个男人喊道，他们一个个被定在原地。

“怎么回事？”

女人惊慌失措，她不敢相信自己的眼睛。

“你这是什么意思？”

我冷笑道：“没什么意思。”

说完，我转身就跑。

这时候我已经有了逃脱的方案。这里离市中心很近，如果能够找到公交车站或者地铁站，那么就可以逃脱追捕。

然而当我赶到公交车站时，却发现这里早已被封锁了起来。几个警察正在对着公交车进行搜查。

“不好！”

我心中暗叫不妙。这些警察肯定是接到了报案才赶过来的。如果他们发现了什么线索，那么很快就会找到这里来。

想到这里，我决定先撤退再说。于是我立刻转身离开了公交车站。

走出几步之后，我突然感觉自己的脚下一软。原来是有

长度限制了RWKV发挥，400 tokens属实有点少，内容微瑕，不过文字感觉很不错。

其实，关于小说创作，官方提供了指导文档和示例，如下：

本地部署

如果条件允许，可以考虑自己部署一套玩玩，这样的好处主要有两点：

• 使用不再受限制，可以试试续写更多内容，及尝试其他辅助创作能力。
• RWKV模型支持微调，想给模型喂小说的小伙伴，能亲自动手体验一把。

RWKV的本地部署非常简单，无需任何编程技术，有手就能学会，官方提供了RWKV Runner工具和详细的文档，如下：

Demo中的模型是RWKV 6的7B模型，最低得有4G显存才能跑起来，最好能有16G显存。我的小破电脑只能跑最小的模型，就给搭建简单看看部署过程吧。

首先，需要下载RWKV Runner，大概十几M。注意，下载完后不要放桌面运行，因为它一运行就会释放出一堆文件。最好在磁盘里新建一个文件夹，把RWKV Runner程序放进去再双击。

双击打开RWKV Runner（如果被Windows Defender拦截了，选择“仍要运行”继续就行），无任何安装引导流程，直接打开如下界面：

按照官方文档完成安装即可，这些模型最小也有几个G，下载需要一定的时间。

在配置页面点【运行】，RWKV Runner会自动触发相关包的下载安装，我们只要按照提示引导一步一步操作即可，几乎没有什么学习门槛。等所有依赖包安装完毕，RWKV Runner会提醒可以聊天了。

能否将RWKV接入到「Obsidian」中使用呢？

我试了试，依然用「Copilot插件」的【Add Custom Model】来接入。可以在RWKV Runner的【设置】→【高级】自行配置API Key，获取模型名称。

于是，「Copilot插件」配置如下：

• Model Name：rwkv
• Provider：3rd party（openai-format）
• Base URL（optional）：http://127.0.0.1:8000
• API Key（optional）：（你设置的API Key）

这样就能够在「Obsidian」使用RWKV啦。

微调模型

有很多小伙伴一直对微调模型跃跃欲试，RWKV就提供了这样的能力。

可惜，我没有设备来实测微调效果，感兴趣的小伙伴自己试试看吧。

小结

从Demo来看，RWKV的效果很不错，超越很多其他国产AI的效果，点赞。

加上RWKV Runner大大简化了模型部署和微调操作，让我也有点跃跃欲试，想要部署一套玩玩看。

你要不要也试试看呢？

RWKV官网：https://www.rwkv.cn/

出处：微信公众号 @不知