推荐阅读:《如何用 ChatGPT 构建你的专属知识问答机器人》by Frank Zhao
这篇文章介绍了如何使用 ChatGPT 和 fine-tune 模型来构建智能问答机器人,并提供了使用 Sealos 文档进行 fine-tune 的实例。
成本这个很有意思:
“其实最大的对比还是成本的对比,ChatGPT 由于没有 fine-tune,所以成本就只有每次问答的成本,但由于大部分时候需要带大量的 prompts,其实隐性的成本是挺高的,我们经常可以看到一个简短的问题会带有上千个字符的 prompts。
而 davinci 的 fine-tune 模型的训练成本是较高的,Sealos 文档的训练一共向专属模型中输入了 25 万多个 token,训练时间 1 个小时左右,成本 8 美元。但一旦获得专属模型后,后续的聊天中就不再需要做预检索和背景知识的 prompts 了,可以直接进行关于该领域的知识问答。不仅 token 消耗会变小,而且速度也会更快。“
看来使用 ChatGPT 和 fine-tune 模型构建智能问答机器人,提高了问答的精确度和效率。
fine-tune 模型的训练成本较高,但一旦获得专属模型后,后续的聊天中就不再需要做预检索和背景知识的 prompts 了,可以直接进行关于该
登录后可查看完整内容,参与讨论!
立即登录