huggingfacehub上有没有开放的语言模型可以被langchain在线调用,进行中文问答的

huggingfacehub上有没有开放的语言模型可以被langchain在线调用,进行中文问答的(本地部署对服务器要求太高了,用openai需要消耗token)。

langchain代码示例:

from langchain.llms import HuggingFaceHub
llm = HuggingFaceHub(repo_id="OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5")
print(llm("xxx"))

我找了几个中文的模型,但回答结果都不满意:

以下为我的问题

基于下面的内容,回答我的问题: 学校A有学生:张三、李四,张三喜欢打篮球,李四喜欢打排球。学校B有学生:王五、赵六,王五喜欢打篮球,赵六喜欢打棒球。

我的问题:哪些学生喜欢打篮球和打排球?

答案必须是json形式:{ ‘basketball’ : [ ‘xxx’, ‘xxx’ ], ‘volleyball’ : [ ‘xxx’ ] },其中basketball的值为喜欢打篮球的学生的姓名,volleyball的值为喜欢打排球的学生的姓名

以下为我想要的答案

{
  "basketball": ["张三", "王五"],
  "volleyball": ["李四"]
}

这种答案是错误的,我的结果只要json

根据提供的信息,学校A有两个学生,张三喜欢打篮球,李四喜欢打排球;学校B也有两个学生,王五喜欢打篮球,赵六喜欢打棒球。因此,喜欢打篮球的学生有张三和王五,喜欢打排球的学生有李四。根据要求,下面是喜欢打篮球和打排球的学生名单的JSON格式输出:

{
  "basketball": ["张三", "王五"],
  "volleyball": ["李四"]
}

HuggingFaceHub上有很多开放的语言模型可以被LangChain在线调用,用于中文问答任务。你可以通过使用HuggingFaceHub包装器来调用这些模型。具体的操作步骤可以参考HuggingFaceHub的文档或教程。

给一些fewShot放到模型中,让模型做incontext-learning。

不过说回来,既然你都使用开源模型了,可以基于你场景做SFT啊