LangChain+ChatGLM

Langchain怎么调用ChatGLM,像调用openAI那样,获得一个api_key就可以使用线上的chatGLM。目前我知道智普平台的chatGLM可以申请api_key,但是不知道怎么接入LangChain。

我自己搭了一个云ChatGLM,并使用langChain通过api访问,无需apikey,就是要花点算力。

现在,我在服务器搭了一个langchain+chatGlm,langchain官网说可以自定义调用llm模型,也找到了代码可以调用。但是我本地电脑配置不够跑不了大模型,每次改完代码还要放到服务器去执行。还在找解决办法

chatGLM部署的那台服务器直接自带的api.py提供接口调用服务。然后langchain在进行调用的时候,就直接封装这个接口。这样api.py应该不用每次都改。

能不能让我调用一下你的glm2-6b的api?我的小电脑不够用

我是在内网搭建的,外网访问不了 :rofl:

发现使用fastchat可以类似openai的方式调用,只要重写openai接口,指定OPENAI_API_KEY,OPENAI_API_BASE,指定模型为chatglm,就可以调用。fastchat api地址https://github.com/lm-sys/FastChat/blob/main/docs/openai_api.md