LLM生成结果可控性探讨

很多情况下我们需要LLM(GPT、Llama、ChatGLM等)生成特定的内容格式(比如是JSON),这样我们才能将LLM的能力从简单的可读性文本输出提升到结构化的输出,也只有这样我们才能实现LLM驱动的丰富应用场景。

先留个坑,后面慢慢补充,大家感兴趣的话可以一起探讨

LLM生成结果的可控性取决于您使用的LLM包装器和代理的类型。如果您使用LLamaCpp包装器,您可以直接访问Low-Level Math库,并有更多的控制权和可定制性。这意味着您可以直接编写代码来控制数学计算过程,以及如何处理和返回结果。

另一方面,代理的可控性可能会受到限制。代理可以是高级别的接口或服务,其目的是隐藏底层实现细节并提供更简单的使用方式。代理通常具有默认设置和行为,您可能无法直接控制生成结果的各个方面。然而,代理也可以提供更强大的功能,并允许在更大和更复杂的模式上使用LLM。

总而言之,如果您希望获得更多的控制性和可定制性,直接使用LLamaCpp包装器可能是更好的选择。但如果您更关注简化的使用和更强大的功能,则使用代理可能更合适。具体取决于您的需求和使用场景。