搭建本地知识库时，TextSplitter用哪个会好点，有没有大佬做过评测啊，gpt-3.5-turbo的编码计算token的encoding_name是什么，因为使用azure openai要考虑成本问题。
要选择文档分割器，您可以考虑以下几个因素：
- 文本类型：不同类型的文本可能需要不同的处理方式。例如，对于英文文本，可以使用句子分割器来将文本拆分为句子。而对于中文文本，则可以使用中文分词工具来将文本拆分为词语。
- 文档长度：如果您处理的是较长的文档，可以选择一种分割器，将文本拆分为较小的块，以便更好地处理和管理。
- 上下文关系：某些分割器可能保留文本块之间的上下文信息，以便更好地理解语义关系。例如，能够保留句子之间的语义关联性。
- 性能要求：不同的分割器可能具有不同的计算性能和效率。您可以根据您的需求选择适合的分割器。
根据您的具体需求和文档类型，您可以选择适合的文档分割器，比如字符文本分割器、NLTK文本分割器、Spacy文本分割器等。查看相关文档以了解更多关于每个分割器的详细信息和用法。