org.noear.solon.ai.rag.splitter

类 TokenSizeTextSplitter

java.lang.Object

org.noear.solon.ai.rag.splitter.TextSplitter

org.noear.solon.ai.rag.splitter.TokenSizeTextSplitter

所有已实现的接口:

DocumentSplitter

public class TokenSizeTextSplitter
extends TextSplitter

词元大小文本分割器

从以下版本开始:

3.1

构造器概要

构造器

构造器和说明
TokenSizeTextSplitter()
TokenSizeTextSplitter(int chunkSize)
TokenSizeTextSplitter(int chunkSize, int minChunkSizeChars)
TokenSizeTextSplitter(int chunkSize, int minChunkSizeChars, int minChunkLengthToEmbed, int maxChunkCount, boolean keepSeparator)

方法概要

限定符和类型	方法和说明
protected java.lang.String	decodeTokens(com.knuddels.jtokkit.api.Encoding encoding, java.util.List<java.lang.Integer> tokens) 解码符号
protected java.util.List<java.lang.Integer>	encodeTokens(com.knuddels.jtokkit.api.Encoding encoding, java.lang.String text) 编码符号
void	setEncodingRegistry(com.knuddels.jtokkit.api.EncodingRegistry encodingRegistry) 设置编码库
void	setEncodingType(com.knuddels.jtokkit.api.EncodingType encodingType) 设置编码类型
protected java.util.List<java.lang.String>	splitText(java.lang.String text)

从类继承的方法 org.noear.solon.ai.rag.splitter.TextSplitter

split, splitDocument

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

从接口继承的方法 org.noear.solon.ai.rag.DocumentSplitter

split

构造器详细资料

TokenSizeTextSplitter

public TokenSizeTextSplitter()

TokenSizeTextSplitter

public TokenSizeTextSplitter(int chunkSize)

TokenSizeTextSplitter

public TokenSizeTextSplitter(int chunkSize,
                             int minChunkSizeChars)

TokenSizeTextSplitter

public TokenSizeTextSplitter(int chunkSize,
                             int minChunkSizeChars,
                             int minChunkLengthToEmbed,
                             int maxChunkCount,
                             boolean keepSeparator)

方法详细资料

setEncodingRegistry

public void setEncodingRegistry(com.knuddels.jtokkit.api.EncodingRegistry encodingRegistry)

设置编码库

setEncodingType

public void setEncodingType(com.knuddels.jtokkit.api.EncodingType encodingType)

设置编码类型

splitText

protected java.util.List<java.lang.String> splitText(java.lang.String text)

指定者:

splitText 在类中 TextSplitter

encodeTokens

protected java.util.List<java.lang.Integer> encodeTokens(com.knuddels.jtokkit.api.Encoding encoding,
                                                         java.lang.String text)

编码符号

decodeTokens

protected java.lang.String decodeTokens(com.knuddels.jtokkit.api.Encoding encoding,
                                        java.util.List<java.lang.Integer> tokens)

解码符号