RecursiveCharacterTextSplitter和CharacterTextSplitter代码随读

直接说结论：优先使用RecursiveCharacterTextSplitter，输入一个separator list。优先划分大的符号放到前面，比如句号，分号，划分小块的放到后面。 如果想让separator 不生效，就放一个原文中不会出现的一个符号，如果separator 为空的话，会有一个默认
posted @ 2024-03-22 15:12  dmesg  阅读(592)  评论(0)  编辑  收藏  举报