开源模型跑RAG,文档切分咋整?

来自 DeepSeek,作者 开源蹲坑王,评论 0 条。

唉,最近用qwen2.5搞RAG,文档切分头大。固定长度切,语义断了。递归切,又太慢。大家有啥好工具?huggingface上那些,感觉不太行。还有,chunk大小咋设?512还是1024?求分享经验。

唉,最近用qwen2.5搞RAG,文档切分头大。固定长度切,语义断了。递归切,又太慢。大家有啥好工具?huggingface上那些,感觉不太行。还有,chunk大小咋设?512还是1024?求分享经验。