在构建RAG这类基于LLM的应用程序中，分块（chunking）是将大块文本分解成小段的过程。 当我们使用LLM embedding内容时，这是一项必要的技术，可以帮助我们优化从向量数据库被召回 …

2024年10月29日 · 文本分块（chunk）最核心的目的就是把相同语义的 token 聚集在一起，不同语义的 token 互相分开，利于后续的 retrieve 和 rerank。 举个例子：我们有一个 word 文档，分 …

2024年8月2日 · Text chunking, also known as text segmentation, involves dividing text into smaller units that can be processed more efficiently. These units can be sentences, …

2024年12月10日 · 大多数常用的数据分块方法（chunking）都是基于规则的，采用 fixed chunk size（译者注：将数据或文本按照固定的大小进行数据分块）或 overlap of adjacent chunks（ …

2024年10月16日 · To implement Meta-Chunking, we designed Perplexity (PPL) Chunking, which balances performance and speed, and precisely identifies the boundaries of text chunks by …

分块（Chunking）是构建 检索增强型生成（RAG）应用程序中最具挑战性的问题。 分块是指切分文本的过程，虽然听起来非常简单，但要处理的细节问题不少。

2024年11月16日 · Chonkie是为RAG任务设计的 轻量级 文本分块库，以快速性能和易于使用著称，旨在解决传统文本分块库的效率和体积问题。 核心特点包括多种分块器、9.7MB的轻量级安 …

2024年8月27日 · 本质是基于 滑动窗口 的思想，依次计算 相邻的两句话之间的语义相似度，满足 阈值 的视为表示同样的语义/主题，会划分到同一个块中，不满足阈值的则进行切分。 3. 基于 …

2023年7月20日 · In this article, we’ll explore and compare these two distinct approaches to text chunking. We’ll represent rule-based methods with NLTK, Spacy, and Langchain, and contrast …

2024年3月27日 · Paragraph-level chunking in Python involves splitting a text document into segments based on paragraphs. You can achieve this using various techniques, such as …