在构建RAG这类基于LLM的应用程序中，分块（chunking）是将大块文本分解成小段的过程。 当我们使用LLM embedding内容时，这是一项必要的技术，可以帮助我们优化从向量数据库被召回的内容的准确性。

2024年10月29日 · 文本分块（chunk）最核心的目的就是把相同语义的 token 聚集在一起，不同语义的 token 互相分开，利于后续的 retrieve 和 rerank。 举个例子：我们有一个 word 文档，分为多个段落，每个段落都是一个问题的问答对。 那么显然把一个问答对作为一个 chunk 划分是最理想的结果。 但是实际情况要复杂的多：图像的语义怎么描述？ 代码处理？ 不同类型文件差异？ 干扰项如何消除？ 表格怎么正确识别，超长段落如何处理？ 段落间关系怎么处理等等！ …

2024年8月2日 · Text chunking, also known as text segmentation, involves dividing text into smaller units that can be processed more efficiently. These units can be sentences, paragraphs, or even phrases, depending on the application. The primary goal is to enhance the performance of NLP models by providing them with more contextually relevant pieces of text.

2024年12月10日 · 大多数常用的数据分块方法（chunking）都是基于规则的，采用 fixed chunk size（译者注：将数据或文本按照固定的大小进行数据分块）或 overlap of adjacent chunks（译者注：让相邻的数据块具有重叠内容，确保信息不会丢失。 ） 等技术。 对于具有多个层级结构的文档，可以使用 Langchain 提供的 RecursiveCharacterTextSplitter，这种方法允许将文档按照不同的层级进行分割。

2024年10月16日 · To implement Meta-Chunking, we designed Perplexity (PPL) Chunking, which balances performance and speed, and precisely identifies the boundaries of text chunks by analyzing the characteristics of context perplexity distribution.

分块（Chunking）是构建 检索增强型生成（RAG）应用程序中最具挑战性的问题。 分块是指切分文本的过程，虽然听起来非常简单，但要处理的细节问题不少。

2024年11月16日 · Chonkie是为RAG任务设计的 轻量级 文本分块库，以快速性能和易于使用著称，旨在解决传统文本分块库的效率和体积问题。 核心特点包括多种分块器、9.7MB的轻量级安装、以及优化的分块速度。 通过Tiktoken、预计算缓存等技术实现高效分块，性能远超竞争对手。 本文详细介绍了Chonkie文档分割库的功能、安装方法、代码示例、设计理念、 常见问题解答，助力 RAG 提升性能。 Chonkie是一个用于RAG（检索增强生成）任务的轻量级、快速的文本分块库 …

2024年8月27日 · 本质是基于 滑动窗口 的思想，依次计算 相邻的两句话之间的语义相似度，满足 阈值 的视为表示同样的语义/主题，会划分到同一个块中，不满足阈值的则进行切分。 3. 基于端到端模型的分块. Cross-Segment： 采用 跨片段的注意力机制 来分析文本。 首先利用BERT模型获取句子的向量表示，然后将连续多个句子的向量表示输入到另一个BERT或者LSTM模型中，一次性预测每个句子是否为分块的边界. SeqModel：在Cross-Segment基础上，增强了上下文表示，并 …

2023年7月20日 · In this article, we’ll explore and compare these two distinct approaches to text chunking. We’ll represent rule-based methods with NLTK, Spacy, and Langchain, and contrast this with two different semantic clustering techniques: KMeans and a custom technique for Adjacent Sentence Clustering.

2024年3月27日 · Paragraph-level chunking in Python involves splitting a text document into segments based on paragraphs. You can achieve this using various techniques, such as regex pattern matching or...