004：RAG 入门-LangChain读取PDF

LangChain 读取 PDF 文档

本文是 refine-rag 系列教程的第四篇，深入讲解如何使用多种方案处理 PDF 文档。

目录

• 前言
  
• 环境准备
  
• 方案一：PyPDF（轻量快速）
  
• 方案二：PyMuPDF（功能强大）
  
• 方案三：Unstructured（智能解析）
  
• 方案四：父子文档结构解析
  
• 方案对比与选择
  
• 常见问题
  
• 下一步学习
  

前言

PDF 是最常见的文档格式，但也是最难处理的格式之一。不同于纯文本，PDF 包含：

• 复杂的排版布局
  
• 多列文本
  
• 表格和图片
  
• 嵌入字体
  
• 扫描件（需要 OCR）
  

本文将介绍 4 种主流的 PDF 处理方案，从简单到复杂，从快速到智能，可根据自己的实际使用场景，选择合适的方案。
环境准备

1. 安装依赖包

1. # 方案一：PyPDF（最轻量）
2. pip install pypdf langchain-community
4. # 方案二：PyMuPDF（功能强大）
5. pip install pymupdf
7. # 方案三：Unstructured（智能解析）
8. pip install "unstructured[pdf]" langchain-unstructured
10. # 中文 OCR 支持（可选）
11. brew install tesseract-lang  # macOS
12. # 或
13. sudo apt-get install tesseract-ocr-chi-sim  # Ubuntu
15. # 一键安装所有依赖
16. pip install pypdf pymupdf "unstructured[pdf]" langchain-community langchain-unstructured

复制代码

2. 准备测试 PDF

准备一个测试 PDF 文件，可以是：

• 技术文档
  
• 产品手册
  
• 学术论文
  
• 扫描件
  

方案一：PyPDF（轻量快速）

最简单的 PDF 处理方案，适合纯文本提取。
文件名： 01-PyPDF读取.py

1. from langchain_community.document_loaders import PyPDFLoader
3. # 加载 PDF 文件
4. loader = PyPDFLoader("../99-doc-data/黑悟空/黑神话悟空.pdf")
5. data = loader.load()
7. # 遍历每一页
8. for i, page in enumerate(data):
9.     print(f"=== 第 {i+1} 页 ===")
10.     print(page.page_content)
11.     print(f"元数据: {page.metadata}")
12.     print("-" * 50)

复制代码

输出结果：

1. [
2.     Document(
3.         page_content='黑神话：悟空\n\n游戏简介...',
4.         metadata={'source': '黑神话悟空.pdf', 'page': 0}
5.     ),
6.     Document(
7.         page_content='第一章 黑风山...',
8.         metadata={'source': '黑神话悟空.pdf', 'page': 1}
9.     )
10. ]

复制代码

特点：
✅ 优势：

• 安装简单，无外部依赖
  
• 速度快，内存占用低
  
• 按页分割，结构清晰
  
• 适合纯文本 PDF
  

❌ 劣势：

• 不支持复杂布局
  
• 无法识别文档结构（标题、段落）
  
• 不支持扫描件 OCR
  
• 表格提取效果差
  

适用场景：

• 简单的文本 PDF
  
• 需要快速提取内容
  
• 对文档结构要求不高
  

方案二：PyMuPDF（功能强大）

更强大的 PDF 处理库，提供丰富的元数据和控制能力。
文件名： 02-PyMuPDF.py

1. import pymupdf
3. # 打开 PDF 文件
4. doc = pymupdf.open("../../99-doc-data/黑悟空/黑神话悟空.pdf")
6. # 提取所有页面的文本
7. text = [page.get_text() for page in doc]
8. print(text)
10. # 获取文档元数据
11. print("=== PyMuPDF 基本信息提取 ===")
12. print(f"文档页数: {len(doc)}")
13. print(f"文档标题: {doc.metadata.get('title', 'N/A')}")
14. print(f"文档作者: {doc.metadata.get('author', 'N/A')}")
15. print(f"创建时间: {doc.metadata.get('creationDate', 'N/A')}")
16. print(f"完整元数据: {doc.metadata}")
18. # 遍历每一页，提取详细信息
19. for page_num, page in enumerate(doc):
20.     print(f"\n--- 第 {page_num + 1} 页 ---")
22.     # 提取文本
23.     text = page.get_text()
24.     print(f"文本内容: {text[:200]}...")  # 显示前 200 个字符
26.     # 提取图片
27.     images = page.get_images()
28.     print(f"图片数量: {len(images)}")
30.     # 获取页面链接
31.     links = page.get_links()
32.     print(f"链接数量: {len(links)}")
34.     # 获取页面尺寸
35.     width, height = page.rect.width, page.rect.height
36.     print(f"页面尺寸: {width:.2f} x {height:.2f}")
38. doc.close()

复制代码

进阶功能：

1. import pymupdf
3. doc = pymupdf.open("document.pdf")
4. page = doc[0]
6. # 1. 提取图片并保存
7. for img_index, img in enumerate(page.get_images()):
8.     xref = img[0]
9.     base_image = doc.extract_image(xref)
10.     image_bytes = base_image["image"]
11.    
12.     # 保存图片
13.     with open(f"image_{img_index}.png", "wb") as f:
14.         f.write(image_bytes)
16. # 2. 提取表格（需要额外处理）
17. tables = page.find_tables()
18. for table in tables:
19.     df = table.to_pandas()
20.     print(df)
22. # 3. 搜索文本
23. text_instances = page.search_for("关键词")
24. for inst in text_instances:
25.     print(f"找到位置: {inst}")
27. # 4. 提取带格式的文本
28. blocks = page.get_text("dict")["blocks"]
29. for block in blocks:
30.     if block["type"] == 0:  # 文本块
31.         for line in block["lines"]:
32.             for span in line["spans"]:
33.                 print(f"文字: {span['text']}, 字体: {span['font']}, 大小: {span['size']}")
35. doc.close()

复制代码

特点：
✅ 优势：

• 速度快，性能优秀
  
• 丰富的元数据（作者、创建时间等）
  
• 可以提取图片、链接
  
• 支持表格识别
  
• 可以获取文本格式（字体、大小）
  
• 内存占用少
  

❌ 劣势：

• 不自动识别文档结构
  
• 需要手动处理布局分析
  
• 扫描件需要额外 OCR
  

适用场景：

• 需要提取图片和元数据
  
• 需要精细控制 PDF 处理
  
• 性能要求高
  
• 需要处理大量 PDF
  

方案三：Unstructured（智能解析）

最智能的 PDF 处理方案，自动识别文档结构。
文件名： 03-LangChain-Unstrucured-PDF.py

1. from langchain_unstructured import UnstructuredLoader
3. # 中文 PDF
4. loader = UnstructuredLoader(
5.     file_path="../99-doc-data/山西文旅/云冈石窟-ch.pdf",
6.     strategy="hi_res",      # 高分辨率策略
7.     languages=["chi_sim"]   # 简体中文 OCR
8. )
10. # 英文 PDF
11. # loader = UnstructuredLoader(
12. #     file_path="../99-doc-data/山西文旅/云冈石窟-en.pdf",
13. #     strategy="hi_res"
14. # )
16. docs = []
18. # lazy_load() 延迟加载，节省内存
19. for doc in loader.lazy_load():
20.     docs.append(doc)
22. # 查看解析结果
23. for i, doc in enumerate(docs[:5]):  # 只显示前 5 个
24.     print(f"\n=== 元素 {i+1} ===")
25.     print(f"类型: {doc.metadata.get('category')}")
26.     print(f"内容: {doc.page_content[:100]}...")
27.     print(f"页码: {doc.metadata.get('page_number')}")
28.     print(f"元素ID: {doc.metadata.get('element_id')}")
29.     print(f"父元素ID: {doc.metadata.get('parent_id')}")

复制代码

strategy 参数说明：
策略说明速度准确度适用场景fast快速模式⚡⚡⚡⭐⭐纯文本 PDFhi_res高分辨率⚡⭐⭐⭐⭐复杂布局、扫描件ocr_only仅 OCR⚡⚡⭐⭐⭐纯图片 PDF使用 partition 函数（更底层）：
文件名： 04-Unstrctured-使用partition函数解析PDF-v1.py

1. from unstructured.partition.auto import partition
3. filename = "../99-doc-data/黑悟空/黑神话悟空.pdf"
5. # 使用 partition 函数解析 PDF
6. elements = partition(
7.     filename=filename,
8.     content_type="application/pdf"
9. )
11. # 展示解析出的元素类型和内容
12. print("PDF 解析后的 Elements 类型:")
13. for i, element in enumerate(elements[:5]):
14.     print(f"\nElement {i+1}:")
15.     print(f"类型: {type(element).__name__}")
16.     print(f"内容: {str(element)[:100]}...")
17.     print("-" * 50)
19. # 统计不同类型元素的数量
20. element_types = {}
21. for element in elements:
22.     element_type = type(element).__name__
23.     element_types[element_type] = element_types.get(element_type, 0) + 1
25. print("\nElements 类型统计:")
26. for element_type, count in element_types.items():
27.     print(f"{element_type}: {count} 个")

复制代码

输出示例：

1. Elements 类型统计:
2. Title: 12 个
3. NarrativeText: 45 个
4. ListItem: 8 个
5. Table: 3 个
6. Image: 2 个

复制代码

特点：
✅ 优势：

• 自动识别文档结构（标题、段落、列表）
  
• 支持扫描件 OCR
  
• 可以识别表格
  
• 保留父子关系
  
• 适合复杂 PDF
  

❌ 劣势：

• 速度较慢
  
• 依赖外部工具（Tesseract）
  
• 内存占用较大
  

适用场景：

• 复杂布局的 PDF
  
• 需要保留文档结构
  
• 扫描件处理
  
• 构建知识图谱
  

方案四：父子文档结构解析

保留文档的层级关系，实现更精准的检索。
4.1 使用 LangChain 封装

文件名： 05-父子文档解析-Unstructured-LangChain.py

1. from langchain_unstructured import UnstructuredLoader
3. file_path = '../99-doc-data/山西文旅/云冈石窟-en.pdf'
5. # 加载 PDF
6. loader = UnstructuredLoader(
7.     file_path=file_path,
8.     strategy="hi_res"
9. )
11. docs = []
12. for doc in loader.lazy_load():
13.     docs.append(doc)
15. # 仅筛选第一页的文档
16. page_number = 1
17. page_docs = [doc for doc in docs if doc.metadata.get("page_number") == page_number]
19. # 打印每个元素的详细信息
20. for i, doc in enumerate(page_docs, 1):
21.     print(f"Doc {i}:")
22.     print(f"  内容: {doc.page_content}")
23.     print(f"  分类: {doc.metadata.get('category')}")
24.     print(f"  ID: {doc.metadata.get('element_id')}")
25.     print(f"  Parent ID: {doc.metadata.get('parent_id')}")
26.     print("=" * 50)
28. # 构建父子关系
29. title_dict = {}
31. # 收集 Title，建立 parent_id -> Title 的映射
32. for doc in docs:
33.     if (doc.metadata.get("category") == "Title" and
34.         doc.metadata.get("page_number") == page_number):
35.         title_id = doc.metadata.get("element_id")
36.         title_text = doc.page_content.strip()
37.         if title_text not in [data["title"] for data in title_dict.values()]:
38.             title_dict[title_id] = {"title": title_text, "content": []}
40. # 关联 Title 和其对应的 Text
41. for doc in docs:
42.     if (doc.metadata.get("category") in ["NarrativeText", "Text"] and
43.         doc.metadata.get("page_number") == page_number):
44.         parent_id = doc.metadata.get("parent_id")
45.         if parent_id in title_dict:
46.             content = doc.page_content.strip()
47.             if content:
48.                 title_dict[parent_id]["content"].append(content)
50. # 输出结构化结果
51. for title_data in title_dict.values():
52.     if title_data["content"]:
53.         print("\n=== " + title_data["title"] + " ===")
54.         for content in title_data["content"]:
55.             print(content)
56.         print()

复制代码

4.2 使用原生 Unstructured API

文件名： 06-父子文档-Unstructured-ParitionPDF.py

1. from unstructured.documents.elements import Title, NarrativeText, Text
2. from unstructured.partition.pdf import partition_pdf
4. file_path = '../99-doc-data/山西文旅/云冈石窟-en.pdf'
6. # 使用 unstructured 直接读取 PDF
7. elements = partition_pdf(
8.     filename=file_path,
9.     strategy="hi_res"
10. )
12. # 查看第一个元素的完整信息
13. if elements:
14.     first_elem = elements[0]
15.     print("=== 第一个元素的详细信息 ===")
16.     print(f"类型: {type(first_elem)}")
17.     print(f"文本: {first_elem.text}")
18.     print(f"Metadata: {vars(first_elem.metadata)}")
19.     print("=" * 50)
21. # 仅筛选第一页的元素
22. page_number = 1
23. page_elements = [
24.     elem for elem in elements
25.     if getattr(elem.metadata, "page_number", None) == page_number
26. ]
28. # 打印每个元素的详细信息
29. for i, elem in enumerate(page_elements, 1):
30.     print(f"\nElement {i}:")
31.     print(f"  内容: {elem.text}")
32.     print(f"  分类: {type(elem).__name__}")
33.     print(f"  ID: {getattr(elem, '_element_id', None)}")
34.     print("=" * 50)
36. # 构建父子关系
37. title_dict = {}
39. # 收集 Title（使用类型检查）
40. for elem in elements:
41.     if (isinstance(elem, Title) and
42.         getattr(elem.metadata, "page_number", None) == page_number):
43.         title_id = getattr(elem, '_element_id', None)
44.         title_text = elem.text.strip()
45.         if title_text not in [data["title"] for data in title_dict.values()]:
46.             title_dict[title_id] = {"title": title_text, "content": []}
48. # 关联 Title 和其对应的 Text
49. for elem in elements:
50.     if (isinstance(elem, (NarrativeText, Text)) and
51.         getattr(elem.metadata, "page_number", None) == page_number):
52.         parent_id = getattr(elem.metadata, "parent_id", None)
53.         if parent_id in title_dict:
54.             content = elem.text.strip()
55.             if content:
56.                 title_dict[parent_id]["content"].append(content)
58. # 输出结构化结果
59. for title_data in title_dict.values():
60.     if title_data["content"]:
61.         print("\n=== " + title_data["title"] + " ===")
62.         for content in title_data["content"]:
63.             print(content)
64.         print()

复制代码

两种方式的区别：
特性LangChain 封装原生 Unstructured返回类型Document 对象Element 对象内容访问doc.page_contentelem.text类型判断doc.metadata["category"] == "Title"isinstance(elem, Title)元数据访问doc.metadata["parent_id"]elem.metadata.parent_id类型检查字符串比较Python 类型检查（更安全）用途LangChain/RAG 集成底层文档处理parent_id 的生成机制：
Unstructured 库在解析 PDF 时会：

• 分析文档的层级结构
  
• 识别标题、段落、列表等元素
  
• 根据排版、字体大小、位置推断父子关系
  
• 为每个元素生成唯一的 element_id
  
• 为子元素设置 parent_id 指向父元素
  

示例结构：

1. [
2.     {
3.         "element_id": "abc123",
4.         "category": "Title",
5.         "content": "云冈石窟简介",
6.         "parent_id": None  # 顶级标题
7.     },
8.     {
9.         "element_id": "def456",
10.         "category": "NarrativeText",
11.         "content": "云冈石窟位于山西省...",
12.         "parent_id": "abc123"  # 属于上面的标题
13.     }
14. ]

复制代码

方案对比与选择

性能对比

[table][tr]方案速度内存准确度结构识别OCR 支持[/tr][tr][td]PyPDF[/td][td]⚡⚡⚡[/td][td]
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！