003：RAG 入门-LangChain 读取图片数据

LangChain 读取图片数据

本文是 refine-rag 系列教程的第三篇，教你如何使用 LangChain 处理图片和 PPT 等多媒体数据。

目录

• 前言
  
• 环境准备
  
• 读取图片中的文字（OCR）
  
• 读取 PPT 文档
  
• 多模态 RAG 的应用场景
  
• 常见问题
  
• 下一步学习
  

前言

在前面的文章中，我们学习了如何读取纯文本数据。但在实际应用中，很多重要信息都存储在图片、PPT、扫描件等非文本格式中。比如：

• 产品宣传图中的文字说明
  
• PPT 演示文稿中的内容
  
• 扫描的合同和发票
  
• 截图中的代码和配置
  

这些数据如果不能被 RAG 系统处理，就会造成信息的缺失。本文将介绍如何使用 Unstructured 库来处理这些多媒体数据。
环境准备

1. 安装依赖包

1. # 基础依赖
2. pip install langchain langchain-community
4. # Unstructured 完整版（包含图片处理）
5. pip install "unstructured[all-docs]"
7. # OCR 依赖（用于图片文字识别）
8. pip install pdfminer.six
10. # 如果需要更好的 OCR 效果，可以安装 Tesseract
11. # macOS: brew install tesseract
12. # Ubuntu: sudo apt-get install tesseract-ocr
13. # Windows: 下载安装包 https://github.com/UB-Mannheim/tesseract/wiki

复制代码

2. 安装 LibreOffice（处理 PPT 必需）

Unstructured 处理 Office 文档时需要 LibreOffice 的命令行工具：

1. # macOS
2. brew install libreoffice
4. # Ubuntu/Debian
5. sudo apt-get update && sudo apt-get install -y libreoffice
7. # Windows
8. # 下载安装：https://www.libreoffice.org/download/download/

复制代码

为什么需要 LibreOffice？
Unstructured 会调用 soffice 命令将 PPT/Word/Excel 转换为可解析的格式。如果没有安装，会报错：FileNotFoundError: [Errno 2] No such file or directory: 'soffice'
3. 准备测试数据

准备一些测试文件：

• 一张包含文字的图片（如截图、海报）
  
• 一个 PPT 文件
  

读取图片中的文字（OCR）

使用 Unstructured 的 OCR 功能提取图片中的文字。
文件名： 01-Unstructured读图.py

1. from langchain_community.document_loaders import UnstructuredImageLoader
3. # 图片路径
4. image_path = "../99-doc-data/黑悟空/黑悟空英文.jpg"
6. # 创建加载器
7. loader = UnstructuredImageLoader(image_path)
9. # 加载并提取文字
10. data = loader.load()
11. print(data)

复制代码

输出结果：

1. Warning: No languages specified, defaulting to English.
2. [Document(
3.     metadata={'source': '../99-doc-data/黑悟空/黑悟空英文.jpg'},
4.     page_content='2\n\nPons\n\nBLACK MYTH. WUKONGY\n\n4'
5. )]

复制代码

关键点：

• 语言设置：默认使用英文 OCR，如果是中文图片，识别效果可能不佳
  
• OCR 引擎：Unstructured 默认使用 Tesseract，可以通过参数指定其他引擎
  
• 图片质量：清晰度越高，识别准确率越高
  

改进版本（支持中文）：

1. from langchain_community.document_loaders import UnstructuredImageLoader
3. # 指定中文语言
4. loader = UnstructuredImageLoader(
5.     image_path,
6.     strategy="hi_res",  # 高分辨率模式，识别更准确
7.     languages=["chi_sim", "eng"]  # 支持简体中文和英文
8. )
10. data = loader.load()
11. print(data[0].page_content)

复制代码

strategy 参数说明：
策略说明适用场景fast快速模式，不使用 OCR图片中没有文字hi_res高分辨率模式，使用 OCR需要提取图片中的文字ocr_only仅使用 OCR扫描件、纯文字图片读取 PPT 文档

PPT 是常见的演示文稿格式，包含文字、图片、图表等多种元素。
文件名： 02-Unstructured读PPT.py

1. from unstructured.partition.ppt import partition_ppt
2. from langchain_core.documents import Document
4. # 解析 PPT 文件
5. ppt_elements = partition_ppt(filename="../99-doc-data/黑悟空/黑神话悟空.pptx")
7. print("PPT 内容：")
8. for element in ppt_elements:
9.     print("=====分页=====")
10.     print(element.text)
12. # 转换为 LangChain 的 Document 格式
13. documents = [
14.     Document(
15.         page_content=element.text,
16.         metadata={
17.             "source": "data/黑神话悟空PPT.pptx",
18.             "page": i,
19.             "type": str(type(element).__name__)
20.         }
21.     )
22.     for i, element in enumerate(ppt_elements)
23. ]
25. # 输出转换后的 Documents
26. print(f"\n共提取 {len(documents)} 个元素")
27. for doc in documents[:3]:  # 只打印前 3 个
28.     print(f"类型: {doc.metadata['type']}")
29.     print(f"内容: {doc.page_content[:100]}...")
30.     print("-" * 50)

复制代码

PPT 元素类型：
Unstructured 会将 PPT 解析为不同类型的元素：

• Title：标题
  
• NarrativeText：正文段落
  
• ListItem：列表项
  
• Table：表格
  
• Image：图片（会尝试 OCR）
  

保留更多元数据：

1. documents = [
2.     Document(
3.         page_content=element.text,
4.         metadata={
5.             "source": "data/黑神话悟空PPT.pptx",
6.             "page": i,
7.             "type": str(type(element).__name__),
8.             "category": element.category if hasattr(element, 'category') else None,
9.             "element_id": element.id if hasattr(element, 'id') else None
10.         }
11.     )
12.     for i, element in enumerate(ppt_elements)
13. ]

复制代码

处理 PPT 中的图片：

1. from unstructured.partition.ppt import partition_ppt
3. # 启用图片推断（会对图片进行 OCR）
4. ppt_elements = partition_ppt(
5.     filename="../99-doc-data/黑悟空/黑神话悟空.pptx",
6.     infer_table_structure=True,  # 推断表格结构
7.     strategy="hi_res",  # 高分辨率模式
8.     extract_images_in_pdf=True  # 提取图片
9. )

复制代码

多模态 RAG 的应用场景

处理图片和 PPT 数据后，可以构建更强大的多模态 RAG 系统：
1. 企业知识库

1. # 场景：公司有大量 PPT 培训资料
2. from langchain_community.document_loaders import DirectoryLoader
3. from unstructured.partition.ppt import partition_ppt
5. # 批量加载所有 PPT
6. loader = DirectoryLoader(
7.     "./training_materials/",
8.     glob="**/*.pptx",
9.     show_progress=True
10. )
12. # 构建知识库
13. documents = []
14. for doc in loader.load():
15.     ppt_elements = partition_ppt(filename=doc.metadata['source'])
16.     for element in ppt_elements:
17.         documents.append(Document(
18.             page_content=element.text,
19.             metadata={"source": doc.metadata['source']}
20.         ))
22. # 后续可以进行向量化和检索

复制代码

2. 产品文档助手

1. # 场景：产品手册包含大量截图和说明
2. from langchain_community.document_loaders import UnstructuredImageLoader
4. # 处理产品截图
5. screenshots = ["feature1.png", "feature2.png", "feature3.png"]
6. docs = []
8. for img in screenshots:
9.     loader = UnstructuredImageLoader(
10.         img,
11.         strategy="hi_res",
12.         languages=["chi_sim", "eng"]
13.     )
14.     docs.extend(loader.load())
16. # 结合文本文档构建完整知识库

复制代码

3. 合同和发票处理

1. # 场景：扫描的合同需要提取关键信息
2. from langchain_community.document_loaders import UnstructuredImageLoader
4. # 处理扫描件
5. loader = UnstructuredImageLoader(
6.     "contract_scan.jpg",
7.     strategy="ocr_only",  # 纯 OCR 模式
8.     languages=["chi_sim"]
9. )
11. contract_docs = loader.load()
13. # 提取关键信息（可以结合 LLM）
14. from langchain_openai import ChatOpenAI
16. llm = ChatOpenAI()
17. result = llm.invoke(f"从以下合同中提取甲方、乙方、金额：\n{contract_docs[0].page_content}")

复制代码

4. 学术论文分析

1. # 场景：论文中的图表和公式
2. # 可以结合多模态模型（如 GPT-4V）进行更深入的理解
4. from langchain_community.document_loaders import UnstructuredImageLoader
6. # 提取论文中的图表
7. loader = UnstructuredImageLoader(
8.     "paper_figure.png",
9.     strategy="hi_res"
10. )
12. figure_docs = loader.load()
14. # 使用多模态模型理解图表
15. # （需要支持图片输入的模型）

复制代码

常见问题

1. LibreOffice 未安装

1. # 错误：FileNotFoundError: [Errno 2] No such file or directory: 'soffice'
3. # 解决：安装 LibreOffice
4. # macOS
5. brew install libreoffice
7. # Ubuntu
8. sudo apt-get install libreoffice

复制代码

2. OCR 识别效果差

问题原因：

• 图片分辨率太低
  
• 文字太小或模糊
  
• 语言设置不正确
  

解决方案：

1. # 1. 使用高分辨率模式
2. loader = UnstructuredImageLoader(
3.     image_path,
4.     strategy="hi_res"  # 而不是 "fast"
5. )
7. # 2. 指定正确的语言
8. loader = UnstructuredImageLoader(
9.     image_path,
10.     languages=["chi_sim", "eng"]  # 中英文混合
11. )
13. # 3. 预处理图片（提高对比度、去噪等）
14. from PIL import Image, ImageEnhance
16. img = Image.open(image_path)
17. enhancer = ImageEnhance.Contrast(img)
18. img = enhancer.enhance(2.0)  # 增强对比度
19. img.save("enhanced.jpg")
21. # 再进行 OCR
22. loader = UnstructuredImageLoader("enhanced.jpg")

复制代码

3. PPT 解析速度慢

1. # 问题：大型 PPT 文件解析很慢
3. # 解决：跳过不必要的处理
4. ppt_elements = partition_ppt(
5.     filename="large.pptx",
6.     include_page_breaks=False,  # 不包含分页符
7.     infer_table_structure=False,  # 不推断表格结构（如果不需要）
8.     extract_images_in_pdf=False  # 不提取图片（如果不需要）
9. )

复制代码

4. 中文 OCR 支持

1. # 如果使用 Tesseract，需要下载中文语言包
3. # macOS
4. brew install tesseract-lang
6. # Ubuntu
7. sudo apt-get install tesseract-ocr-chi-sim
9. # 验证安装
10. tesseract --list-langs
11. # 应该能看到 chi_sim（简体中文）

复制代码

5. 内存占用过高

1. # 问题：处理大量图片时内存不足
3. # 解决：分批处理
4. def process_images_in_batches(image_paths, batch_size=10):
5.     results = []
6.     for i in range(0, len(image_paths), batch_size):
7.         batch = image_paths[i:i+batch_size]
8.         for img_path in batch:
9.             loader = UnstructuredImageLoader(img_path)
10.             results.extend(loader.load())
11.         # 可以在这里保存中间结果
12.     return results
14. # 使用
15. all_docs = process_images_in_batches(image_list, batch_size=10)

复制代码

进阶技巧

1. 结合多模态大模型

对于复杂的图片（如图表、流程图），纯 OCR 可能不够：

1. # 使用支持图片输入的模型（如 GPT-4V、Claude 3）
2. from langchain_openai import ChatOpenAI
3. import base64
5. def encode_image(image_path):
6.     with open(image_path, "rb") as image_file:
7.         return base64.b64encode(image_file.read()).decode('utf-8')
9. # 创建多模态消息
10. base64_image = encode_image("chart.png")
11. llm = ChatOpenAI(model="gpt-4-vision-preview")
13. response = llm.invoke([
14.     {"type": "text", "text": "请描述这张图表的内容"},
15.     {"type": "image_url", "image_url": f"data:image/png;base64,{base64_image}"}
16. ])
18. print(response.content)

复制代码

2. 图片预处理流程

1. from PIL import Image, ImageEnhance, ImageFilter
3. def preprocess_image(image_path, output_path):
4.     """图片预处理，提高 OCR 准确率"""
5.     img = Image.open(image_path)
6.    
7.     # 1. 转为灰度图
8.     img = img.convert('L')
9.    
10.     # 2. 增强对比度
11.     enhancer = ImageEnhance.Contrast(img)
12.     img = enhancer.enhance(2.0)
13.    
14.     # 3. 锐化
15.     img = img.filter(ImageFilter.SHARPEN)
16.    
17.     # 4. 调整大小（如果太小）
18.     if img.width < 1000:
19.         scale = 1000 / img.width
20.         new_size = (int(img.width * scale), int(img.height * scale))
21.         img = img.resize(new_size, Image.LANCZOS)
22.    
23.     img.save(output_path)
24.     return output_path
26. # 使用
27. enhanced_path = preprocess_image("low_quality.jpg", "enhanced.jpg")
28. loader = UnstructuredImageLoader(enhanced_path)
29. docs = loader.load()

复制代码

3. 构建混合文档索引

1. from langchain_community.document_loaders import (
2.     TextLoader,
3.     UnstructuredImageLoader,
4.     DirectoryLoader
5. )
6. from unstructured.partition.ppt import partition_ppt
8. def load_mixed_documents(directory):
9.     """加载目录下的所有文档（文本、图片、PPT）"""
10.     all_docs = []
11.    
12.     # 1. 加载文本文件
13.     text_loader = DirectoryLoader(
14.         directory,
15.         glob="**/*.txt",
16.         loader_cls=TextLoader,
17.         loader_kwargs={'encoding': 'utf-8'}
18.     )
19.     all_docs.extend(text_loader.load())
20.    
21.     # 2. 加载图片
22.     image_loader = DirectoryLoader(
23.         directory,
24.         glob="**/*.{jpg,png,jpeg}",
25.         loader_cls=UnstructuredImageLoader
26.     )
27.     all_docs.extend(image_loader.load())
28.    
29.     # 3. 加载 PPT
30.     import glob
31.     for ppt_file in glob.glob(f"{directory}/**/*.pptx", recursive=True):
32.         ppt_elements = partition_ppt(filename=ppt_file)
33.         for element in ppt_elements:
34.             all_docs.append(Document(
35.                 page_content=element.text,
36.                 metadata={"source": ppt_file, "type": "ppt"}
37.             ))
38.    
39.     return all_docs
41. # 使用
42. docs = load_mixed_documents("./knowledge_base/")
43. print(f"共加载 {len(docs)} 个文档")

复制代码

学习路径

• 简易RAG 学习
  
• LCEL 语法学习
  
• LangChain 读取数据
  
  
  • LangChain 读取文本数据
    
  • LangChain 读取图片数据
    
  • LangChain 读取 PDF 数据
    
  • LangChain 读取表格数据
    
  
  
• 文本切块
  
• 向量嵌入
  
• 向量存储
  
• 检索前处理
  
• 索引优化
  
• 检索后处理
  
• 响应生成
  
• 系统评估
  

项目地址

本文所有代码示例都在 GitHub 开源：
https://github.com/zonezoen/refine-rag
欢迎 Star 和 Fork，一起学习 RAG 技术！

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！