登录/ 注册
 找回密码
 立即注册
关闭

CSDN热搜

程序园 精品问答 技术交流 资源下载
返回列表 发新帖
首页 › 业界区 › 业界 ›使用CAMEL实现RAG过程记录

使用CAMEL实现RAG过程记录

方方仪 2025-6-5 09:29:17
本文为学习使用CAMEL实现RAG的学习总结。
参考自官方cookbook，地址：https://docs.camel-ai.org/cookbooks/advanced_features/agents_with_rag.html
在官方cookbook分为了Customized RAG、Auto RAG、Single Agent with Auto RAG与Role-playing with Auto RAG四个部分。
Customized RAG

实现RAG需要有嵌入模型，为了简单验证，我这里使用的是硅基流动的嵌入模型。
现在先来看看在CAMEL中如何使用硅基流动的嵌入模型。
在.env文件中这样写：
  1. Silicon_Model_ID="Qwen/Qwen2.5-72B-Instruct"
  2. ZHIPU_Model_ID="THUDM/GLM-4-32B-0414"
  3. DEEPSEEK_Model_ID="deepseek-ai/DeepSeek-V3"
  4. Embedding_Model_ID="BAAI/bge-m3"
  5. SiliconCloud_API_KEY="你的api key"
  6. SiliconCloud_Base_URL="https://api.siliconflow.cn/v1"
复制代码
我使用的是BAAI/bge-m3这个嵌入模型。
现在使用这个嵌入模型可以通过OpenAICompatibleEmbedding，因为它的格式与OpenAI是兼容的。
可以这样写：
  1. from camel.embeddings import OpenAICompatibleEmbedding
  2. from camel.storages import QdrantStorage
  3. from camel.retrievers import VectorRetriever
  4. import PyPDF2
  5. import pathlib
  6. import os
  7. from dotenv import load_dotenv
  9. base_dir = pathlib.Path(__file__).parent.parent
  10. env_path = base_dir / ".env"
  11. load_dotenv(dotenv_path=str(env_path))
  13. modeltype = os.getenv("Embedding_Model_ID")
  14. api_key = os.getenv("SiliconCloud_API_KEY")
  15. base_url = os.getenv("SiliconCloud_Base_URL")
  17. embedding_instance = OpenAICompatibleEmbedding(model_type=modeltype, api_key=api_key, url=base_url)
复制代码
可以通过这个脚本快速测试是否能成功调用。
脚本可以这样写：
  1. from camel.embeddings import OpenAICompatibleEmbedding
  3. import pathlib
  4. import os
  5. from dotenv import load_dotenv
  7. base_dir = pathlib.Path(__file__).parent.parent
  8. env_path = base_dir / ".env"
  9. load_dotenv(dotenv_path=str(env_path))
  11. modeltype = os.getenv("Embedding_Model_ID")
  12. api_key = os.getenv("SiliconCloud_API_KEY")
  13. base_url = os.getenv("SiliconCloud_Base_URL")
  15. embedding_instance = OpenAICompatibleEmbedding(model_type=modeltype, api_key=api_key, url=base_url)
  17. # Embed the text
  18. text_embeddings = embedding_instance.embed_list(["What is the capital of France?"])
  20. print(len(text_embeddings[0]))
复制代码
成功调用的输出如下所示：
1.png

有了嵌入模型之后，还需要有向量数据库。
这里使用的是QdrantStorage，要注意指定维度。
可以这样写：
  1. storage_instance = QdrantStorage(
  2.     vector_dim=1024,
  3.     path="local_data",
  4.     collection_name="test",
  5. )
复制代码
在CAMEL中实现Customized RAG需要使用VectorRetriever类，需要指定嵌入模型与向量数据库。
可以这样写：
  1. vector_retriever = VectorRetriever(embedding_model=embedding_instance,
  2.                                    storage=storage_instance)
复制代码
在官方文档中使用的是一个PDF做的示例，但是我跑起来有问题，原因是一个相关依赖没有成功安装。
但是实现RAG很多时候确实是更加针对PDF文档的，如果不能适配PDF文档那就很鸡肋了。
因此可以自己简单写一下从pdf中提取文本的代码。
可以这样写：
  1. import PyPDF2
  2. def read_pdf_with_pypdf2(file_path):
  3.     with open(file_path, "rb") as file:
  4.         reader = PyPDF2.PdfReader(file)
  5.         text = ""
  6.         for page_num in range(len(reader.pages)):
  7.             page = reader.pages[page_num]
  8.             text += page.extract_text()
  9.     return text
  10. input_path = "local_data/test.pdf"
  11. pdf_text = read_pdf_with_pypdf2(input_path)
  12. print(pdf_text)
复制代码
测试文档：
2.png

查看效果：
3.png

将这个代码写入脚本中，获取pdf文本之后，将文本进行向量化。
可以这样写：
  1. def read_pdf_with_pypdf2(file_path):
  2.     with open(file_path, "rb") as file:
  3.         reader = PyPDF2.PdfReader(file)
  4.         text = ""
  5.         for page_num in range(len(reader.pages)):
  6.             page = reader.pages[page_num]
  7.             text += page.extract_text()
  8.     return text
  10. input_path = "local_data/test.pdf"
  11. pdf_text = read_pdf_with_pypdf2(input_path)
  13. print("向量化中...")
  15. vector_retriever.process(
  16.     content=pdf_text,
  17. )
  19. print("向量化完成")
复制代码
然后可以进行提问，我这里问两个相关的与一个不相关的问题。
可以这样写：
  1. retrieved_info = vector_retriever.query(
  2.     query="你最喜欢的编程语言是什么？",
  3.     top_k=1
  4. )
  5. print(retrieved_info)
  7. retrieved_info2 = vector_retriever.query(
  8.     query="你最喜欢的桌面开发框架是什么？",
  9.     top_k=1
  10. )
  11. print(retrieved_info2)
  13. retrieved_info_irrevelant = vector_retriever.query(
  14.     query="今天晚上吃什么？",
  15.     top_k=1,
  16. )
  18. print(retrieved_info_irrevelant)
复制代码
效果如下所示：
4.png

通过以上步骤，我们就在CAMEL中实现了Customized RAG。
Auto RAG

现在再来看看如何在CAMEL中实现Auto RAG。
CAMEL中实现Auto RAG需要使用AutoRetriever类。
可以这样写：
  1. from camel.embeddings import OpenAICompatibleEmbedding
  2. from camel.storages import QdrantStorage
  3. from camel.retrievers import AutoRetriever
  4. from camel.types import StorageType
  5. import pathlib
  6. import os
  7. from dotenv import load_dotenv
  9. base_dir = pathlib.Path(__file__).parent.parent
  10. env_path = base_dir / ".env"
  11. load_dotenv(dotenv_path=str(env_path))
  13. modeltype = os.getenv("Embedding_Model_ID")
  14. api_key = os.getenv("SiliconCloud_API_KEY")
  15. base_url = os.getenv("SiliconCloud_Base_URL")
  17. embedding_instance = OpenAICompatibleEmbedding(model_type=modeltype, api_key=api_key, url=base_url)
  18. embedding_instance.output_dim=1024
  20. auto_retriever = AutoRetriever(
  21.         vector_storage_local_path="local_data2/",
  22.         storage_type=StorageType.QDRANT,
  23.         embedding_model=embedding_instance)
  26. retrieved_info = auto_retriever.run_vector_retriever(
  27.     query="本届消博会共实现意向交易多少亿元？",
  28.     contents=[      
  29.         "https://news.cctv.com/2025/04/17/ARTIbMtuugrC3uxmNKsQRyci250417.shtml?spm=C94212.PBZrLs0D62ld.EKoevbmLqVHC.156",  # example remote url
  30.     ],
  31.     top_k=1,
  32.     return_detailed_info=True,
  33.     similarity_threshold=0.5
  34. )
  36. print(retrieved_info)
复制代码
可以直接传入一个链接。
5.png

查看效果：
6.png

Single Agent with Auto RAG

刚刚已经成功实现了相关信息的获取，但是还没有真正实现RAG。
实现的思路其实很简单，我这里提供了两个例子。
第一个将相关信息存入模型上下文：
7.png

可以这样写：
  1. from camel.agents import ChatAgent
  2. from camel.models import ModelFactory
  3. from camel.types import ModelPlatformType,StorageType
  4. from camel.embeddings import OpenAICompatibleEmbedding
  5. from camel.storages import QdrantStorage
  6. from camel.retrievers import AutoRetriever
  7. import pathlib
  8. import os
  9. from dotenv import load_dotenv
  11. sys_msg = 'You are a curious stone wondering about the universe.'
  13. base_dir = pathlib.Path(__file__).parent.parent
  14. env_path = base_dir / ".env"
  15. load_dotenv(dotenv_path=str(env_path))
  17. modeltype = os.getenv("Silicon_Model_ID")
  18. embedding_modeltype = os.getenv("Embedding_Model_ID")
  19. api_key = os.getenv("SiliconCloud_API_KEY")
  20. base_url = os.getenv("SiliconCloud_Base_URL")
  22. siliconcloud_model = ModelFactory.create(
  23.      model_platform=ModelPlatformType.OPENAI_COMPATIBLE_MODEL,
  24.             model_type=modeltype,
  25.             api_key=api_key,
  26.             url=base_url,
  27.             model_config_dict={"temperature": 0.4, "max_tokens": 4096},
  28. )
  30. embedding_instance = OpenAICompatibleEmbedding(model_type=embedding_modeltype, api_key=api_key, url=base_url)
  31. embedding_instance.output_dim=1024
  33. auto_retriever = AutoRetriever(
  34.         vector_storage_local_path="local_data2/",
  35.         storage_type=StorageType.QDRANT,
  36.         embedding_model=embedding_instance)
  38. # Define a user message
  39. usr_msg = '3场官方供需对接会共签约多少个项目？'
  41. retrieved_info = auto_retriever.run_vector_retriever(
  42.     query=usr_msg,
  43.     contents=[      
  44.         "https://news.cctv.com/2025/04/17/ARTIbMtuugrC3uxmNKsQRyci250417.shtml?spm=C94212.PBZrLs0D62ld.EKoevbmLqVHC.156",  # example remote url
  45.     ],
  46.     top_k=1,
  47.     return_detailed_info=True,
  48.     similarity_threshold=0.5
  49. )
  51. print(retrieved_info)
  53. text_content = retrieved_info['Retrieved Context'][0]['text']
  54. print(text_content)
  56. agent = ChatAgent(
  57.     system_message=sys_msg,
  58.     model=siliconcloud_model,
  59. )
  61. print(agent.memory.get_context())
  63. from camel.messages import BaseMessage
  65. new_user_msg = BaseMessage.make_assistant_message(
  66.     role_name="assistant",
  67.     content=text_content,  # Use the content from the retrieved info
  68. )
  70. # Update the memory
  71. agent.record_message(new_user_msg)
  73. print(agent.memory.get_context())
  77. # Sending the message to the agent
  78. response = agent.step(usr_msg)
  80. # Check the response (just for illustrative purpose)
  81. print(response.msgs[0].content)
复制代码
输出结果：
8.png

另一个就是通过写一个提示词，然后将获取的结果直接传给模型。
9.png

可以这样写：
  1. from camel.agents import ChatAgent
  2. from camel.retrievers import AutoRetriever
  3. from camel.types import StorageType
  4. from camel.embeddings import OpenAICompatibleEmbedding
  5. from camel.models import ModelFactory
  6. from camel.types import ModelPlatformType,StorageType
  7. import pathlib
  8. import os
  9. from dotenv import load_dotenv
  11. base_dir = pathlib.Path(__file__).parent.parent
  12. env_path = base_dir / ".env"
  13. load_dotenv(dotenv_path=str(env_path))
  15. modeltype = os.getenv("Silicon_Model_ID")
  16. embedding_modeltype = os.getenv("Embedding_Model_ID")
  17. api_key = os.getenv("SiliconCloud_API_KEY")
  18. base_url = os.getenv("SiliconCloud_Base_URL")
  20. siliconcloud_model = ModelFactory.create(
  21.      model_platform=ModelPlatformType.OPENAI_COMPATIBLE_MODEL,
  22.             model_type=modeltype,
  23.             api_key=api_key,
  24.             url=base_url,
  25.             model_config_dict={"temperature": 0.4, "max_tokens": 4096},
  26. )
  29. embedding_instance = OpenAICompatibleEmbedding(model_type=embedding_modeltype, api_key=api_key, url=base_url)
  30. embedding_instance.output_dim=1024
  32. def single_agent(query: str) ->str :
  33.     # Set agent role
  34.     assistant_sys_msg = """You are a helpful assistant to answer question,
  35.          I will give you the Original Query and Retrieved Context,
  36.         answer the Original Query based on the Retrieved Context,
  37.         if you can't answer the question just say I don't know."""
  39.     # Add auto retriever
  40.     auto_retriever = AutoRetriever(
  41.             vector_storage_local_path="local_data2/",
  42.             storage_type=StorageType.QDRANT,
  43.             embedding_model=embedding_instance)
  44.    
  45.     retrieved_info = auto_retriever.run_vector_retriever(
  46.         query=query,
  47.         contents=[      
  48.         "https://news.cctv.com/2025/04/17/ARTIbMtuugrC3uxmNKsQRyci250417.shtml?spm=C94212.PBZrLs0D62ld.EKoevbmLqVHC.156",  # example remote url
  49.     ],
  50.     top_k=1,
  51.     return_detailed_info=True,
  52.     similarity_threshold=0.5
  53.     )
  55.     # Pass the retrieved information to agent
  56.     user_msg = str(retrieved_info)
  58.     agent = ChatAgent(
  59.     system_message=assistant_sys_msg,
  60.     model=siliconcloud_model,
  61.     )
  63.     # Get response
  64.     assistant_response = agent.step(user_msg)
  65.     return assistant_response.msg.content
  67. print(single_agent("3场官方供需对接会共签约多少个项目？"))
复制代码
输出结果：
10.png

Role-playing with Auto RAG

最后来玩一下Role-playing with Auto RAG。在我这里好像效果并不好，第二次调用函数就会出现问题。
可以这样写：
  1. from camel.societies import RolePlaying
  2. from camel.models import ModelFactory
  3. from camel.types import ModelPlatformType, StorageType
  4. from camel.toolkits import FunctionTool
  5. from camel.embeddings import OpenAICompatibleEmbedding
  6. from camel.types.agents import ToolCallingRecord
  7. from camel.retrievers import AutoRetriever
  8. from camel.utils import Constants
  9. from typing import List, Union
  10. from camel.utils import print_text_animated
  11. from colorama import Fore
  12. import pathlib
  13. import os
  14. from dotenv import load_dotenv
  16. sys_msg = 'You are a curious stone wondering about the universe.'
  18. base_dir = pathlib.Path(__file__).parent.parent
  19. env_path = base_dir / ".env"
  20. load_dotenv(dotenv_path=str(env_path))
  22. modeltype = os.getenv("Silicon_Model_ID")
  23. modeltype2= os.getenv("ZHIPU_Model_ID")
  24. embedding_modeltype = os.getenv("Embedding_Model_ID")
  25. api_key = os.getenv("SiliconCloud_API_KEY")
  26. base_url = os.getenv("SiliconCloud_Base_URL")
  27. siliconcloud_model = ModelFactory.create(
  28.      model_platform=ModelPlatformType.OPENAI_COMPATIBLE_MODEL,
  29.             model_type=modeltype,
  30.             api_key=api_key,
  31.             url=base_url,
  32.             model_config_dict={"temperature": 0.4, "max_tokens": 4096},
  33. )
  35. siliconcloud_model2 = ModelFactory.create(
  36.      model_platform=ModelPlatformType.OPENAI_COMPATIBLE_MODEL,
  37.             model_type=modeltype2,
  38.             api_key=api_key,
  39.             url=base_url,
  40.             model_config_dict={"temperature": 0.4, "max_tokens": 4096},
  41. )
  43. embedding_instance = OpenAICompatibleEmbedding(model_type=embedding_modeltype, api_key=api_key, url=base_url)
  44. embedding_instance.output_dim=1024
  46. auto_retriever = AutoRetriever(
  47.         vector_storage_local_path="local_data2/",
  48.         storage_type=StorageType.QDRANT,
  49.         embedding_model=embedding_instance)
  51. def information_retrieval(
  52.         query: str,
  53.         contents: Union[str, List[str]],
  54.         top_k: int = Constants.DEFAULT_TOP_K_RESULTS,
  55.         similarity_threshold: float = Constants.DEFAULT_SIMILARITY_THRESHOLD,
  56.     ) -> str:
  57.         r"""Retrieves information from a local vector storage based on the
  58.         specified query. This function connects to a local vector storage
  59.         system and retrieves relevant information by processing the input
  60.         query. It is essential to use this function when the answer to a
  61.         question requires external knowledge sources.
  63.         Args:
  64.             query (str): The question or query for which an answer is required.
  65.             contents (Union[str, List[str]]): Local file paths, remote URLs or
  66.                 string contents.
  67.             top_k (int, optional): The number of top results to return during
  68.                 retrieve. Must be a positive integer. Defaults to
  69.                 `DEFAULT_TOP_K_RESULTS`.
  70.             similarity_threshold (float, optional): The similarity threshold
  71.                 for filtering results. Defaults to
  72.                 `DEFAULT_SIMILARITY_THRESHOLD`.
  74.         Returns:
  75.             str: The information retrieved in response to the query, aggregated
  76.                 and formatted as a string.
  78.         Example:
  79.             # Retrieve information about CAMEL AI.
  80.             information_retrieval(query = "How to contribute to CAMEL AI?",
  81.                                 contents="https://github.com/camel-ai/camel/blob/master/CONTRIBUTING.md")
  82.         """
  83.         retrieved_info = auto_retriever.run_vector_retriever(
  84.             query=query,
  85.             contents=contents,
  86.             top_k=top_k,
  87.             similarity_threshold=similarity_threshold,
  88.         )
  89.         return str(retrieved_info)
  91. RETRUEVE_FUNCS: list[FunctionTool] = [
  92.     FunctionTool(func) for func in [information_retrieval]
  93. ]
  95. def role_playing_with_rag(
  96.     task_prompt,
  97.     chat_turn_limit=5,
  98. ) -> None:
  99.     task_prompt = task_prompt
  101.     role_play_session = RolePlaying(
  102.         assistant_role_name="Searcher",
  103.         assistant_agent_kwargs=dict(
  104.             model=siliconcloud_model,
  105.             tools=[
  106.                 *RETRUEVE_FUNCS,
  107.             ],
  108.         ),
  109.         user_role_name="Professor",
  110.         user_agent_kwargs=dict(
  111.             model=siliconcloud_model2,
  112.         ),
  113.         task_prompt=task_prompt,
  114.         with_task_specify=False,
  115.     )
  117.     print(
  118.         Fore.GREEN
  119.         + f"AI Assistant sys message:\n{role_play_session.assistant_sys_msg}\n"
  120.     )
  121.     print(
  122.         Fore.BLUE + f"AI User sys message:\n{role_play_session.user_sys_msg}\n"
  123.     )
  125.     print(Fore.YELLOW + f"Original task prompt:\n{task_prompt}\n")
  126.     print(
  127.         Fore.CYAN
  128.         + "Specified task prompt:"
  129.         + f"\n{role_play_session.specified_task_prompt}\n"
  130.     )
  131.     print(Fore.RED + f"Final task prompt:\n{role_play_session.task_prompt}\n")
  133.     n = 0
  134.     input_msg = role_play_session.init_chat()
  135.     while n < chat_turn_limit:
  136.         n += 1
  137.         assistant_response, user_response = role_play_session.step(input_msg)
  139.         if assistant_response.terminated:
  140.             print(
  141.                 Fore.GREEN
  142.                 + (
  143.                     "AI Assistant terminated. Reason: "
  144.                     f"{assistant_response.info['termination_reasons']}."
  145.                 )
  146.             )
  147.             break
  148.         if user_response.terminated:
  149.             print(
  150.                 Fore.GREEN
  151.                 + (
  152.                     "AI User terminated. "
  153.                     f"Reason: {user_response.info['termination_reasons']}."
  154.                 )
  155.             )
  156.             break
  158.         # Print output from the user
  159.         print_text_animated(
  160.             Fore.BLUE + f"AI User:\n\n{user_response.msg.content}\n"
  161.         )
  163.         # Print output from the assistant, including any function
  164.         # execution information
  165.         print_text_animated(Fore.GREEN + "AI Assistant:")
  166.         tool_calls: List[ToolCallingRecord] = [
  167.             ToolCallingRecord(**call.as_dict())
  168.             for call in assistant_response.info['tool_calls']
  169.         ]
  170.         for func_record in tool_calls:
  171.             print_text_animated(f"{func_record}")
  172.         print_text_animated(f"{assistant_response.msg.content}\n")
  174.         if "CAMEL_TASK_DONE" in user_response.msg.content:
  175.             break
  177. if __name__ == "__main__":
  178.    role_playing_with_rag(
  179.         task_prompt="4月17日凌晨，OpenAI正式宣布推出了什么？请参考https://www.thepaper.cn/newsDetail_forward_30670507",
  180.         chat_turn_limit=5,
  181.     )
复制代码
调式运行：
11.png

会发现我们没有自己设置AI助手与AI用户的提示词，系统自动生成了提示词。
第一次成功进行了函数调用：
12.png

但是由于similarity_threshold设置的太高导致没有成功获取相关信息：
  1. {'Original Query': '4月17日凌晨，OpenAI正式宣布推出了什么？', 'Retrieved Context': ['No suitable information retrieved from https://www.thepaper.cn/newsDetail_forward_30670507 with similarity_threshold = 0.75.']}
复制代码
第二次调用把similarity_threshold调低了：

然后就会遇到错误：
14.png

暂时没有解决，不过也不影响学习Role-playing with Auto RAG。

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
使用CAMEL实现RAG过程

使用道具 举报

相关推荐
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册
发帖
方方仪
2025-6-5 09:29:17

0

粉丝关注

15

主题发布

板块介绍填写区域，请于后台编辑
微信扫一扫