《ESP32-S3使用指南—IDF版 V1.6》第六十二章 颜色识别实验

第六十二章 颜色识别实验
1）实验平台：正点原子DNESP32S3开发板
2）章节摘自【正点原子】ESP32-S3使用指南—IDF版 V1.6
3）购买链接：https://detail.tmall.com/item.htm?&id=768499342659
4）全套实验源码+手册+视频下载地址：http://www.openedv.com/docs/boards/esp32/ATK-DNESP32S3.html
5）正点原子官方B站：https://space.bilibili.com/394620890
6）正点原子DNESP32S3开发板技术交流群：132780729

ESP32可以使用图像处理技术进行颜色识别。通过摄像头采集图像，使用图像处理算法对图像进行分析和处理，提取出物体的颜色特征，并与预设的颜色阈值进行比较，判断物体的颜色。这种方法可以用于实现智能监控、自动识别等功能。本章，我们使用乐鑫AI库来实现颜色识别功能。
本章分为如下几个部分：
62.1 硬件设计
62.2 软件设计
62.3 下载验证
62.1 硬件设计
1.例程功能
本章实验功能简介：使用乐鑫官方的ESP32-WHO AI库对OV2640和OV5640摄像头输出的数据进行颜色识别。
2.硬件资源
1）LED灯
LED-IO1
2）XL9555
IIC_INT-IO0（需在P5连接IO0）
IIC_SDA-IO41
IIC_SCL-IO42
3）SPILCD
CS-IO21
SCK-IO12
SDA-IO11
DC-IO40（在P5端口，使用跳线帽将IO_SET和LCD_DC相连）
PWR- IO1_3（XL9555）
RST- IO1_2（XL9555）
4）CAMERA
OV_SCL-IO38
OV_SDA- IO39
VSYNC- IO47
HREF- IO48
PCLK- IO45
D0- IO4
D1- IO5
D2- IO6
D3- IO7
D4- IO15
D5- IO16
D6- IO17
D7- IO18
RESET-IO0_5（XL9555）
PWDN-IO0_4（XL9555）
3.原理图
本章实验使用的KPU为ESP32-S3的内部资源，因此并没有相应的连接原理图。
62.2 软件设计
62.2.1 程序流程图
程序流程图能帮助我们更好的理解一个工程的功能和实现的过程，对学习和设计工程有很好的主导作用。下面看看本实验的程序流程图：

图62.2.1.1 程序流程图
62.2.2 程序解析
在本章节中，我们将重点关注两个文件：esp_color_detection.cpp和esp_color_detection.hpp。其中，esp_color_detection.hpp主要声明了esp_color_detection函数，其内容相对简单，因此我们暂时不作详细解释。本章节的核心关注点是esp_color_detection.cpp文件中的函数。
接下来，我们将详细解析esp_color_detection_ai_strat函数的工作原理。

1. vector<color_info_t> std_color_info = {{{156, 10, 70, 255, 90, 255}, 64,"red"},
2.                                        {{11, 22, 70, 255, 90, 255}, 64, "orange"},
3.                                        {{23, 33, 70, 255, 90, 255}, 64, "yellow"},
4.                                        {{34, 75, 70, 255, 90, 255}, 64, "green"},
5.                                        {{76, 96, 70, 255, 90, 255}, 64, "cyan"},
6.                                        {{97, 124, 70, 255, 90, 255}, 64, "blue"},
7.                                        {{125, 155, 70, 255, 90, 255}, 64, "purple"},
8.                                        {{0, 180, 0, 40, 220, 255}, 64, "white"},
9.                                        {{0, 180, 0, 50, 50, 219}, 64, "gray"},
10.                                         {{0, 180, 0, 255, 0, 45}, 64, "black"}
11.                                        };
13. static void esp_draw_color_detection_result(uint16_t *image_ptr,
14. int image_height,
15. int image_width,
16. vector<color_detect_result_t>
17. &results, uint16_t color)
18. {
19.     for (int i = 0; i < results.size(); ++i)
20.     {
21.         dl::image::draw_hollow_rectangle(image_ptr, image_height, image_width,
22.                                          results[i].box[0],
23.                                          results[i].box[1],
24.                                          results[i].box[2],
25.                                          results[i].box[3],
26.                                          color);
27.     }
28. }
30. /**
31. * @brief       摄像头图像数据获取任务
32. * @param       arg：未使用
33. * @retval      无
34. */
35. static void esp_camera_process_handler(void *arg)
36. {
37.     arg = arg;
38.     camera_fb_t *camera_frame = NULL;
40.     while (1)
41.     {
42.         /* 获取摄像头图像 */
43.         camera_frame = esp_camera_fb_get();
45.         if (camera_frame)
46.         {
47.             /* 以队列的形式发送 */
48.             xQueueSend(xQueueFrameO, &camera_frame, portMAX_DELAY);
49.         }
50.     }
51. }
53. /**
54. * @brief       摄像头图像数据传入AI处理任务
55. * @param       arg：未使用
56. * @retval      无
57. */
58. static void esp_ai_process_handler(void *arg)
59. {
60.     arg = arg;
61.     camera_fb_t *face_ai_frameI = NULL;
63.     ColorDetector detector;
64.     detector.set_detection_shape({80, 80, 1});
66.     for (int i = 0; i < std_color_info.size(); ++i)
67.     {
68.         detector.register_color( std_color_info[i].color_thresh,
69.                                       std_color_info[i].area_thresh,
70. std_color_info[i].name);
71.     }
73. vector<vector<int>> color_thresh_boxes = {{110, 110, 130, 130},
74. {100, 100, 140, 140},
75. {90, 90, 150, 150},
76. {80, 80, 160, 160},
77. {60, 60, 180, 180},
78. {40, 40, 200, 200},
79. {20, 20, 220, 220}};
80.     int color_thresh_boxes_num = color_thresh_boxes.size();
81.     int color_thresh_boxes_index = color_thresh_boxes_num / 2;
82.     vector<int> color_area_threshes = {1, 4, 16, 32, 64, 128, 256, 512, 1024};
83.     int color_area_thresh_num = color_area_threshes.size();
84.     int color_area_thresh_index = color_area_thresh_num / 2;
85.    
86.     detector.set_area_thresh({color_area_threshes[color_area_thresh_index]});
89.     vector<uint16_t> draw_lcd_colors = {RGB565_LCD_RED,
90.                                         RGB565_LCD_ORANGE,
91.                                         RGB565_LCD_YELLOW,
92.                                         RGB565_LCD_GREEN,
93.                                         RGB565_LCD_CYAN,
94.                                         RGB565_LCD_BLUE,
95.                                         RGB565_LCD_PURPLE,
96.                                         RGB565_LCD_WHITE,
97.                                         RGB565_LCD_GRAY,
98.                                         RGB565_LCD_BLACK
99.                                         };
101.     int draw_colors_num = draw_lcd_colors.size();
102.     vector<uint8_t> color_thresh;
104.     while(1)
105.     {
106.         if (xQueueReceive(xQueueFrameO, &face_ai_frameI, portMAX_DELAY))
107.         {
108.             std::vector<std::vector<color_detect_result_t>> &results =
109. detector.detect((uint16_t *)face_ai_frameI->buf,
110. {(int)face_ai_frameI->height,
111. (int)face_ai_frameI->width, 3});
112.             
113.             if (draw_box)
114.             {
115.                 for (int i = 0; i < results.size(); ++i)
116.                 {
117.                     esp_draw_color_detection_result
118. ((uint16_t *)face_ai_frameI->buf,
119. (int)face_ai_frameI->height,
120. (int)face_ai_frameI->width,
121. results[i], draw_lcd_colors[i % draw_colors_num]);
122.                 }
123.             }
124.             else
125.             {
126.                 detector.draw_segmentation_results
127. ((uint16_t *)face_ai_frameI->buf,
128. {(int)face_ai_frameI->height,
129. (int)face_ai_frameI->width, 3},
130. draw_lcd_colors, true, 0x0000);
131.             }
132.             /* 以队列的形式发送AI处理的图像 */
133.             xQueueSend(xQueueAIFrameO, &face_ai_frameI, portMAX_DELAY);
134.         }
135.     }
136. }
138. /**
139. * @brief       AI图像数据开启
140. * @param       无
141. * @retval      1：创建任务及队列失败；0：创建任务及对了成功
142. */
143. uint8_t esp_color_detection_ai_strat(void)
144. {
145.     /* 创建队列及任务 */
146.     xQueueFrameO = xQueueCreate(5, sizeof(camera_fb_t *));
147.     xQueueAIFrameO = xQueueCreate(5, sizeof(camera_fb_t *));
148. xTaskCreatePinnedToCore(esp_camera_process_handler,
149. "esp_camera_process_handler", 6 * 1024,
150. NULL, 5, &camera_task_handle, 1);
151. xTaskCreatePinnedToCore(esp_ai_process_handler,
152. "esp_ai_process_handler", 6 * 1024,
153. NULL, 5, &ai_task_handle, 1);
154.    
155.     if (xQueueFrameO != NULL
156.         || xQueueAIFrameO != NULL
157.         || camera_task_handle != NULL
158.         || ai_task_handle != NULL)
159.     {
160.         return 0;
161.     }
163.     return 1;
164. }

复制代码

首先，我们创建了两个消息队列和两个任务。这两个消息队列的主要功能是传输图像数据，它们的区别在于一个用于传输原始图像数据，另一个用于传输经过AI处理后的图像数据或者未检测到的图像数据（原始图像数据）。而这两个任务则分别负责图像数据的获取和AI处理。在AI处理任务中，当检测到颜色时，系统会在图像数据中添加颜色框框用来识别当前颜色，最后使用消息队列将AI处理后的图像数据或未检测到的图像数据（原始图像数据）发送到LCD上进行显示。
62.3 下载验证
如果在检测过程中发现比较明显的颜色物体，该系统会将此帧的图像数据发送给颜色识别API进行处理。处理成功后，此帧的图像将被显示在LCD上，如下图所示

图62.3.1 颜色识别效果图

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

喜欢鼓捣这些软件，现在用得少，谢谢分享！

很好很强大  我过来先占个楼 待编辑

东西不错很实用谢谢分享

过来提前占个楼

这个好，看起来很实用

分享、互助 让互联网精神温暖你我

很好很强大  我过来先占个楼 待编辑

前排留名，哈哈哈

这个好，看起来很实用

前排留名，哈哈哈

用心讨论，共获提升！

鼓励转贴优秀软件安全工具和文档！

热心回复！

感谢分享，学习下。

感谢，下载保存了

感谢分享，下载保存了，貌似很强大

东西不错很实用谢谢分享

热心回复！