JavaCV的摄像头实战之十三：年龄检测
欢迎访问我的GitHub
这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos
本篇概览
-
本文是《JavaCV的摄像头实战》系列的第十三篇，前文《JavaCV的摄像头实战之十二：性别检测》中，借助训练好的卷积神经网络模型开发出了识别性别的应用，今天在前文基础上做少量改动，实现年龄识别的功能，效果如下图：
-
应用主要功能如下图所示：
-
如果您看过《JavaCV的摄像头实战》系列的其他文章，就会发现上图中只有蓝色部分是新增内容，其余的步骤都是固定套路，《JavaCV的摄像头实战》系列的每一个应用玩的都是相同套路：别看步骤挺多，其实都是同一个流程
关于性别和年龄检测
- 使用卷积神经网络推理性别和年龄的更多技术细节，这里有更详细的说明：
https://talhassner.github.io/home/publication/2015_CVPR - 本篇会使用已训练好的Caffe 模型，训练该模型的数据来自Flickr相册，通过从 iPhone5（或更高版本）智能手机设备自动上传组装而成，并由其作者根据知识共享 (CC) 许可向公众发布，共有26580张照片，涉及2284人，这些人的年龄一共被标识成八组：（0-2、4-6、8-13、15-20、25-32、38-43、48-53、60 -)
- 关于数据源的更多详细，请参考：https://talhassner.github.io/home/projects/Adience/Adience-data.html
- 论文地址：https://talhassner.github.io/home/projects/cnn_agegender/CVPR2015_CNN_AgeGenderEstimation.pdf
源码下载
- 《JavaCV人脸识别三部曲》的完整源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blog_demos)：
| 名称 | 链接 | 备注 |
|---|---|---|
| 项目主页 | https://github.com/zq2599/blog_demos | 该项目在GitHub上的主页 |
| git仓库地址(https) | https://github.com/zq2599/blog_demos.git | 该项目源码的仓库地址，https协议 |
| git仓库地址(ssh) | [email protected]:zq2599/blog_demos.git | 该项目源码的仓库地址，ssh协议 |
- 这个git项目中有多个文件夹，本篇的源码在javacv-tutorials文件夹下，如下图红框所示：
- javacv-tutorials里面有多个子工程，《JavaCV的摄像头实战》系列的代码在simple-grab-push工程下：
准备：文件下载
- 本次实战需要三个文件：
- 人脸检测的模型文件：https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml
- 年龄识别的配置文件：https://raw.githubusercontent.com/GilLevi/AgeGenderDeepLearning/master/age_net_definitions/deploy.prototxt
- 年龄识别的模型文件：https://raw.githubusercontent.com/GilLevi/AgeGenderDeepLearning/master/models/age_net.caffemodel
- 我已将上述文件打包上传到CSDN，您也可以在CSDN下载（无需积分）：
https://download.csdn.net/download/boling_cavalry/70730586
准备：代码接口简介
- 编码前，先把涉及到的所有java文件说明一下：
- AbstractCameraApplication.java：主程序的抽象类，这里面定义了打开摄像头、抓取每一帧、处理每一帧的基本框架，避免每个应用都把这些事情重复做一遍
- PreviewCameraWithGenderAge.java：主程序，是AbstractCameraApplication的实现类，本次实战的核心功能人脸检测和年龄检测，都委托给它的成员变量detectService去完成
- DetectService.java：检测服务的接口，里面定义了几个重要的api，例如初始化、处理每一帧、释放资源等
- AgeDetectService.java：前文GenderDetectService的子类，仅仅是处理推理结果的逻辑与前文的性别识别略有不同，其余功能完全继承自性别识别
- 以上代码，咱们已经在前文写过一次了，今天当然不需要重复再做一次，今天是在上述代码基础上做两处小幅度修改，接下来就开始吧
改动一：主程序（PreviewCameraWithGenderAge.java）
- 卷积神经网络所需的配置和模型文件，是在主程序的main方法内设置的，上一章是性别检测，这里替换为年龄检测的文件，如下所示，请您将路径换为自己电脑上的文件路径：
public static void main(String[] args) {
String base = "E:\\temp\\202112\\25\\opencv\\";
DetectService detectService = new AgeDetectService(
base + "haarcascade_frontalface_alt.xml",
base + "age\\deploy.prototxt",
base + "age\\age_net.caffemodel");
new PreviewCameraWithGenderAge(detectService).action(1000);
}
改动二：检测服务实现（GenderDetectService的子类）
- 前文《性别检测》的核心功能都集中在GenderDetectService.java中，今天要做的年龄检测，除了推理结果的处理逻辑略有不同，其余功能与《性别检测》完全一致
- 所以，实现年龄检测的最简单方法就是写一个子类继承GenderDetectService，这个子类中只有神经网络推理结果的处理逻辑，完整代码如下，注释中已经有了详细说明，就不多赘述了：
package com.bolingcavalry.grabpush.extend;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.javacpp.DoublePointer;
import org.bytedeco.opencv.opencv_core.Mat;
import org.bytedeco.opencv.opencv_core.Point;
import static org.bytedeco.opencv.global.opencv_core.minMaxLoc;
/**
* @author willzhao
* @version 1.0
* @description 检测年龄的服务
* @date 2021/12/3 8:09
*/
@Slf4j
public class AgeDetectService extends GenderDetectService {
/**
* 设置训练模型时划分的年龄段，所以推理结果也是这样的年龄段
*/
private static final String[] AGES = new String[]{"0-2", "4-6", "8-13", "15-20", "25-32", "38-43", "48-53", "60-"};
/**
* 构造方法，在此指定proto和模型文件的下载地址
*
* @param classifierModelFilePath
* @param cnnProtoFilePath
* @param cnnModelFilePath
*/
public AgeDetectService(String classifierModelFilePath, String cnnProtoFilePath, String cnnModelFilePath) {
super(classifierModelFilePath, cnnProtoFilePath, cnnModelFilePath);
}
@Override
protected String getDescriptionFromPredictResult(Mat prob) {
DoublePointer pointer = new DoublePointer(new double[1]);
Point max = new Point();
// 把prob理解为一个数组，
// 第一个元素是"0-2"的置信度
// 第二个元素是"4-6"的置信度
// 第三个元素是"8-13"的置信度
// 第四个元素是"15-20"的置信度
// ...
// 第八个元素是"60-"的置信度
// minMaxLoc方法帮忙我们找出了置信度最高的元素，max是元素位置，pointer是这个元素的置信度
minMaxLoc(prob, null, pointer, null, max, null);
// 如果置信度太低，那就是"难以置信"，就返回空字符串
if (pointer.get()<0.6d) {
return "";
} else {
// 如果置信度可信，就返回该元素对应的年龄范围
return AGES[max.x()];
}
}
}
- 至此，编码完成，按套路出牌让咱们省下不少时间，接下来开始验证
验证
- 确保摄像头工作正常，运行PreviewCameraWithGenderAge类的main方法（再次提醒，main方法中文件的位置，注意是年龄检测的模型文件，不是性别检测的）
- 天气很冷，为了领到免费盒饭，群众演员早就等得不耐烦了，让他站在摄像头前，如下图，年龄识别成功，且实时展示：
- 至此，本地窗口预览集成人脸检测和年龄检测的功能就完成了，得益于JavaCV的强大，整个过程是如此的轻松愉快，接下来请继续关注欣宸原创，《JavaCV的摄像头实战》系列还会呈现更多丰富的应用；
关于性别+年龄识别
- 如果您关注过网上关于性别和年龄识别相关的技术文章，您会发现通常这些文章会将两种识别集成在一起讲，并且代码的效果也是继承了两种识别的，如下图：
- 也行您会有疑问：欣宸为何不把两种识别放在一篇文章和一个demo中，这样内容更完整demo也更强大？
- 之所以分文两篇，是因为年龄和性别识别的套路比较接近，如果在一篇文中讲完，无非是多写几行代码多打几行字，不会对技术带来提升，那还不如每篇只聚焦一个功能，把初始化、使用、资源释放等技术点说清楚，至于单独用还是组合用，留给聪明的读者按自己的需求去自由组合即可