基于深度学习的人脸识别系统在智慧农业领域的应用研究.pdf

2021年 2期 信息处理与决策 智慧农业导刊 JournalofSmartAgriculture 基于深度学习的人脸识别系统在智慧农业领域的应用研究 孙 灏 中煤科工集团常州研究院有限公司 江苏常州 213000 智慧农业的发展主要经历了三个阶段 即初步形成 阶段 研发并示范阶段 推广阶段 由于我国的智慧农业 起步较晚 故现在还停留在第二阶段 研发并示范阶 段 还没有形成成熟的技术体系及配套机制 因此距离 真正的推广应用还有一段距离 目前我国的智慧农业主 要涉及到农作物的种植领域 大规 模 的农 场 种植 棉花 水稻 玉米等 农作物 利 用智慧农业技术 可以改进 种植 过程 中的 灌溉方式 及 收割方式 目前智慧农业应用推广 还 存 在 诸多问题 比如缺乏专 业 人才 全 国经 济 发展 水 平不 一 致 农 村人口受教育程度普遍 较 低等 但是 在 2018年京东宣布 正 式进军养殖 业 其 中 猪脸识别 技术 引 起了 社会各界 的广 泛关注 猪脸识别 技术 可以准确记录 每头猪 的体 重 生长 及 健康状况 而猪脸识别 技术的 基 础就是人脸识别 下面就针对人脸识别 技术 进行探讨 1深度学习的工作原理 与普 通 的 神 经 网络相 比 深 度 学习网络最 大的 特点 在于 其 网络结构 中 包含 一个 以 上 的 隐藏层 其可以 从简 单 的 概念构建复杂概念 的 方式进行 抽象 包含输入层 与 摘 要 随着计算机视觉技术及深度学习算法技术的不断发展 计算机系统对于图像语义的表征能力也越来越强 基于图 像或视频方式的生物识别技术也被广泛应用于各个领域 比如监控系统 智慧农业园区 无人驾驶等 通过图像或视频实现自 动跟踪 检测及识别 相比其他生物识别技术 最有非侵入性功能的优 势 比如 需要 人 眼 对 准摄 像 头才 能识别的 虹膜 识别技术 需要手指靠近传感器 的 指纹 识别等 人 脸 识别 中只要 人 们出 现 在录 像 设备 视 野内即可完成 识别 因此即使在 用 户 不 希望与 系 统 合作 的 环境中 也 可以 应用 该 技术 完成 识别 操作 基于 此 人 脸 识别 在我们日常 生 活中 的应用越来越广泛 比如 电子支付 人 力 资源 的 考核 刑侦搜索 等 但是光照 人 脸 表 情 遮挡 物等 诸多因素均会 对人 脸 识别 效果产 生 直接影响 而 基于深度学习的人 脸 识别算法 可以大大提高 人 脸 识别的 准确 性 文章阐述了 深度学习 网络 的 工作原 理 总结 人 脸 识别的基 本流程 并 提出 基于深 度学习的人 脸 识别系统 设 计实 例 关键词 人 脸 识别 深度学习 系统 设 计 中图分类号 TP391 41 文献标志码 A 文章编号 2096 9902 2021 02 0036 04 Abstract Withthecontinuousdevelopmentofcomputervisiontechnologyanddeeplearningalgorithmtechnology the computersystemisbecomingmoreandmorecapableofrepresentingimagesemantics Biometricidentificationtechnologybased onimageorvideoisalsowidelyusedinvariousfields suchasmonitoringsystem smartagriculture unmanneddriving etc andthusautomatictracking detectionandrecognitionarerealizedthroughimageorvideo Comparedwithotherbiometric technologies whichhavethemostadvantagesofnon invasivefunction suchasirisrecognitiontechnologywhichrequiresthe eyestobeaimedatthecamera fingerprintrecognitionwhichrequiresthefingerstobeclosetothesensor etc theface recognitiononlyneedspeopletocompleterecognitionaslongastheyappearinthefieldofvisionofthevideorecording equipment Therefore evenintheenvironmentwhereusersdonotwanttocooperatewiththesystem thistechnologycanbe appliedtocompletetherecognitionoperation Basedonthis facerecognitioniswidelyusedinourdailylife suchas electronicpayment humanresourcesassessment criminalinvestigationsearchandsoon Althoughmanyfactors suchas illumination facialexpressions obstructionsandsoon willhaveadirectimpactonthefacerecognitioneffect theface recognitionalgorithmbasedondeeplearningcangreatlyimprovetheaccuracyoffacerecognition Thispaperexpoundsthe workingprincipleofdeeplearningnetwork summarizesthebasicprocessoffacerecognition andputsforwardadesign exampleoffacerecognitionsystembasedondeeplearning Keywords facerecognition deeplearning systemdesign 作者简介 孙灏 1989 男 本科 工 程师 研究 方 向 通 信 36 2021年 2期 信息处理与决策 智慧农业导刊 JournalofSmartAgriculture 输出层 在 内具 有三 层 以 上 的系 统 即 为深 度 学习 深 度 学 习网络 中 每 层神 经 元均 以 上 一 层神 经 元输出为 基础 学 习 识别 一 组特定 的 特征 对 前一 层 的 特征 进行 整合 与重 组 网络深 度不 断增加 神 经 元 就不 断 识别 更加抽象 复 杂 的 特征 这 种 特征层次结构 可以 实 现 深 度 学习网络高 维 度 大规 模 的 数据处理 完 成 数十亿参数 的 非线性函 数运算 利 用 深 度 学习网络 可以针对 一 幅图像合 并 某些 角点或边缘 等基 本特征 集 来学习相 关 概念 深 度 学习 的 深层思想来自 于 这些抽象 的 级 别 每 一 层接 受 前一 层 的 输出为输入学习上 一 层更高级 的 特征 利 用 这些特征再 产 生 一个 输出 深 度 学习 的 学习 过程与 传统 的机 器学习 不 同 机 器 学习 的 特征 是 由 人 工 设定 的 系 统根据 人 工 设定 的 特征 对 目 标 进行识别 分类 但是不 同 目 标 的 特征差异悬殊 即 使 是 同 一 类 目 标 其 特征 往往也 会受 到 多 种因 素 的 影 响 而 发 生 变化 因此 人 工 操 作的工作 量 十分 繁 重 且无 法达 到 理想 的 识别 效果 而 深 度 学习 无需 人 工 干预 即 可 自 动提取 图像特征 其 先 由 底 层网络 中 学习简单 的 特征 提取 再 逐 层抽象最 终获得 目 标 的 高级特征 表 示 整 个 过程 中系 统 会 学习 如 何 识别 复杂 的 概念 深 度 学习通 过 大 量 标 记 数据 进行 训练 与 学习 再 用于 未 标 记 非结构 化 数据 的 处理 因此 深 度 学习网络 的 性 能 大大 优 于 普 通 的机 器学习网络 2人脸识别的具体流程 人脸识别 技术的 具 体 流 程 主要 包 括 人脸 检测 人脸 对 齐 提取 人脸 特征 人脸 匹 配 四 个 环节 具 体 如下 2 1 人脸 检测 人脸 检测 是人脸识别 的第一步 是 在 检测 出图像 中 的 人脸 后 再 返回 人脸 框坐 标 检测 过程 中 图像 质量 光 照 人脸 遮挡 转动 等 均 会对人脸 检测 的 准确 性产 生 直 接 影响 而人脸 检测 的 准确 性 越 高 后续提取 人脸 特征 时 的 噪声 就 越小 人脸识别 的 准确 性 也 就 越 高 人脸 检 测 的 方 法 包 括肤色检测 模 板检测 特征 脸 检测 神 经 网 络 检测 等 人脸 检测时先 在 图像上 选择 一个 观测窗 口 通 常 是 矩 形 区 域 提取观测窗 口 中 能够描述该区 域 图像 信息 的 特征 最 后判 断特征 描述 是 否 包含 人脸 信息 不 断 重 复上 述 步 骤 即 可 检测 完整 的 图像 区 域 如 果所 有 窗 口 检测 均 不 包含 人脸 特征 则判 定图像 中 无 人脸 信息 2 2 人脸对 齐 人脸对 齐 的主要目的 是 通 过对人脸 图像 的 归 一 化 处理来 提 高 人脸识别 的 准确 性 人脸对 齐 包 括几何 对 齐 与 灰 度对 齐两 个 方面 其 中 几何 对 齐 的主要目的 是 调 整 人脸 转动 拍摄 距离 导 致 的 图像角 度 尺寸 差异 多 数 几 何 对 齐 方 法都 是基 于 面 部 关 键 点 位置 来实 现的 因此 几 何 对 齐 的主要 内 容 包 括 人脸 切 割 调 整图像 大 小 旋 转 面 部 姿态 等 通 过 旋 转 缩放 平 移 等 操 作 实 现 人脸对 齐 灰 度对 齐 主要 是 增 强 图像 亮 度 将 光照 条件 对人脸 图像 的 影响 降至 最 低 具 体 方 法 就是 统 一 图像 的 灰 度 2 3 提取 人脸 特征 提取 人脸 特征 能够 将 区 分 两 个 不 同 人脸 的 深层抽 象特征 提取 出来 人脸 特征 的 提取 方 法 包 括 手 工 提取 基 于 学习 的 特征 提取两 种 手 工 提取 特征 是 指 分 析 人脸 图像 中的 特征 敏感 性 针对 特征本 身 设 计 出 区 分 不 同 人 脸 的 显著 特征 所提取 的 特征 的 每 一 维均 可以进行 物 理 解释 常用的 手 工 提取 特征包 括 基 于 纹 理 的 特征 与 形 状 描述 特征 两 种 基 于 纹 理 的 特征 是 采 用 尺 度不 变 特征 转 换 SIFT 算 法 计 算图像 中 角点 进行 特征点 匹 配 SIFT算 法 特征 可 区 分性 强 即 使 对 图像 进行 旋 转 缩放 光照变 化 等 处理 也 不会 影响匹 配 结 果 不过 该 算 法 计 算 量 大 提取 边缘 光 滑 的 特征 效果 不 好 形 状 描述 特征算 法 主要 是 统 计 两 个 点 集中的 每 个 点 的 上 下 文 信息 对比 二 者 的 相 似 性 后得 到一 组最 近似 的 排列 结 果 最 终 确 定 两 个 点 集中的 对 应 点 该 方 法 计 算 效 率 高 描述 简单图 形的形 态 效果 好 可 实 现一 定 程度 的形 变 不过 图像 如 果 经 过 旋 转 处理或 噪声 敏感 则 会 影响 其识别 效果 基 于 学习 特征 不会 直 接 提取 图像特征 而是 通 过 学习来 获取 人脸 图像特征 其关注 点 在于 设 计 提取 特征 的规 则 最 典型 的 就是 神 经 网络 技术 其模 拟 人 类 大 脑 的 神 经 元 工作 结 构 设 计 学习 方 法 及 模 型 结构 通 过 学习 获得 模 型 参数 目前 无法 用物 理 方 法 解释 神 经 网络 提取 出来 的 特征 2 4 人脸 匹 配 人脸 特征 提取 完 成 后 要 进行人脸 匹 配 即 比 较 两 个 人脸 图像 的 相 似 度 利 用一个 相 似 度 阈值 度 量两 个 人脸 比 较的 相 似 度 相 似 度 大于 设定 的 阈值 即 可 判 定为 匹 配 成 功 反之 则匹 配 不 成 功 在 进行人脸 匹 配 时需 要 对人 脸 数据 集 进行 预 处理 利 用 人脸 检测 器 对 数据 集中 人脸 进行 定 位 确 定出定 位 区 域 最 终 定 位 出 人脸 图像 中的 各 个 关 键 点 检测 完 成 后 可以 选择 人脸 中的 双眼 鼻尖 两 边 嘴 角 等关 键 点 再 对 照 一 张 标 准人脸进行 仿射 变 换 即 可 得 到 相同角 度 的 人脸 图 片 其 中 仿射 变 换 是 指 二 维 坐 标 之间 的 线性 变化 可以 通 过 一系 列 复杂 变 换 的 组合 实 现 平 移 缩放 旋 转 等 操 作 且 不会改 变 图像 的 平行 性 37 2021年 2期 信息处理与决策 智慧农业导刊 JournalofSmartAgriculture 与平 直 性 仿射 变 换 确 定 人脸 图像 中的 五 个 关 键 点 后 可以 将 训练 集 与 测 试 集中 所 有 图 片 中的 这 五 个 关 键 点 坐 标 转 换 成 标 准脸 的 相 对 坐 标 位置 如 图像 中 未检测 到 人脸 则 缩放原始 图 片将 其 作 为 训练 数据 针对 少 量 算 法 无法 再次 探 测 图 片 中 人脸 的 情 况 即 使变 换 后也无法检 测 到 人脸 则 可 截 取变 换 时 定 位 的 人脸 图 片 作 为 训练 数 据 针对 同 一 张 人脸 图像 中 出 现 多 张 人脸 的 情 况 需 要 选择 对 应的 类 别 剪切 人脸 被剪切 目 标 选择检测 到的 面 积 最 大的 人脸 确 定 该 人脸 的 五 个 关 键 点 后 仿射 变 换 处 理图 片 再 重 复上 述操 作 通 过人脸 检测 器 对 变 换 后 的 图 片 进行 检测 3基于深度学习的人脸识别系统开发实例 本 研究 以 某 地铁站闸 机 检 票 应用 场 景 为 例 提 出 一 种 基 于 深 度 学习 的 人脸识别 系 统 开 发 方 案 3 1人脸识别 系 统 框 架 本 研究 提 出 的 人脸识别 系 统 能够 实 现用 户移 动 端 注 册购票 及 刷 脸进 站 整 个系 统 架 构包 括 站务 通 信 模 块 闸 机 通 信 模 块 视频解码 模 块 人脸识别模 块 等 部 分 其 中 站务 通 信 模 块 在 接 收 到 站务 系 统 推 送 的用 户 信息后 将 其 存 储 于 本 地 数据 库 主要 负责 与 站务 系 统 的 通 信 闸 机 通 信 模 块 则 主要 向 闸 机系 统 发 送 识别 匹 配 信息 如 果 闸 机 端 发 送 了 注 销请求 通 过 闸 机 通 信 模 块 可以 删除 本 地 数 据 库 中 存 储 的用 户 信息 视频解码 模 块 主要 负责视频 的 读 入 与 解码 人脸识别模 块 主要 对 解码 后 的 图像 进行 上 述 人脸识别 处理 即 人脸 检测 人脸对 齐 提取 人脸 特征 人脸 匹 配 等 具 体系 统 架 构 如 图 1所 示 图 1 人 脸 识别系统 框架 图 3 2人脸识别 系 统算 法流 程 第一步 读 入 解码 后 的 原始 图像 检测 其 中的 人脸 第 二步用 深 度 学习 过 的 人脸模 型 提取 人脸 图像 的 特征 向 量 将 检测 到的 人脸 图像输入 到 深 度 学习网络 进行 前 向 计 算 将 最 终 的 计 算结 果 作 为图像 的 高维特征 该 特征 是 图像数据 在 特征 空 间 的 映 射 可以 表 征图像 故 该 特 征 即 为图像 的 深层特征 第三步 提取 数据 库 中 每 张 人脸 图像 的 特征 向 量 计 算数据 库 中 人脸 图像特征 向 量 与 提 取 到的 人脸 图像特征 向 量 之间 的 余弦 距离 用 计 算结 果 度 量两 张 人脸 图像 的 相 似 性 余弦 距离 越 大 表 示 两 张 图 像相 似 度 越 高 第 四 步 按 照 第三步的 计 算结 果 进行 降 序 排 序 排 序 最 前 面 的即 为 与 待 识别 图像最相 似 的 图像 针对 待 识别 图像 的 余弦 距离 设定 有 某 个 阈值 只 有大于 该 阈值 系 统 才会 判 定 人脸 图像 识别 成 功 小 于 该 阈值 则 判 定 失败 本 研究中 针对 地铁 检 票 的工作 场 景将 该 阈值 设定为 0 75 以 降 低 误 检 率 3 3辅助 模 块 辅助 模 块 的主要作用 是 开 发一个 人脸识别 图 形 界 面程 序 以 用于 实 际 场 景 的 测 试 辅助 模 块 主要 包 括 图 形 界面 用 户 注 册 模 块 人脸识别模 块 两 大 部 分 3 3 1用 户 注 册 模 块 在 该检 票 人脸识别 系 统 中用 户 使 用 手 机 端 的 APP 采 集 人脸 图像 用 户 注 册 模 块 就是 提取 用 户 的 面 部 特征 信息 并 将 提取 到的 人脸 特征 信息 姓名 信息 及 编号 信 息 等存 入 系 统本 地 数据 库 中 后续 进行人脸识别 时 将 会 与 这些 信息 进行对比 用 户 注 册 模 块 包 括 人脸 检测 特 征 提取 图像 编 码 及 信息 入 库 等 部 分 其 中 人脸 检测 与 特征 向 量提取 如 上 述 人脸识别 算 法所述 在 人脸识别 系 统 中 人脸识别模 块显 示 结 果时 系 统 需 要 显 示 出 人脸 图 像 的 识别 结 果 因此用 户 注 册 时 要 保 存人脸 图像 并 将 其 传输 至 人脸识别模 块 本 系 统 采 用 base64对 需 要 保 存 的 人脸 图像 进行 编 码 处理 base64是 一种二 进 制 文 本 编 码 方 案 通 常用于 HTTP环 境 下 较 长 标 识 信息 的 传 递 应 用 该 方 案 可以 将 系 统 采 集到的 图像 二 进 制 数据 编 码 为 字符串 数据 可以 在 不 同 系 统 之间 可 靠 完整 的 传输 不 会对 原始 图像数据产 生 破坏 以 便 于 后续 的 传输 与存 储 提取 到 人脸 特征 及 图像 编 码 完 成 后 再 将 用 户 的 基 本 信息 编号 信息 人脸 特征 向 量 及 图像 编 码 字符串 等 储 存 于 本 地 数据 库 用于 后续 的 对比 在 人脸注 册 模 块 界 面 用 户 操 作 时需 点 击 采 集 按钮 就可以 通 过 屏幕右 方 的 边 框 裁 剪 人脸 图像 点 击 注 册 后后 台 线 程会 提取 人脸 图 像特征 此 处 采 用 多 线 程 处理 方 法 UI线 程 响 应 界面 后 台 工作 者 线 程进行 特征 提取 存 储 用 户 信息 等 数据处 38 2021年 2期 信息处理与决策 智慧农业导刊 JournalofSmartAgriculture 理 这 种 多 线 程 的 处理 方 法 可以确 保 界面 保持 响 应 3 3 2人脸识别模 块 人脸识别模 块 主要 包 括 人脸 检测 特征 提取 相 似 度 匹 配 图像 解码 四 个 部 分 由于 人脸 检测 特征 提取 及 图 像 解码 的 操 作 与 上 述 用 户 注 册 模 块 基 本相同 此 处 仅 重 点 是 介绍 相 似 度 匹 配 模 块 的 设 计 相 似 度 匹 配即 上 述 人 脸识别 算 法流 程 中 提 到的 计 算 待 匹 配 图像特征 向 量 与 数 据 库 中 图像特征 向 量 的 余弦 距离 需 要 注 意 的 是 由于 闸 机 检 票 时 存 在 多人 排 队 检 票 的 情 况 因此 人脸识别 系 统 会 同 时检测 到 多 张 人脸 这 种 情 况下 系 统 会 将 离 摄 像 头 最 近 的用 户 人脸 即 面 部区 域 最 大的 人脸 作 为 待 识别人 脸 且 系 统 会 连 续 读 取 多 帧 图像 以 减 少 运 动 模 糊 的 影 响 选择 其 中 最 清晰 的 图像 作 为 待 识别 图像 在 实 际 的工 作 流 程 中 点 击 人脸识别 时 UI线 程会对 视频 中 出 现的 人 脸 图像 进行 检测 裁 剪 后 发 送至 后 台 工作 者 线 程 接 受 到 处理 后 的 图像 后 即 提取 高维特征 向 量 逐 一 计 算 其与 数 据 库 中 存 储 的 人脸 图像特征 向 量 的 余弦 距离 以 判 断 该 人脸 图像 能够 与 数据 库 中 存 储 的 图像 匹 配成 功 系 统 会 在 人脸识别模 块 界面 给 出 识别 结 果 及 置 信 度 3 4 人脸识别模 块 封装 常用的 封装 人脸识别 系 统 核心 模 块 的 方 法 包 括两 种 一种 是以 后 台 进程 的形 式 提 供 人脸识别 服 务 另 一 种 是 封装 成 动 态 链 接 库 的形 式 限于 篇 幅 此 处 主要 介绍 以 后 台 进程 的形 式 提 供 人脸识别 服 务 的 方 法 以 后 台 进 程 的形 式 提 供 人脸识别 服 务 的主要 流 程 包 括 人脸 检测 服 务 特征 提取 服 务 人脸识别 服 务 三个 部 分 系 统建 立 连 接 后 客 户端 会 向 系 统 发 送 人脸 检测 请求 人脸 检测 服 务 会 将 待 检测 图像从 请求 包 中 解析 出来 进行人脸 检测 检测 到 人脸 后 将 人脸 图像 裁 剪 出来实 现 人脸 检测 抠 图 再 将 检测 结 果 以 数据包 的形 式 发 送至 客 户端 特征 提取 服 务 同 样 要 先 连 接 客 户端 建 立连 接 后 向 系 统 发 送 特征 提取 请求 及 对 应的 人脸 图像 特征 提取 服 务 就会 提取 人 脸 图像 的 高维特征 再 将 处理结 果 发 送至 客 户端 人脸 识别 服 务 是 该 模 块 的 核心 客 户端 与 系 统建 立连 接 后 会 向 人脸识别 服 务 发 送 人脸识别 请求 其 解析 出数据包 中 的 人脸 图像 并 提取 特征 后 与 本 地 数据 库 中 存 储 的用 户 信息 进行比对 分 析 注 册 用 户 的 姓名 人脸 特征 等 信息 是 否 与 处理结 果 一 致 人脸识别 服 务 还 会 接 收 客 户端 发 送 的 存 储 信息 对其进行 解析 处理 后 并 保 存 于 本 地 此 外 用 户 如 果需 要 进行注 销 操 作 客 户端 也 会 将 注 销请 求 发 送至 人脸识别 服 务 其会 将 需 要 注 销 的用 户 信息直 接 删除 4结束语 总 之 人脸识别 技术 是生 物 识别 技术中的 重 要 组 成 部 分 其 用 户 体 验 好 具 有 非接 触 性 的 优 势 且 假冒 成 本 高 越 来 越 受 到 学 术 界 的 关注 成 为 各 位 专 家 学 者 研究 的 热 点 方 向 深 度 学习算 法 的发展 与进 步 是人脸识别 技 术发展的有 力 推 手 因此 基 于 深 度 学习 的 人脸识别 系 统 被 广 泛 应用于 各 个领域 包 括 视频 监控 智 能 安防 智慧 农业 等 相 信 随着 人脸识别 技术的 不 断 发展 在智慧农 业领域的应用 将 会 越 来 越 广 泛 参考文献 1 李绍欣 山世 光 阚美娜 等 基于 多 视统 一 子 空间 的 跨姿态 人 脸 识 别应用技术 研究 J 警察 技术 2014 5 8 11 2 洪 子 泉 杨静宇 基于 奇异值特 征 和 统计 模型 的人像识别算法 J 计 算机 研究 与 发展 1994 3 60 65 3 郑津津 王佳凯琳 用于 家庭安保服务型 机 器 人的基于 局部二值 法 和特 征 脸 的实 时 人 脸 识别系统 J 工 业控 制 计算机 2017 30 2 85 86 4 景晨凯 宋涛 庄雷 等 基于深度 卷积神经 网络 的人 脸 识别技术 综 述 J 计算机应用 与 软件 2018 35 1 223 231 5 吴 素 雯 战荫伟 基于 选择 性 搜索 和卷积神经 网络 的人 脸 检测 J 计 算机应用 研究 2017 34 9 2854 2857 2876 6 姜涛 朱志宇 刘润邦 远程 视频实 时 人 脸 识别系统 设 计 J 电子设 计 工 程 2018 26 3 41 44 49 7 王宇龙 刘开元 基于 面部特 征 点运 动的 活 体 检测方法 J 网络与 信 息 安 全 学 报 2018 4 6 36 44 8 潘 志 庚 邹鹏 程 梁荣华 基于 特 征人 脸 和 肤色 统计的人 脸 检测 J 系统 仿真 学 报 2004 16 6 1346 1349 9 叶 学义 陈雪婷 陈华华 级联 型 P RBM神经 网络 的人 脸 检测 J 中 国 图 象 图 形 学 报 2016 21 7 875 885 39