大数据技术在农业领域的应用研究.pdf

2021年 1期 大数据与人工智能 智慧农业导刊 JournalofSmartAgriculture 大数据技术在农业领域的应用研究 冯 敏 1 樊 昕 2 吕 刚 3 1 山东第一医科大学 山东省医学科学院 医学信息工程学院 山东泰安 271000 2 泰安市科学技术情报研究所 山东泰安 271000 3 山东农业大学信息科学与工程学院 山东泰安 271000 当前 随着社会信息化程度的大幅度提高 农业领 域每天产生大量的相关数据 但是这些数据没有得到有 效地利用 因此 研究开发一个适合的农业大数据应用 系统平台显得尤为重要和关键 它对提高我国农业领域 大数据的有效利用发挥至关重要的作用 1 农业大数据 是融合了农业地域性 季节 性 多样 性 周期 性 等自身特 征后 产生的 来源广泛 类型多样 结构复杂 具 有 潜在价 值 并难以 应用 通常方法处理 和 分析 的数据 集 合 农业 大数据 保留 了大数据 自身具 有的 规模巨 大 volume 类 型多样 variety 价值密 度 低 value 处理速 度 快 veloc ity 精确 度高 veracity 和 复杂 度高 complexity 等基本 特征 并使 农业 内部 的信息 流 得到了 延展 和 深 化 2 农业 大数据是大数据 理念 技术和 方法在 农业的 实践 农业 大数据 涉及 到 耕 地 播种 施肥 杀虫 收割 存储 育种 等各环节 是 跨行 业 跨专 业 跨 业 务 的数据 分析 与 挖 掘 以及 数据 可视 化 3 因此 为有效利用农业大数据 各 相关 单位 和个 人都在 开发和研究农业大数据平台的关 键技术 为了 不断推进 农业 经 济 的 优 化 实 现 可 持续 的产业 发 展 和 区 域产业 结构 优 化 进 一 步 推 动智慧 农业的 建设 进 程 需 要 全面 及 时掌握 农业的发 展 动态 这 需 要 依托 农业大数据 及 相关大数据 分析处理 技术 建设 一个农业 摘 要 随着社会信息化进程的不断加快 我国的农业技术应用也随之进入了信息大数据时代 当前 大数据技术在互联 网经济浪潮中取得了丰硕的成果 但在我们国家农业领域的应用还处于初始的低级阶段 或许是因为农业领域的问题比较复 杂 并且农业数据存在明显的多样性和异质性 再一个大数据 本身 存在 海量采集 和 海量 存 储 的问题 这些 因 素都导致 大数据技 术在农业领域的 深度 应用 面临 许多 困难 和 挑战 文章旨 在 研究 大数据技术在农业领域的应用问题 文章简要介绍 了农业大数 据 发展 的 背景 和 发展 农业大数据的 意义 总结 了大数据的 含义 同 时 对 农业大数据在农业 资源管理 农业 生产过 程 管理 农业 产品 和农业 食品安全管理 农业 生态环境管理等方面 的 主要 应用进 行 了 总结 和 分析 在 实验部分 文章设计 并 实现 了一个 基 于 Hadoop的大数据技术农业应用 系统平台 通过实验表 明 文章设计 的大数据技术农业应用 系统平台 性 能能够满足需要 关键词 大数据技术 智慧 农业 农业 资源管理 农业 物 联网 中图分类号 TP399 文献标志码 A 文章编号 2096 9902 2021 01 0033 04 Abstracts Withtheacceleratingprocessofsocialinformatization theapplicationofagriculturaltechnologyinChinahas enteredtheeraofbigdata Atpresent bigdatatechnologyhasachievedfruitfulresultsinthewaveofInterneteconomy but itsapplicationinourcountry sagriculturalfieldisstillintheinitiallow levelstage Atpresent problemsinthefieldofagri culturearecomplex thereisobviousdiversityandheterogeneityofagriculturaldata andanotherbigdataitselfhastheprob lemofmassivecollectionandstorage Thesefactorshaveledtomanydifficultiesandchallengesinthein depthapplicationof bigdatatechnologyinthefieldofagriculture Thispaperaimstostudytheapplicationofbigdatatechnologyinthefieldof agriculture brieflyintroducethebackgroundandsignificanceofthedevelopmentofagriculturalbigdata andsummarizethe meaningofbigdata Atthesametime themainapplicationsofagriculturalbigdatainagriculturalresourcemanagement a griculturalproductionprocessmanagement agriculturalproductsandagriculturalfoodsafetymanagement agriculturalecological environmentmanagementaretracedandanalyzed Intheexperimentalpart thispaperdesignsandimplementsanagricultural applicationsystemplatformofbigdatatechnologybasedonHadoop Theexperimentsshowthattheperformanceoftheagri culturalapplicationsystemplatformofbigdatatechnologydesignedinthispapercanmeettheneeds Keywords bigdatatechnology smartagriculture agriculturalresourcemanagement agriculturalInternetofThings 基金项目 山东省泰安市科技发展计划项目 编号 2018GX0060 作者简介 冯敏 1980 男 硕 士研究生 讲师 研究方向 信息技术在 各 领域的应用 33 2021年 1期 大数据与人工智能 智慧农业导刊 JournalofSmartAgriculture 大数据 分析 应用平台 1 4 5 该 大数据应用平台 功能涵盖 以 下 方 面 1 实 现 数据 库 的 交互 2 根 据农业大数据 研究的个性化 需求 形成 一系 列 相关 公 开发 布 数据的 采 集 机制 将 数据 采 集 的相关程 序设计 并 编写完善 部 署 此 套机制 在 平台 上 周期 运转 3 数据的 浏览 对数据 进 行 查询 展 现 和 基 础 统 计 分析等 初步 应用 4 实 现 农业 大数据 分析人 员 的 交 流 平台 本 文简 要 介绍 了农业大数 据发 展 的 背景 和发 展 农业大数据的 意义 总 结 了大数据 的 含义 同时 对农业大数据 在 农业 资 源 管 理 农业生产 过 程 管 理 农业产 品 和农业 食品 安 全管 理 农业生 态 环 境管 理等方 面 的 主 要应用 进行 了 总 结 和 分析 6 7 在实 验 部分 本 文设计 并实 现 了一个 基 于 Hadoop的农业大数 据系统平台 1 方法 1 1什么 是大数据 大数据没有 固定 的 标准 化 定义 即便如 此 我 们也 不 会 否认 它对社会发 展 的重要 影响 但 在不 同 的国 家 它对 不 同 的对 象 有着 不 同 的 价值 体 现 其核心 作用是 不 可 替代 的 8 数据的 多样 性和 差异 性 决 定 了它 能 够 根 据 不 同 的 环 境 作 出 准 确 的 判 断 具 有 很 大的应用 价值 大 多 数 人都 熟悉 结构 化数据 但 实 际 使 用的数据 多 为 非 结 构 化数据 例 如 文 本处理 和 电子邮件传输 都 是 半 结构 化数据 这些数据 属 于过 渡 数据 真正 的大数据 集 中体 现 在 互 联网 和 电子商 务 应用 上 如文 档 网页 报 告 图 片 音频 和 视 频 等各种 数据 类型 1 2大数据技术 在 农业领域的应用 从 全 球 来 看 农业大数据技术对农业的 现 代 化发 展 都 起 到了至关重要的作用 当 然 对我国的农业发 展 也 必 将 起 到关键作用 通 过 对数据 来源 的 分析 我国 目 前 应用大数据技术的 主 要领域有 9 1 农业生产 过 程 管 理 数据 农业信息化的第一 步 在 于 生产 这一 联 系 涉及 水 产 养殖 种 植 业和农业 在 生 产 过 程 中 首先 要 保 证 数据 能 够 准 确 地 检测出 多 因 素 的 环 境 因 素 以 便 开 展种 植 第 二 我 们 必须 有一个 果 断 而 明 智 的生产 决策 计 划 因此 必须 在规 章 制 度和 管 理 上 进行 合 理 配置 以 便 尽 快 解决问题 2 农业 资 源 管 理 数据 可 持续 发 展 是 经 济 增长最 基本 的前提 与 上 个 世纪 相 比 我国农业 资 源 稀缺 因此 必须继 续根 据当前的发 展 形 势 和生 态 环 境 的 多样 性 来 使 用数据 完善 农业生产 统 筹 规 划 提高农业 资 源 的有 效利用 率 3 农业生 态 环 境 相关数据 农业生 态 环 境 是 指直 接或者间接 影响 农业生 存 和发 展 的 土 地 资 源 水 资 源 气候 资 源 和生 物 资 源等各种 要 素 的 总 称 是农业生 存 和 发 展 的前提 是 人类 社会生产发 展 最 重要的 物质 基 础 4 农业和 食品 安 全管 理 数据 农业生产的 最 终 目 的是 满足 人 民群众 最 基本 的生 存保 障 农业和 食品 安 全 问题 已 成 为 消费 者 关 注 的 主 要 问题 为了 降 低 生产 成 本 农 民把 所有的 精 力 都 花 在 农产 品上 有 时 有 意 无 意 地 破坏 了 食品 安 全 针 对这 种 情 况 农业有关 部 门 要 加 强 对农作 物 产 区 生产 车 间 和市 场 流通 区 环 境 的 管 理 5 农业 设 备 设 施 大数据 监 测 农业生产 环 境 要与 资 源 市 场 相 匹 配 并 应 进行 适当地 监 测 以 促 进 农业信 息的 处理 和有效利用 10 1 3什么 是 Hadoop Hadoop是一个用 于 开发和 操 作大 规模 数据的 软 件 平台 它是一个用 Java语言 实 现 的 Apache开 源 软 件 框 架 用 户 可以 开发 分 布 式 程 序 充 分 利用当前 热门 的 集 群 处理 的 强 大 功能 来实 现 大数据的 海 量 存储 和高 速 计 算 而 不 必 过 分 关 注 具 体 细 节 我 们 借助 平台 Hadoop实 现 了一个 分 布 式 文 件 系统 Hadoop分 布 式 文 件 系统 称 为 HDFS HDFS具 有 很 高的 容错 性 并 且被 设计 为 部 署 在 廉 价 的 硬 件 上 此 外 它 还 提 供 了 访 问 应用程 序 数 据的高 吞吐 量 并 且 适用 于 具 有 非 常 大的数据 集 的应用 程 序 2实验过程 2 1系统 架 构 作为一个大数据系统 首先 需 要 解决 的 问题 是数据 捕获 问题 然 后 对数据 进行 清 理 和 预 处理 然 后 用 Hadoop离线 分析 数据 最 后 用 可视 化 软 件 Echarts显 示 数据 分析 的 结 果 系统 主 要 包括五 个 模 块 数据 爬 虫模 块 数据 清洗 模 块 Hadoop离线 分析模 块 Hbase数据 库 持 久 化 模 块 和 Web数据 可视 化 模 块 最 底层 是数据 刮 取 模 块 农业大数据 主 要 来源 于 农业大数据应用 云 平 台 布 莱克 农业数据 网 站 及 其 他 相关 网 站 获取原始 数 据 后 需 要对 原始 数据 进行 排 序 和 清 理 去除 不 合 理 的 值 然 后进 入 数据 离线 分析 阶段 这个 阶段 主 要 基 于 HadoopMapReduce编 程 模型 编写 多 个 MapReduce任 务 并 将 最 终 结 果 本 地 存储 然 后 是数据 持 久 化 阶段 即 使 用 MySQL数据 库 对 离线 分析后 的 文 本 文 件 进行 解 析 然 后存储在 MySQL数据 库 中 Web数据 可视 化 模 块 直接 面 向 用 户 用 户 可以通 过 这个 Web界 面 轻松 看 到 数据 分析结 果 数据报 表包括 使 用 直 方 图 饼 图 等 显 示 数据 分析结 果 2 2实 验 环 境 本 文 的 实 验主 要是 在 Windows10操 作系统 上 搭 建 一个 Hadoop开发 调 试 环 境 然 后 利用 Vmware14 0软 件 搭 建 一个 分 布 式 Hadoop环 境 34 2021年 1期 大数据与人工智能 智慧农业导刊 JournalofSmartAgriculture 3 讨论 3 1实 验 结 果 与 分析 对 于 读 取 性 能 测 试 我 们 在 数据 库 中 分 别 设计 了 以 下 的 记录条 数 10000条 100000条 1000000条 和 10000000条 然 后 测 试 分 别 从 以 上 数据 表 中 查 找 10 条 100条 和 1000条记录 所 耗 费 的 响 应 时 间 实 验 结 果 如 表 1和 图 1所 示 3 2智慧 农业发 展 建 议 3 2 1 农业 种 植 的 智能 控 制 农业 智能 控 制 系统 无 论 是 灌溉 还 是 施肥都 是 根 据 传 感器 决 定 的 比 如 通 过 土 壤湿 度 传 感器 监 测土 壤 水 分 当 土 壤 水 分低 于标准 值 就打 开 灌溉 系统 土 壤湿 度 达 到了 标准 值 就 自 动 关 闭灌溉 系统 施肥 也 是 同 样 的 原 理 它 也 可以 直接 按照 指 令 下 达 使 用 如 灌溉 和 施 药 等 传 统的农业 种 植中 对 于 灌溉 施肥都 是 凭 经 验 控 制 传 统的 无 论 是 灌溉 和 施肥 必然 会 存在 浪 费 或者 不 合 理 的情 况 然而 使 用 智能 农业 控 制 系统 本身 是 根 据 土 壤湿 度和 养 分来 控 制 可以在保 证 农作 物 需求 的前提 下 最 大 限 度 节 约灌溉 水 和 施肥 据了 解 智能 物联网 大 棚 可 以节 约灌溉 水 60 以 上 节 约 化 肥 50 以 上 11 通 过 自 动 化的 控 制 灌溉 施肥环 境 信息 可以 最 大 限 度地 减 轻 种 植者 的工作 内 容 可以 一个 人 轻松 管 理 几十亩 的 种 植 因此 很 大程度地 节 省了 种 植 的 人 力 智能 农业 控 制 系统对 于 环 境 要 素 都 是 根 据 传 感器反馈 实 时 数据 决 定 的 因此 可以 有效地 改 善 农作 物 生 长 的 环 境 从而 达 到 提高农作 物 的 品 质 和产量的 目 的 3 2 2 农业信息的有效利用 在 传 统农业生产 过 程 中 由 于 各方 面 的 不确 定 因 素 比 如 市 场 需求 自 然 条 件 等 难 免 会 出 现意 外 情 况 而 通 过 大数据技术平台的高度 整 合和相关信息的 快速 收集 比 如 农业生产 活 动 信息 农产 品 市 场供 求 等 信 息 对这些信息 进行 数据 挖掘 得到有用信息 从而 达 到 有效 规 避 农业 风险 的 目 的 12 3 2 3 农业 管 理方 面 智慧 农业 管 理 优 越 性 主 要 体 现 在以 下 几 个 方 面 1 可以 有效 实 现 农业生产 过 程的 智能 化 管 理 在 这个 过 程 中 需 要 通 过 相关大数据平台 实 时采 集 和 整 理 农业 数据 具 体问题 具 体 分析 根 据相关数据得到所 需 信息 并进行 有效利用和 使 用 13 2 合 理 协 调 农业 资 源 农业 资 源 是农业 自 然 资 源 和农业 经 济资 源 的 总 称 农业 自 然 资 源 含 农业生产 可以 利用的 自 然 环 境 要 素 如 土 地 资 源 水 资 源 气候 资 源 和生 物 资 源等 农业 经 济资 源 是 指 直接或间接 对农业生产发挥作用的社会 经 济 因 素 和社 会生产 成 果 如 农业 人 口 和 劳 动 力 的数量和 质 量 农业 技术 装 备 包括 交 通 运 输 通 讯 文 教 和 卫 生 等 农业 基 础 设 施等 可以 利用农业大数据技术 进行 农业领域的 全面 调 查 整 合 各种 农业 资 源 优 化农业 资 源结构 3 重 点 保 护 农业生 态 环 境 农业生 态 环 境 是 指直接或者间接 影 响 农业生 存 和发 展 的 土 地 资 源 水 资 源 气候 资 源 和生 物 资 源等各种 要 素 的 总 称 是农业生 存 和发 展 的前提 是 人类 社会生产发 展 最 重要的 物质 基 础 14 通 过 对农业 生 态 环 境 的 全面 检测 和 实 时 监 测 利用农业大数据技术 来实 现 农业生产 精 细 化 精 准 化 管 理 4 通 过智慧 农业 相关技术 保 证 农业生产 设 施 安 全 我 们 可以 利用系统平 台 收集 到的大量数据 及 时 分析 研 判 实 时掌 控 设 施 的 正 常 运转 保 证 农业生产的效 率 4结束语 随着农 村 电商 的发 展 农业 上下 游 的农 资 销售 农 业生产 农产 品 流通 数据 以及 与农业关 联 的 土 地 流 转 气象 土 壤 水 文 等 数据 均 获 得大 规模 积累沉淀 这些 大数据 将成 为农业 决策 的 大 脑 农业大数据市 场还 是 一个 充满 机 遇 有 待 开发的市 场 为此 需 要 政府 部 门 数据记录条数 查询的记录条数 查询所需时间 10000 10 42 ms 10000 100 54 ms 10000 1000 61 ms 100000 10 53 ms 100000 100 51 ms 100000 1000 48 ms 1000000 10 43 ms 1000000 100 47 ms 1000000 1000 85 ms 10000000 10 48 ms 10000000 100 56 ms 10000000 1000 95 ms 图 1 实验结 果 图 表 1 实验结 果明 细表 下转 38页 35 2021年 1期 大数据与人工智能 智慧农业导刊 JournalofSmartAgriculture 涉 农 企 业 大数据 企 业和农业生产 经 营 主 体 多方 合 力 共 同 推进 农业大数据的 示 范 与 推广 参考文献 1 张妮 刘铸德 微 信 小 程 序 在 互联网 农业 中的应用 探 析 J 广西 农 学报 2019 34 2 42 45 2 孙洪民 基 于大数据的 智慧 农业 物 联网 系统研究 J 南 方 农 机 2019 50 23 83 3 郭广礼 农业大数据在 智慧 农业中的应用 探讨 J 农业 工 程 技术 2019 39 33 64 65 4 周万献 大数据在农业领域 发展 与运 用 分析 J 南 方 农业 2019 13 35 155 156 5 于 超 张哲 罗建军 等 基 于 微 信 小 程 序 的农业 精准扶贫 信 息 平台研究 以湖南省 农业 科 学 院 对 口 扶贫 点 为 例 J 湖 南 农业 科 学 2019 10 93 95 6 王 一 鹤 杨飞 王卷乐 等 农业大数据 研究 与 应用进 展 J 中 国农业信息 2018 30 4 48 56 7 孙 忠富 杜克 明 郑飞翔 等 大数据在 智慧 农业中 研究 与 应 用 展 望 J 中国农业 科 技 导 报 2018 15 6 63 71 8 张 浩然 李 中 良 邹腾飞 等 农业大数据 综述 J 计 算 机 科 学 2017 41 S2 387 392 9 温孚江 农业大数据 研究 的 战 略 意义 与 协 同 机 制 J 高 等 农 业 教 育 2019 11 3 6 10 许 世卫 农业大数据 与 农 产品 监测预警 J 中国农业 科 技 导 报 2018 16 5 14 20 11 李道亮 杨昊 农业 物 联网技术 研究 进 展 与 发展 趋势 分析 J 农业 机械学报 2019 49 1 1 20 12 李秀峰 陈 守 合 郭 雷风 大数据时代农业信息 服务 的技术 创新 J 中国农业 科 技 导 报 2018 16 4 10 15 13 王 文生 郭 雷风 农业大数据 及其 应用 展 望 J 江苏 农业 科 学 2017 43 9 1 5 14 孟祥宝 谢秋波 刘 海 峰 等 农业大数据应用 体 系 架 构 和 平台 建 设 J 广 东 农业 科 学 2018 41 14 173 178 采 用 solidworks进行 上 底 座 的 底 盘 受 力 分析 负载 强 度 约 5kg 考虑 到 极 限 的 材 料受 力 应 力 测 试 分析 约 为 49N 在 最 初 的 仿 真 模 拟 中 发 现 在 机 器 人 的 底 板 结构 承 重 能 力 较 差 重 力 支撑 点 少 容 易 造 成下 基 板 的 底 座 塌陷 在 研究 改 良 后 增 加 了 底 板 的合 金板 厚 度 以及 数量 在 一些 受 力 薄弱 的地 方 增 加 了 承 重 板 机 器 人 的 受 力 中心 在 手 爪 以及 机 器 人 中心 所 以 改 进后 的 方 案 是 在 最 底 下 的一个 舵 机 框架 上 增 加 承 重的 铜柱 让 整 个 机 械手臂 的 力 能 够 集 中 在 中心然 后通 过 加 厚 的合 金板 均 匀 的 分 散 到 全 向 轮 以及 驱 动 轮 4结束语 本 文 在基 础 的农用 机 器 人 上 添 加 了 其 他 的 多 功能 模 块 并 且 研究 多 功能 农用 机 器 人 的 转 向 结构 再 通 过 多种 数据的对 比 以及结构 的 优 化 选 用 差 速 运动 模型 演 示 让 多 功能 农用 机 器 人在 工作 中 能 够 快速 的 运动转 向 并 且 优 化了 承载 能 力 参考文献 1 程 颖 刘 安 高升华 等 轮 式机器人底盘 的应 力 应 变 分析 J 科 学 技术 创新 2020 34 169 170 2 宛俊 机器人机械 结 构 设计 J 科 学 技术 创新 2021 2 157 159 3 叶日鸿 周 梓达 林泽润 等 一 种轨道 式 巡检 机器人底盘 的 设 计 与 实现 J 机械 2020 47 10 74 81 4 刘 勇 吕 艳 辉 白云裳 三轮 全向 轮 机器人底盘 控制 与 分析 J 中 国 新 通 信 2019 21 16 143 图 4 最 初 压 力 分析图 图 5 改 进 结 构 后 分析图 上接 35页 38