农业大数据管理整个生命周期

1农业大数据管理整个生命周期文 孙忠富 褚金翔 杜克明 郑飞翔农业大数据就是运用大数据理念、 技术和方法， 解决农业或涉农领域数据的采集、 存储、 计算与应用等一系列问题， 是大数据理念在农业上的应用和实践。农业涵盖区域广大， 涉及领域和内容宽泛， 影响因素众多， 数据采集复杂，决策管理闲难， 正因如此， 农业是产生大数据的无尽源泉。由于农业自身的特殊性， 农业数据必如大量的文字、影像 、 图片、 动画和声音然从过去的基于结构化的关系型数据， 向等形式的超媒体素材，以及专家经验、 知半结构化和非结构化数据转变。 相对于可识库、 模型库等。 非结构化数据呈现出快以用二维表结构来逻辑表达实现的数据来速增长的势头 ， 其数量将大大超过结构化说， 农业更适用于非结构化的数据表达 ，数据。农业生产过程的主体是生物 ， 易受5 8高科技与产业化 月刊行业前瞻外界环境影响 ， 加上生物的多样性和不确展到相关上下游产业 （种子培育，化肥生产，定性、 个体与群体差异性以及人的管理等农机生产 ，词料生产 ， 屠宰业， 肉类加工业因素 ， 都决定了对数据的采集、 处理和分等 ） ， 并整合宏观经济背景的数据 ， 包括统析等有着很高的要求。计数据、 进出口数据、价格数据、生产数据、乃至气象数据等， 覆盖了整个农业产业链。农业大数据特点（ 4 ）数据变异性大作为大数据的子集， 农业大数据在大首先 ， 影响农业的因素异常复杂， 包数据的共同特征之外，还具有如下特点：括生物、 环境、 社会等方方面面 ， 都决定（ 1 ）涵盖面广了对数据的采集、 挖掘与分析应用的难度。从地域来看 ，以国内区域数据为核心， 其次，农业生产过程的主体是生物， 易受借鉴国际农业数据作为有效参考 ； 不仅包括外界环境和管理等因素制约 ，致使在随机全国层面数据，还应涵盖省市数据，甚至性与不确定性、 多样性与变异性、个体形地市级和基层部门的数据，为精准区域研状与群体差异性等特征非常明显等。 另外，究提供基础 ；从力度来看， 不仅应包括统整个农业生产过程的很多环节， 目前距离标计数据，还包括涉农经济主体的基本信息、 准化、 指标化、 定量化和精准化的要求相投资信息、 股东信息、专利信息 、 进出口差甚远， 都是农业大数据面临的技术挑战。信息、招聘信息 、媒体信息、坐标信息等。（ 2 ）数据复杂智慧农业的核心内容从农业大数据所涉及的主体范围来看 ，关于智慧农业目前尚无公认的定义和包括农、林、 牧、水产、兽医 、 园艺、 土统一的标准， 综合多方资料与分析， 智慧壤等整个农业科学领域，其中主要对象又农业的核心内容可以归纳为以下几个方面：涉及动物、植物、 微生物、昆虫、 生态等（ 1 ）涵盖范围 ： 整个农业， 是全部的而生命基础学科，以及环境科学、食品科学不是局部的， 是全过程的而不是阶段性的 ；等。 面对如此庞大的数据资源，从专业应（ 2 ） 技术手段 ： 主要是基于各种先进用来看，应分步实施，首先是构建农业领的信息与网络技术， 包括感知、传输和智域的专业数据资源， 其次应逐步有序规划能处理等技术， 实现以自动化生产、 最优专业的子领域数据资源， 例如针对某一作化控制、 数字化与网络化服务、 智能化决物或某一领域的全过程数据采集，挖掘分策管理为主要生产方式 ；析， 预测和决策等。（ 3 ）整体目标 ： 实现农业高效、 优质、（ 3 ） 数据链长 节能、 环保可持续发展。“智慧农业”是个农业大数据以农业领域为核心 （ 涵盖庞大的系统， 或者说只是一个顶层的虚拟种植业、林业、畜牧业等子行业 ） ， 逐步拓概念。其具体实现是由各领域的子系统组2 0 1 5 年 5 月号总第2 2 8 期5 9成 ， 如智能设施农业、智能农情、 智能植保、 利用卫星搭载高精度感知设备， 获取了土壤、智能灌溉、 智能市场管理等子系统。 随着墒情、 水文等极为精细的农业资源信息， 可以智慧农业不断深入发展， 物联网 、 云计算、 配合农业资源调度专家系统 ， 实现智慧决策 ；大数据等先进技术将更多地得到应用。 充（ 2 ）在农业生态环境的监测和管理方分融合各领域知识库、 模型库、 运用推理、 面， 利用传感器感知技术、 信息融合传输分析等机制 ， 进行预测并提供智能化控制技术和互联网技术 ， 构建了农业生态环境和决策管理 ， 是智慧农业的关键所在。监测网络， 实现对农业生态环境的自动监测 ， 获取了大量的监测数据， 为智慧农业智慧农业的发展方向的发展提供了数据支持 ；现代设施农业因基础设施相对完备，可（ 3 ）在农业生产过程的精细管理方面 ，控环境条件较好。 在设施农业中 ， 通过自动在大田种植、 设施农业、 果园生产、 畜禽化网络监控系统， 实时采集温室大棚内各种水产养殖作业等方面， 获得了大量的数据，环境要素参数 （ 如空气温湿度、 土壤温湿度、 为实现生产过程的智能化控制和科学化管0 2 、 光照、 露点温度等环境参数 ） ， 自动理提供了数据依托， 为提高资源利用率和开启或者关闭指定设备 （ 如灌溉、 遮阳、 通劳动生产率奠定基础 ；风、 加温制冷等设备 ） ；根据用户需求， 既（ 4 ） 在农产品质量溯源方面 ， 通过对为设施农业综合信息提供自动监测手段， 也农产品生产、流通、 销售过程的全程信息能为环境自动化控制和智能化管理提供科学感知、传输、融合和处理， 实现农产品“从依据。 另外， 本研究团队近年来研发的全国农田到餐桌”的全程追溯，获得了大量的小麦苗情物联网监控与诊断系统，通过实时中间数据 ， 为农产品质量安全保驾护航 ；监测农田现场作物与环境信息、 各种灾害信（ 5 ） 在农产品物流方面， 利用条形码息等 ， 可以及时发布作物长势和灾情信息 ，技术和射频识别技术实现产品信息的采集为田间优化管理、 采取有效的防灾减灾措施跟踪，获得了大量的渠道数据， 可大大提提供信息服务。这些技术正在改变农业管理高农产品在仓储和货运中的效率，推动智理念和生产方式，尽管还很不完善 ， 但巳展慧物流的发展。示出智慧农业的初级形态。总体上看， 目前智慧农业的发展尚处面临的挑战于初级阶段，距离真正的“智慧”型还相农业大数据技术目前处于起步阶段，差很远。但通过大数据的挖掘分析， 必然主要面临的以下几个问题。极大助推动智慧农业的发展。（ 1 ） 非结构化数据的处理（ 1 ） 在农业资源的精细监测和调度方面，农业大数据的来源不同 ， 有的来自物6 0高科技与产业化 月刊行业前瞻联网中的射频设备， 有的来自农业信息化确率不再是主要指标。 如何在农业大数据的网站 ， 有的来自各种先进的移动终端等， 处理的实时性和准确率之间取得平衡， 将这就导致数据类型从以结构化数据为主转是未来农业大数据研究的热点。向结构化、 半结构化 、 非结构化三者的融合。（ 4 ）数据质量与安全结构化数据， 即行数据， 存储在数据库里，农业自身的复杂性决定了数据的多源可以用二维表结构来逻辑表达实现，而非复杂性， 使数据质量控制异常困难， 数据结构化数据则不方便用数据库二维逻辑表管理和质量控制技术难度大 ； 另外， 数据来表现 ，非结构化包括所有格式的办公文安全问题， 数据共享和知识产权等问题，档、文本、 图片 、 、 、各类报也给大数据研究带来了诸多挑战。农业作表、 图像和音视频信息等。 如何将这些非为中国的基础产业 ， 面临着农产品需求不结构化的数据进行统一的存储， 如何分析断增加 、 资源紧缺、 气候变化导致灾害频处理这些数据， 以及如何对数据进行展示发、生态安全脆弱、 生物多样性持续下降等 将是未来必须解决的问题。等严峻挑战。 夯实以农业物联网、云计算（ 2 ） 实时性的保证技术为核心的农业信息化基础， 建立以大随着时间的流逝，数据中所蕴含的知数据为支撑的农业信息化服务、开拓智慧识价值往往也在衰减 ，因此实时性也是农农业新局面， 实现农业信息化的跨越式发业大数据分析过程中必须考虑的问题。 尤展，是农业现代化的必由之路。其是在与天气、 环墳状况相关的数据分析移动互联网 、 物联网和云计算发展的的方面 ， 大数据的分析不及时可能会导致必然结果是走进大数据时代，从本质上看，农业生产灾害的发生 。 由于数据量的密集，这些都是获取数据和信息的手段， 产生大能否在所能接受的时间内完成指定工作也数据、 创造大智慧才是终极目标。 在大数成为农业大数据技术发展的关键问题。据时代 ， 数据就是一切， 拥有数据就意味（ 3 ） 数据的挖掘与分析着拥有价值， 就可以产生智慧， 产生财富。农业大数据的异构性导致农业数据的在新一轮农业现代化建设中， 要将农业大类型多种多样， 并且由于数据集过大 ，使数据纳入国家农业信息化发展战略， 夯实得传统的数据挖掘、机器学习等算法不再智慧农业的基石，让大数据创造出真正的适用于对农业大数据的挖掘。一方面 ， 云智慧 ，支撑智慧农业的稳健发展。明计算是农业大数据处理的主要工具，传统作者单位： 中国农业科学院农业环境与可持续发展研翅斤的算法并不能直接适用于农业大数据的处注 ： 本文主要参考了 大数据在智慧农业中研究与应理平台 ；另一力面 ，农业大数据的应用有 用展望一文 （ 孙忠富等， 中国农业科技导报， 2 0 1 3 ，一个很重要的特点就是实时性， 算法的准 5 （ 6 ） ： 6 3 7 1 ， 其它参考文献从略 ）2 0 1 5 年 5 月号总第 2 2 8期6 1