农业大数据应用进展与思考

农业大数据应用进展与思考许世卫研究员中国农科院信息所农业监测预警团队首席科学家农业部农业信息服务技术重点实验室主任2016年7月9日山东泰安内容二、当前大数据应用特点与不足一、农业大数据应用进展三、几点思考一、农业大数据应用进展大数据应用是思维、理念、方法、能力的改变气象数据生物信息数据资源环境数据生长监测数据农业统计数据 农业获取从统计向自动感知转变 数据分析从样本向全体透视转变 大数据应用正驱动农业生产、经营、管理变革大数据已经成为国家战略问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 《中华人民共和国国民经济和社会发展第十三个五年规划纲要》提出： 实施国家大数据战略。 把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新。 加快政府数据开放共享。统筹布局建设国家大数据平台、数据中心等基础设施。 发布时间 机构 政策名称 2015年7月1日 国务院 《国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见》（国办发〔2015〕51号） 2015年9月5日 国务院 《国务院关于印发促进大数据发展行动纲要的通知（国发〔2015〕50号）》 2016年3月 　 《十三五规划纲要》大数据成为部门重点任务未来5-10年内：实现农业数据有序共享开放，初步完成农业数据化改造。2017年底前：农业部及省级农业行政主管部门数据共享的范围边界和使用方式基本明确，跨部门、跨区域数据资源共享共用格局基本形成。2018年底前：实现“金农工程”信息系统与中央政府其他相关信息系统通过统一平台进行数据共享和交换。2020年底前：逐步实现农业部和省级农业行政主管部门数据集向社会开放，实现农业农村历史资料的数据化、数据采集的自动化、数据使用的智能化、数据共享的便捷化。2025年：实现农业产业链、价值链、供应链的联通，大幅提升农业生产智能化、经营网络化、管理高效化、服务便捷化的能力和水平。农业部《关于推进农业农村大数据发展的实施意见》我国农村数据资源不断整合，数据管理工作取得了较大进展，涉农数据库不断增多，政府、科研单位、涉农企业三位一体的农业农村大数据体系不断完善。目前，我国已建成大型涉农数据库100多个，约占世界农业信息数据库总数的10%。--《中国农村信息化发展报告（2014-2015）》（一）数据资源进一步拓宽以农业部及各省市农业厅、农业局、农委等政府部门为中心，建立了从中央到地方一系列涉农数据库，储存了大量的、有价值的数据资源。1.政府数据农业部：共有12个司局、9家部属 事业单位 事业单位结构化面试题事业单位专业技术岗位财务人员各岗位职责公文事业单位考试事业单位管理基础知识 直接开展农业信息监测统计工作。 包括农业综合统计、农业生产和服务统计、农产品价格统计、农村经营管理、农产品加工及农业资源和农村能源环境等信息，每年共计产生报表300张，指标5万个（次）。农业部逐步建立并完善了21套统计报表制度，5万个指标 建设了农业综合统计、农产品批发市场价格、全国农情调度、草原监测、中国县域农村经济基础资料数据库等60多个数据库。涉农企业储存了大量的农业生产、流通等相关数据，数据资源总量大，且数据库数量多、类型杂，但数据资源利用率低、共享困难，数据存储 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 缺乏。典型的涉农企业包括：北京新发地批发市场；CNKI社会经济统计数据；2.企业数据中国农业科学院、各省市农科院、涉农高校、涉农科研企业，在科学研究的基础上，储存了大量的农业科学数据，涉及土壤、栽培、植保、采收、流通等农业各个领域。典型的科学数据共享单位包括：中国农业科学数据；中国水产科学数据；中国热作科学数据；……3.专业数据截止到2014年底 数据资源59.56TB， 用户共计94,212名 网站访问人次1800万 为2384项重大科研项目/课题提供了有效的数据服务 国家地球系统科学数据共享平台 首批经科技部、财政部认定的23家国家科技基础条件平台 中科院地理所牵头，国内外40多家单位参与。典型科学数据共享平台 国家农业科学数据共享中心： 是科技部首批认定的23个国家级科技平台之一。 由中国农科院农业信息所主持，中国农业科学院部分专业研究所、中国水产科学研究院、中国热带农业科学院等单位参加。（二）数据开放共享得到加强农业部：2003年起推出的《农业部经济信息发布日历》制度2007年起建立重要数据共享制度，编印《农业农村经济重要数据月报》截至2014年5月底，已有44个数据资源针对不同用户全部或部分共享（公开）国家统计局：制定了《农业产值和价格综合统计报表制度》国家发改委：建立了《全国粮食价格监测报告制度》商务部：建立了《生活必需品和重要生产资料市场监测系统》国家粮食局：建立了《国家粮食流通统计制度》在一系列统计制度的规定下，农业生产、价格等数据得到一定程度的开放共享。 2014年上半年，上海市政府开放了专门的政府数据开放服务平台——上海政府数据服务网 涵盖了经济建设、资源环境、教育科技、道路交通、社会发展、公共安全、城市建设等11个重点领域,累计开放数据资源共470项。地方政府的数据开放共享情况北京市经信委也组织各政务部门建设了北京市政务数据资源网网站已发布了36个政府部门的306类数据。221行动 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 信息平台已经整合了市级15个单位和13个郊区县的涉农信息。其中，仅农村经济基础数据库数据量达到30亿条。北京上海美国数据开放共享情况联邦政府建立一个统一的数据开放门户网站--DATA.Gov,全面开放政府（包括美农部在内）拥有的公共数据。182,042数据集 USDA在Data.gov上设立了“食物、农业和农村虚拟社区”（Food,AgricultureandRuralvirtualcommunity ）http://www.usda.gov/wps/portal/usda/usdahome?navid=data美国农业部数据开放目录18个部门共计开放了625个数据集 移动采集技术“农信采”（便携式农产品全息市场信息采集器），是一款新型的农产品市场信息采集设备。“农信采”的推广应用，将为我国农产品市场信息标准化、即时性采集带来革命性的变化，可广泛应用于田头市场、批发市场、零售市场的农产品全息信息采集。Windowsmobile版本安卓版本（三）专业化的数据采集与分析应用相结合农业部农业信息速采系统农情采（四）大数据处理应用于生产决策 农业物联网区域试验工程扎实推进，取得重要阶段性成效，总结推广了426项农业物联网软硬件产品、技术和模式。通过实时获取的大数据，开展即时化的决策支持。 在大田种植的“四情”监测、农机精准作业等方面大数据辅助精准决策 在畜禽养殖中利用大数据进行体征监测、精准饲喂、疫病预警等应用 在水产养殖中利用大数据开展水体监控、精准投喂、鱼病预警、远程诊断等决策应用。CAMES模型基于大数据的CAMES模型应用 气象数据（1960年以来的全国2000多个站点的气象数据） 经济分县统计数据（1980年以来2862多个县区190个指标数据） 实时监测数据(农信采采集的106种日度农产品价格) 国家统计数据（1949年以来，产量、面积、总产品、投入等)CAMES模型系统在产量预测技术上的特色1951年-2015年每天的温度、光照时长、降水量等气象数据超过2.8亿条。 美国的农业展望大会第92届 澳大利亚的农业展望大会第46届 墨西哥的农业展望大会第3届 OECD-FAO的农业展望大会第12届至2016年：（五）大数据应用于农业展望分析 2014中国农业展望大会2014年4月20-21日，首届中国农业展望大会在京召开。标志着中国特色农业信息监测预警体系建设取得成效，开启了提前发布市场信号、有效引导市场、主动应对国际变化的新篇章。 全体大会+18场专题会 54位国内外专家演讲 500多人参加了大会。参会者涉及全国各地农业生产经营者、科研工作者、政府管理者以及来自OECD、美国、澳大利亚等国际专家。2015年4月20至21日，“2015年中国农业展望大会”在北京召开，农业部市场预警专家委员会发布了《中国农业展望报告（2015-2024）》，对未来10年大陆农产品生产、消费、价格、贸易走势进行展望。有关部委、专家、国际组织代表等400多人出席大会。 与会专家建议，加快建立中国特色农业信息监测预警制度，不断提高农业管理服务能力，促进农业农村经济持续健康发展。 2015中国农业展望大会2016中国农业展望大会2016年4月22-23日，农业部市场预警专家委员会在京举办中国农业展望大会，发布《中国农业展望报告(2016-2025)》，对未来十年大陆主要农产品市场形势进行展望预测。来自联合国粮农组织（FAO）、经合组织（OECD）、国际食品政策研究所（IFPRI）等国际组织代表，美国、欧盟、日本、巴西、新西兰、巴基斯坦、柬埔寨等国家和地区以及大陆有关部委、地方农业部门和农业企业的代表共200余人参加会议。全体大会+18场专题会，54位国内外专家演讲连续发布中国农业展望报告二、当前大数据应用特点与不足1、数据不足依然是农业大数据应用中的难点 历史数据：积累的时间短 现实数据：即性差 数据完备性、系统性和持续性等方面依然滞后于先进国家。（一）应用特点2、统计获取的数据多，感知获取的数据少目前粗略估计，数据采集中： 80%的数据获取依然以人工采集和填报等传统的方式为主 20%是运用物联网传感器、网络自动抓取、文本挖掘、图像识别等新型工具和方法。3、标准规范缺乏导致数据共享困难 农业信息化标准是农业信息化建设有序发展的根本保障，也是整合农业信息资源的基础。 目前，缺乏覆盖农业发展全要素、农业生产全过程、农产品产销全流程的国家农业数据监测分类目录、调查指标和标准体系。中国农科院信息所已经启动了《农产品市场信息采集与质量控制规范》、《农田信息监测点的选址要求和监测规范》、《小麦苗情长势自动监测规范》等3项国家标准项目的研制。4、数据应用核心技术突破难度大农业具有特殊性：生产过程的自然复杂性、产品流通的区域广泛性、应用主体的需求多样性。目前适农核心技术存在创新难、应用慢、共享少等问题： 生命-环境信息感知技术缺乏，高端半导体芯片产业受制于人； 农情遥感监测在预报精度、稳定性和预报周期上还要大下功夫。 决策模型的动态化、广适性不高，与作物生长系统紧密融合程度不高； 中国至今仍未开发出具有自主知识产权的适合于农业上应用的3S技术服务体系； 适用于农业复杂环境下的微小型、节能型、低成本、智能化的设备和产品缺乏。（二）存在的问题1、信息共享开放不够截至目前，仍有众多数据未能实现充分共享： 农产品成本调查 基点县农情调度（500个粮食主产县） 墒情监测 草原监测 疫情监测 渔业统计等重要经济数据资源 ……信息共享：是指已存信息（数据）被关联部门和人员的共同享用2、数据需求与数据供给不匹配现有数据体系未能全面覆盖重点调控（类）品种的全过程信息尚未形成从生产、市场到消费的系统性全产业链协同数据制度尚未建立能够快速捕捉生产和市场变化的即时数据采集体系农产品监测预警工作中，缺少：消费数据库存数据实时性数据近期南方连续暴雨对农产品影响几何？养殖业受影响最为明显，尤其是水产养殖业，菜粕需求将遭受重创。范围多大？受灾数量?经济损失如何估量？3、数据质量差异较大 数据粒度不能适应分析研判工作的要求现有监测统计体系未能随着市场经济运行态势进行调整。数据周期无法及时反映农业生产经营过程中出现的新情况、新问题，以及热点和难点。 粳稻消费需求强劲，但面积、产量等数据仍未纳入我部现有监测统计体系； 对农业灾情分析评估需求不断增长，但现有的灾情统计所提供的仍是农作物加总的概念，无法分解到水稻、玉米、棉花、糖料、油料等每一种具体作物。 年份 猪肉产量（万吨） 年份 猪肉产量（万吨） 1994 3,204.80 2004 4,701.61 1995 3,648.40 2005 4,555.33 1996 3,158.00 2006 4,650.45 1997 3,596.30 2007 4,287.82 1998 3,883.70 2008 4,620.50 1999 4,005.60 2009 4,890.76 2000 4,031.43 2010 5,071.24 2001 4,184.48 2011 5,060.40 2002 4,326.62 2012 5,342.70 2003 4,518.61 2013 5,493.00《互联网周刊》2016年上半年评选的80个大数据应用案例中农业仅3例1、浪潮GS助力广安集团一猪一ID强化食品安全；2、航天信息基于物联网的粮食流通管理解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ；3、农业物联网智能监控系统与其他行业相比，农业大数据应用仍然偏弱三、几点思考大数据应用正在发展成为一个新兴产业信息化基础设施快速发展截至2015年12月，中国网民规模达6.88亿，互联网普及率达到50.3%。其中农村网民规模达1.95亿，占比达到28.4%，较2014年底增加694万人，中国数据总量正以年均50%的增速在发展，预计到2020年将占全球的21%。数据交易方兴未艾贵阳大数据交易所武汉东湖大数据交易中心青岛大数据中心截至2016年3月底,交易金额突破7000万元,其中最大的一笔交易,是深圳一家企业花1000万元购买了物流数据。IDC预测到2017年大数据的产值将达到850.1万美元！大数据最大的作用在于给人们带来了思维上的转变（一）要从转变思维加快到行动落实上 数据文化：尊重事实、强调精准推崇理性 万物皆比特，一切皆数据! 数据制度：数据立法、用数机制尚数环境 数据治理：事前管理、科学决策数据创新 资源配置：精准化、智能化、高效化大数据共享开放大数据示范应用信息化基础设施建设产业创新升级（二）构建农业基准数据现代农业基准数据，是指现代农业建设过程中涉及的生产、经营、管理等各种活动所依赖的标准化、基础性、系统性数据。 农产品市场信息流监测技术(三)研建“数据流”监测模拟技术 多品种市场关联预测技术 农产品市场预警多维模拟技术 生物材料的纳米传感器 搭载在无人机上的传感器 产销信息匹配捕捉技术大数据经济学原理系统模型方程+农学、生物学、地理学知识+统计学、现代计算机技术+大规模计算中心计算（四）研发大数据的智能算法农作物产量的“日监测，日预报”农学、生物学、地理学现代计算机技术经济学原理统计学StrategicPosition系统模型方程3系统模型方程2系统模型方程1数据产量算法数据抽取、转换分类、降维计算编程方法算法大数据计算中心深度耦合（五）完善数据制度形成农业数据共享制度建立口径一致的农业经济信息会商机制探索建立权威透明的农业经济信息发布制度国家农业数据开放共享平台数据开放共享目标搭建层次清晰、覆盖全面、内容准确、互联互通跨部门跨领域跨品种解决数据开放共享核心问题 数据自身质量问题 数据开放技术与格式 数据开放安全性评估数据真实性较差历史数据在数据格式、数据类型、存储类型、存储标准等方面各不相同！数据接口技术 建立内外网隔离、用户访问控制、数据加密、秘钥分离和分级存储机制，移动保护大数据。 综合利用实时分析引擎、入侵检测技术、防火墙技术、防病毒技术等，建立完整、立体、多层次的系统安全防御体系，有效防止各类安全风险。互联互通关键数据缺失数据多元化异构数据标准、口径不一致关键数据缺失…谢谢大家！E-mail:xushiwei@caas.cnTelephone:0086-10-82109902