泛在电力物联网与大数据应用
发布日期：2019-11-13 来源：中国电力企业管理 作者：中国电力企业管理 浏览次数：295
2019年初，国家电网公司党组以习近平新时代中国特色社会主义思想为指导，深入贯彻落实“四个革命、一个合作”能源安全新战略，顺应能源革命和数字革命融合发展趋势，创造性地提出了“三型两网、世界一流”的战略目标。其中，“三型”是指枢纽型、平台型、共享型企业，围绕产业属性、网络属性、社会属性明确了发展方向；“两网”是指坚强智能电网和泛在电力物联网，二者相辅相成、融合发展，形成强大的价值创造平台。
泛在电力物联网建设目标是充分应用“大云物移智链”等现代信息技术、先进通信技术，实现电力系统各个环节万物互联、人机交互，大力提升数据自动采集、自动获取、灵活应用能力，对内实现“数据一个源、电网一张图、业务一条线”，对外广泛连接内外部、上下游资源和需求，打造能源互联网生态圈，适应社会形态、打造行业生态、培育新兴业态，支撑“三型两网”世界一流能源互联网企业建设。
泛在电力物联网建设内容包括对内业务（提升客户服务水平、提升企业经营绩效、提升电网安全经济水平、促进清洁能源消纳）、对外业务（打造综合能源综合服务平台、培育发展新兴业务、构建能源生态体系）、数据共享、基础支撑、技术攻关和安全防护6大领域，11个重点方向。其中，数据共享是一项重要工作内容。
泛在电力物联网与大数据
2011年5月，麦肯锡公司发布了《大数据：下一个创新、竞争和生产力的前沿》，宣告了大数据时代的到来。大数据时代的到来，起因有三：一是人类保存数据的能力不断增强；二是人类生产数据的能力不断增强；三是人类使用数据的能力不断增强。
大数据技术起源于谷歌。谷歌针对搜索引擎所面临的日益膨胀的海量数据存储问题以及在此之上的海量数据处理问题，提出了一整套基于分布式并行集群方式的大数据平台，主要包括文件系统分布式文件系统、大规模并行运算编程模型、分布式数据库。2000年以后，谷歌等公司逐步建立了灵活、强大的分布式数据处理集群，数万台乃至数十万台计算机构成的并行计算集群将多达数百亿的搜索记录清理、转换成便于数据分析的格式，并提供强有力的分析工具，开展分析挖掘工作。2012年，开源的大数据平台Hadoop能够与谷歌的大数据平台逐步比肩，成为自Linux以来最成功的开源软件，并真正开启了大数据时代的大门。
当前，国家电网公司各类采集系统和业务信息系统日增数据量超过60TB，总数据量超过5PB。随着泛在电力物联网的建设，数据量将进一步增大，其存储的数据具备大数据的典型特征。实现泛在电力物联网的建设目标和各项任务，让企业管理更精益、电网运行更安全、客户服务更优质，以及构建互利共赢的能源生态，最终都要通过数据来实现。所以，泛在电力物联网是一个承载（大）数据的网络，（大）数据是其核心内容。
在电力物联网包含感知层、网络层、平台层、应用层四层结构，感知层主要解决数据的采集和记录问题，网络层主要解决数据的传输问题，平台层主要解决数据的管理问题和应用技术支撑问题，应用层主要解决数据的应用和价值创造问题。如何应用大数据技术，发挥海量数据的作用和价值，用数据驱动生产、经营、管理和创新，是泛在电力物联网建设的根本所在。
促进大数据应用的泛在电力物联网建设重点
从泛在电力物联网建设出发，促进大数据应用要着重做好以下五个方面的能力提升工作：
一是提升数据管控能力。制定和完善企业级数据模型、数据标准，明晰企业数据管理职责界面，通过数据盘点明晰有什么数据，通过数据治理提升数据质量，通过制定负面清单和共享清单推动数据开放共享。
二是提升数据采集能力。充分应用现代信息技术、先进通信技术和传感技术，制定结构化和非结构化数据采集规范，实现电力系统各环节的状态全面感知，全面提升数据的采集、记录能力，不断丰富数据资源。
三是提升数据汇聚能力。建设全业务数据中心，搭建符合大数据处理要求的结构化、非结构化数据存储平台，具备对关系型数据以及文本、语音、图像、视频等各种类型的海量数据的存储能力，实现企业全量数据的有序汇聚。
四是提升数据计算能力。建设企业数据中台，搭建一个数据获取、清洗、分析、展现和结果存储的一站式计算平台，具有多计算机构成的并行计算集群，提供多样性的数据分析工具，具备企业级大数据计算需要的数据加载能力和数据处理能力。
五是提升数据应用能力。营造用数据说话、用数据管理、用数据决策、用数据创新的氛围，培养多梯次的数据分析队伍，加强数据应用培训，不断挖掘数据应用需求，丰富数据分析模型，切实推动用数据驱动生产、经营、管理和创新工作。
泛在电力物联网在支撑大数据方面的建设成效可以用“三个在线”来衡量，即是否做到了数据在线、算力在线、算法在线。
数据在线是指使用数据的人员可以通过工具了解全业务数据中心或数据中台存储有什么数据，通过一站式平台简便、灵活地获取所需要的数据。
算力在线是指数据分析人员，无论是做轻量的数据分析，还是海量的数据分析，都可以通过一站式平台获取计算能力和存储能力，满足数据挖掘分析的需要。
算法在线是指一站式平台集成了业界常用的统计分析工具以及专业化的分析工具，提供分析人员方便、快捷调用，以挖掘分析数据价值。
切实做好三个层次的大数据应用
泛在电力物联网要着重持续推进三个层次的大数据应用：
一要切实推动企业内部业务人员的大数据应用。该类大数据应用的实施主体是国家电网公司各层级各类业务人员，实施对象是结构化数据，实施技术采用传统的筛选、过滤、关联、匹配等，实施任务是充分发挥业务人员通过一站式计算平台，对现有结构化数据进行分析和作用。推动这个层次的大数据应用重在夯实群众基础，可以激发基层通过数据解决问题的创造性，同时可以促进和检验泛在电力物联网的建设成效。
二要切实推动企业内部专业化队伍的大数据应用。该类大数据应用的实施主体是国家电网公司大数据中心等专业数据分析团队，实施对象重点是结构化数据，实施技术需要采用数据挖掘软件、统计软件等专用工具，实施任务是挖掘分析难以发现的隐藏在数据底下的规律。推动这个层次的大数据应用是数据价值创造重点，能够全面体现数据应用能力提升情况，引领泛在电力物联网在大数据支撑方面的建设方向。
三要切实推动内外结合的前瞻性大数据应用。该类大数据应用的实施主体是企业内、外部专业化合作团队，实施对象重点是海量的结构化数据以及非结构化数据，实施技术需要采用Hadoop平台、Spark内存计算、深度学习等专门技术，实施任务是通过海量结构化数据和非结构化数据深度学习，驱动企业在生产、经营和管理等领域的智能化发展。这个层次的大数据应用多数是前瞻性和探索性的，一旦取得成效将带来企业在某个方面质效巨大的提升，或带来新的业态。
国家电网公司建设泛在电力物联网是应用大数据技术的过程，也是推动大数据应用的过程。泛在电力物联网建设将全面支撑大数据应用，大数据应用将全面体现泛在电力物联网建设成效，二者有机结合、相辅相成。泛在电力物联网建设的目标和任务具有明确的阶段特性，但发挥大数据的作用和价值，不是一项阶段性的工作，而是一项需要长期坚持的企业级战略，只有起点没有终点，唯有长期坚持，坚持年年见效，才能把大数据这个金矿逐步开采出来。
泛在电力物联网建设目标是充分应用“大云物移智链”等现代信息技术、先进通信技术，实现电力系统各个环节万物互联、人机交互，大力提升数据自动采集、自动获取、灵活应用能力，对内实现“数据一个源、电网一张图、业务一条线”，对外广泛连接内外部、上下游资源和需求，打造能源互联网生态圈，适应社会形态、打造行业生态、培育新兴业态，支撑“三型两网”世界一流能源互联网企业建设。
泛在电力物联网建设内容包括对内业务（提升客户服务水平、提升企业经营绩效、提升电网安全经济水平、促进清洁能源消纳）、对外业务（打造综合能源综合服务平台、培育发展新兴业务、构建能源生态体系）、数据共享、基础支撑、技术攻关和安全防护6大领域，11个重点方向。其中，数据共享是一项重要工作内容。
泛在电力物联网与大数据
2011年5月，麦肯锡公司发布了《大数据：下一个创新、竞争和生产力的前沿》，宣告了大数据时代的到来。大数据时代的到来，起因有三：一是人类保存数据的能力不断增强；二是人类生产数据的能力不断增强；三是人类使用数据的能力不断增强。
大数据技术起源于谷歌。谷歌针对搜索引擎所面临的日益膨胀的海量数据存储问题以及在此之上的海量数据处理问题，提出了一整套基于分布式并行集群方式的大数据平台，主要包括文件系统分布式文件系统、大规模并行运算编程模型、分布式数据库。2000年以后，谷歌等公司逐步建立了灵活、强大的分布式数据处理集群，数万台乃至数十万台计算机构成的并行计算集群将多达数百亿的搜索记录清理、转换成便于数据分析的格式，并提供强有力的分析工具，开展分析挖掘工作。2012年，开源的大数据平台Hadoop能够与谷歌的大数据平台逐步比肩，成为自Linux以来最成功的开源软件，并真正开启了大数据时代的大门。
当前，国家电网公司各类采集系统和业务信息系统日增数据量超过60TB，总数据量超过5PB。随着泛在电力物联网的建设，数据量将进一步增大，其存储的数据具备大数据的典型特征。实现泛在电力物联网的建设目标和各项任务，让企业管理更精益、电网运行更安全、客户服务更优质，以及构建互利共赢的能源生态，最终都要通过数据来实现。所以，泛在电力物联网是一个承载（大）数据的网络，（大）数据是其核心内容。
在电力物联网包含感知层、网络层、平台层、应用层四层结构，感知层主要解决数据的采集和记录问题，网络层主要解决数据的传输问题，平台层主要解决数据的管理问题和应用技术支撑问题，应用层主要解决数据的应用和价值创造问题。如何应用大数据技术，发挥海量数据的作用和价值，用数据驱动生产、经营、管理和创新，是泛在电力物联网建设的根本所在。
促进大数据应用的泛在电力物联网建设重点
从泛在电力物联网建设出发，促进大数据应用要着重做好以下五个方面的能力提升工作：
一是提升数据管控能力。制定和完善企业级数据模型、数据标准，明晰企业数据管理职责界面，通过数据盘点明晰有什么数据，通过数据治理提升数据质量，通过制定负面清单和共享清单推动数据开放共享。
二是提升数据采集能力。充分应用现代信息技术、先进通信技术和传感技术，制定结构化和非结构化数据采集规范，实现电力系统各环节的状态全面感知，全面提升数据的采集、记录能力，不断丰富数据资源。
三是提升数据汇聚能力。建设全业务数据中心，搭建符合大数据处理要求的结构化、非结构化数据存储平台，具备对关系型数据以及文本、语音、图像、视频等各种类型的海量数据的存储能力，实现企业全量数据的有序汇聚。
四是提升数据计算能力。建设企业数据中台，搭建一个数据获取、清洗、分析、展现和结果存储的一站式计算平台，具有多计算机构成的并行计算集群，提供多样性的数据分析工具，具备企业级大数据计算需要的数据加载能力和数据处理能力。
五是提升数据应用能力。营造用数据说话、用数据管理、用数据决策、用数据创新的氛围，培养多梯次的数据分析队伍，加强数据应用培训，不断挖掘数据应用需求，丰富数据分析模型，切实推动用数据驱动生产、经营、管理和创新工作。
泛在电力物联网在支撑大数据方面的建设成效可以用“三个在线”来衡量，即是否做到了数据在线、算力在线、算法在线。
数据在线是指使用数据的人员可以通过工具了解全业务数据中心或数据中台存储有什么数据，通过一站式平台简便、灵活地获取所需要的数据。
算力在线是指数据分析人员，无论是做轻量的数据分析，还是海量的数据分析，都可以通过一站式平台获取计算能力和存储能力，满足数据挖掘分析的需要。
算法在线是指一站式平台集成了业界常用的统计分析工具以及专业化的分析工具，提供分析人员方便、快捷调用，以挖掘分析数据价值。
切实做好三个层次的大数据应用
泛在电力物联网要着重持续推进三个层次的大数据应用：
一要切实推动企业内部业务人员的大数据应用。该类大数据应用的实施主体是国家电网公司各层级各类业务人员，实施对象是结构化数据，实施技术采用传统的筛选、过滤、关联、匹配等，实施任务是充分发挥业务人员通过一站式计算平台，对现有结构化数据进行分析和作用。推动这个层次的大数据应用重在夯实群众基础，可以激发基层通过数据解决问题的创造性，同时可以促进和检验泛在电力物联网的建设成效。
二要切实推动企业内部专业化队伍的大数据应用。该类大数据应用的实施主体是国家电网公司大数据中心等专业数据分析团队，实施对象重点是结构化数据，实施技术需要采用数据挖掘软件、统计软件等专用工具，实施任务是挖掘分析难以发现的隐藏在数据底下的规律。推动这个层次的大数据应用是数据价值创造重点，能够全面体现数据应用能力提升情况，引领泛在电力物联网在大数据支撑方面的建设方向。
三要切实推动内外结合的前瞻性大数据应用。该类大数据应用的实施主体是企业内、外部专业化合作团队，实施对象重点是海量的结构化数据以及非结构化数据，实施技术需要采用Hadoop平台、Spark内存计算、深度学习等专门技术，实施任务是通过海量结构化数据和非结构化数据深度学习，驱动企业在生产、经营和管理等领域的智能化发展。这个层次的大数据应用多数是前瞻性和探索性的，一旦取得成效将带来企业在某个方面质效巨大的提升，或带来新的业态。
国家电网公司建设泛在电力物联网是应用大数据技术的过程，也是推动大数据应用的过程。泛在电力物联网建设将全面支撑大数据应用，大数据应用将全面体现泛在电力物联网建设成效，二者有机结合、相辅相成。泛在电力物联网建设的目标和任务具有明确的阶段特性，但发挥大数据的作用和价值，不是一项阶段性的工作，而是一项需要长期坚持的企业级战略，只有起点没有终点，唯有长期坚持，坚持年年见效，才能把大数据这个金矿逐步开采出来。