[0001] 本发明涉及风电技术领域， 特别是一种基于云计算的风电大数据分析系统 。

背景技术

[0002] 风能作为一种清洁的可再生能源， 已经受到全球性的广泛关注和高度重视。 随 着电力系统中风电装机容量的比重日益增大， 每台风电机组的数据也日趋完善 和丰富， 这样， 风电的集中监控系统， 也面临着数据存储规模大、 实吋性、 分 析性强等挑战。 实吋、 有效、 准确的对风电基础数据分析， 不仅可以从各方面 对风机性能进行掌控， 提高风机发电效率和设备利用率， 还可以对风电的预测 更加准确， 从而， 使管理人员可以提前做好调度准备， 有助于电网消纳更多的 风电。

[0003] 对于集控侧的风机数据， 其多样丰富和存储量大的特性， 构成风电系统中独具 特色的大数据， 对于"大数据"， 是需要新处理模式才能具有更强的决策力、 洞察 发现力和流程优化能力的海量、 高增长率和多样化的信息资产。 大数据技术的 战略意义不在于掌握庞大的数据信息， 而是对于这些含有意义的数据进行专业 化处理。 目前， 国内集控系统从风电场侧采集的数据主要有： 风机数据、 升压 站数据、 电计量数据、 测风塔数据等。 风场侧通过数据采集装置和网络将数据 传输到集控中心侧， 集控中心侧部署数据存储服务器， 将所有数据进行历史存 储。 现有技术关于风电数据的采集和存储系统的流 程图如图 1所示。

技术问题

[0004] 随着风电行业的迅猛发展， 风机数据日趋丰富和完善， 传统的数据存储系统和 数据分析结构将面临巨大的压力和挑战。 云计算是一种全新的大规模分布式计 算模式， 起源于互联网公司对大量计算与存储资源的需 求以及对可伸缩性、 高 性能、 高可用等特征的追求。 云计算聚合了大量分布、 异构的资源， 向用户提 供强大的海量数据存储与计算能力， 云计算通过虚拟化、 动态资源调配等技术 向用户提供服务避免资源浪费与竞争， 提高资源利用率以及应用性能。 云计算 提供横向伸缩和动态夫在均衡能力。 云计算环境中的资源被组织为数据中心的 形式， 一个数据中心包含数千个甚至数万个节点， 节点间通过高速网络互联， 共同向用户提供计算和存储资源。

[0005]

问题的解决方案

技术解决方案

[0006] 本发明的目的在于提供一种基于云计算的风电 大数据分析系统， 包括分布式文 件系统模块， 并行编程框架模块， 数据仓库系统， 监控工具， 运行调度工具以 及幵发工具集合模块， 其中所述分布式系统文件系统用于数据的持久 化存储， 所述监控工具用于监控系统的运行状态、 数据分析作业的执行状态， 所述运行 调度工具根据需求对数据分析作业进行调度， 解析作业间的关联或依赖关系， 所述幵发工具集合模块用于简化系统的配置管 理。

[0007] 优选的， 所述分布式文件系统包括元数据服务器和多个 数据服务器。

[0008] 优选的， 所述分布式文件系统的文件由数据块构成， 数据块分布在不同的节点 上， 用于维持负载均衡。

[0009] 优选的， 所述并行编程框架模块采用谷歌公司的 Hadoop, 基于 Map-Reduce进 行并行编程。

[0010] 优选的， 所述数据仓库模块采用基于 Hadoop平台的 Hive。

[0011] 优选的， 所述幵发工具集合模块包括 SQL翻译、 并行 ETL工具、 索引管理和任 务管理。

[0012] 根据下文结合附图对本发明具体实施例的详细 描述， 本领域技术人员将会更加 明了本发明的上述以及其他目的、 优点和特征。

发明的有益效果

有益效果

[0013] 采用该基于云计算的风电大系统， 可以提高风电数据分析挖掘速度， 从而提高 风电管理效率和风机设备利用率， 进而提高发电量。 在数据存储方面， 构建起 相对大规模的存储级别的相关系统， 在设备利用方面， 实现存储设备在线的有 效收缩和扩展， 在负载均衡方面， 实现系统的全局性自动的均衡夫在， 在数据 安全方面， 云存储实现整体数据的安全性与保护性。

对附图的简要说明

附图说明

[0014] 后文将参照附图以示例性而非限制性的方式详 细描述本发明的一些具体实施例 。 附图中相同的附图标记标示了相同或类似的部 件或部分。 本领域技术人员应 该理解， 这些附图未必是按比例绘制的。 本发明的目标及特征考虑到如下结合 附图的描述将更加明显， 附图中：

[0015] 图 1为现有技术风电数据的采集和存储系统的流� �图；

[0016] 图 2为根据本发明实施例的基于云计算的风电大� �据分析系统框图；

[0017] 图 3为根据本发明实施例的基于云计算的风电大� �据分析系统的数据流程图。

本发明的实施方式

[0018] 参见图 1， 已经在背景技术部分说明了部分该流程图的内 容， 从风电场侧采集 的数据主要有： 风机数据、 升压站数据、 电计量数据、 测风塔数据等， 风场侧 通过数据采集装置和网络将数据传输给集控中 心侧， 集控中心侧部署数据存储 服务器， 将所有数据进行历史存储。

[0019] 参见图 2， 一种基于云计算的风电大数据分析系统， 包括分布式文件系统模块 1 ， 并行编程框架模块 2， 数据仓库系统 3， 监控工具 4， 运行调度工具 5以及幵发 工具集合模块 6， 其中所述分布式系统文件系统 1用于数据的持久化存储， 所述 监控工具 4用于监控系统的运行状态、 数据分析作业的执行状态， 所述运行调度 工具 5根据需求对数据分析作业进行调度， 解析作业间的关联或依赖关系， 所述 幵发工具集合模块 6用于简化系统的配置管理。 分布式文件系统 1包括元数据服 务器 1-1和多个数据服务器 1-2。 分布式文件系统 1的文件由数据块构成， 数据块 分布在不同的节点上， 用于维持负载均衡。 并行编程框架模块 2采用谷歌公司的 Hadoop, 基于 Map-Reduce进行并行编程。 数据仓库系统 3采用基于 Hadoop平台 的 Hive。 幵发工具集合模块 6包括 SQL翻译、 并行 ETL工具、 索引管理和任务管 理。

[0020] 参见图 3， 风电大数据与互联网大数据存在明显区别， 大多数大数据分析系统 H ive和 Impala等均未对索引提供良好支持， 而风电大数据分析中， 多维区域査询 极为常见， 由于没有索引， 导致访问大量不需要的数据， 显著降低査询的执行 性能， 需要设计合适的索引结构以及相应的数据检索 机制， 风电大数据业务场 景中， 存在大量的数据修改， 以覆盖现有数据的方式执行会导致执行效率低 下 的问题， 因此需提供效率较高的数据改写机制， 互联网根据自身的业务而设计 的 HQL只是 SQL的一个子集， 并不完全适用于风电大数据分析系统。 因此附图 3 展示的是一种新型的风电数据分析挖掘应用的 数据流程图， 更适应风电的应用

[0021] 采用该基于云计算的风电大系统， 可以提高风电数据分析挖掘速度， 从而提高 风电管理效率和风机设备利用率， 进而提高发电量。 在数据存储方面， 构建起 相对大规模的存储级别的相关系统， 在设备利用方面， 实现存储设备在线的有 效收缩和扩展， 在负载均衡方面， 实现系统的全局性自动的均衡夫在， 在数据 安全方面， 云存储实现整体数据的安全性与保护性。

[0022] 虽然本发明已经参考特定的说明性实施例进行 了描述， 但是不会受到这些实施 例的限定而仅仅受到附加权利要求的限定。 本领域技术人员应当理解可以在不 偏离本发明的保护范围和精神的情况下对本发 明的实施例能够进行改动和修改