本发明涉及一种基于緩存数据多线程处理的电 力可靠性指标快速计算方 法， 主要针对电力可靠性指标分析的信息化建设应 用领域。

背景技术

电网规模不断扩大， 电力可靠性指标计算所涉及的基础数据随之快 速增长， 电力可靠性指标计算响应效率低下的问题突显 。 同时， 随着电力可靠性管理业 务在时效性方面的要求不断提高， 指标计算效率与业务管理时效性要求两者之 间的矛盾越来越尖锐。

在海量基础数据的条件下， 电力可靠性指标计算效率低下主要体现在从物 理磁盘读取基础数据的速度较低。 传统的技术解决方案是利用业务空间时间定 时（通常以天为单位）计算出可靠性指标中间 结果， 当用户提交可靠性指标计算 请求时， 基于指标中间结果进行计算， 可以降低计算时所读取的数据量， 提高 计算响应效率。

但是， 上述传统的技术解决方案应用的前提条件是电 力可靠性指标计算所 涉及的基础数据产生后不再或极少发生变更。 但在目前电力可靠性管理模式下， 电力可靠性指标计算所涉及到的基础数据产生 后仍会不断地对其进行信息的补 充完善， 以满足不同維度的电力可靠性指标计算。 此外， 传统的技术解决方案 只能反映最后一次指标中间结果计算完成前的 可靠性水平， 不能反映截止当前 时间电力可靠性水平， 仍难以满足电力可靠性管理业务在时效性方面 的要求。 发明内容

为了解决上述问题， 本发明提供了一种基于緩存数据多线程处理的 电力可 靠性指标快速计算方法， 利用内存中的数据读取速度和多线程并行处理 的技术 手段， 在海量基础数据的条件下， 提高了电力可靠性指标计算的效率。

本发明的技术方案如下： 一种基于緩存数据多线程处理的电力可靠性指 标快速计算方法， 其特征在 于， 该方法包括以下步骤：

( 1 ) 在内存中创建数据緩存区， 按业务数据类型划分， 以管理单位、 设备 注册年月或停电发生年月为主键建立数据块， 緩存基础数据；

(2)在每个数据块中建立变更緩冲区， 记录发生变更的数据， 并定时将变 更緩冲区数据与数据块中基础数据合并， 清空变更緩冲区；

(3)根据用户提交的可靠性指标计算请求所输入 的条件， 在数据緩存区中 检索参与计算的数据块；

(4) 根据系统当前设定的最大线程数， 将检索出参与计算的数据块中数据 平均切割成多组， 并创建多个基础指标计算线程和一个基础指标 合并线程；

(5)所有基础指标计算线程完成基础指标计算 后， 由基础指标合并线程将 各基础指标计算线程计算出的基础指标结果进 行合并， 计算各级管理单位可靠 性综合指标。

上述步骤 （1 ) 在内存中创建数据緩存区， 緩存基础数据包括以下步骤： ( 1 a ) 按业务数据类型划分， 在数据緩存区中创建业务内存对象， 并初始 化； 初始化的信息包括指定对象数据来源、 所需要读取的字段、 设定数据块内 数据排序字段、 抽取数据所用的过滤条件；

( 1 b ) 从外部数据源读取基础数据， 同时按管理单位、 注册日期或停电时 间进行排序， 在内存中形成原始数据记录集；

( 1 c ) 遍历步骤（1 b)中形成的原始数据记录集中的数据， 根据管理单位、 设备注册年月或停电发生年月新建数据块， 或将数据写入已有的数据块；

( 1 d ) 建立由管理单位、 设备注册年月或停电发生年月形成的主键与数 据 块地址指针的数据块列表。

上述步骤 （1 ) 中， 所述的数据块中基础数据区内部数据排序方式 为： 设备 注册数据按设备注册日期排序， 设备运行数据按停电开始时间排序。 上述步骤 （2) 在每个数据块中建立数据变更緩冲区， 清空緩冲区包括以下 步骤：

(2a ) 在每个数据块中建立数据变更緩冲区， 在变更緩冲区中创建三个列 表分别为新增列表、 修改列表和删除列表；

(2c ) 定时根据外部数据源提供的基础数据变更信息 ， 将发生变更的基础 数据按变更类型分别读取至新增列表、 修改列表和删除列表；

(2d ) 定时将新增列表、 修改列表和删除列表中的数据与数据块中基础 数 据进行合并；

(2e) 清空新增列表、 修改列表和删除列表。

上述步骤 （3) 中， 包括如下步骤：

(3a ) 从数据库中获取用户提交的可靠性指标计算请 求， 并将其转换成筛 选基础数据条件的内存对象；

(3b ) 遍历所有业务内存对象的数据块， 依据数据块主键信息和指标计算 所涉及的起始时间筛选数据块；

(3c ) 将筛选出的参与计算的数据块通过地址指针的 方式添加至计算数据 块列表中。

上述步骤 （4) 中， 包括以下步骤：

(4a ) 根据系统当前设定的最大线程数和计算数据块 列表中参与计算的基 础数据总记录数确定数据组的数目， 以及切割后每个数据组所含基础数据的平 均数量；

(4b ) 遍历计算数据块列表中所有数据块， 遍历数据块的同时创建基础数 据容量为步骤（4a)中所述平均数量的数据组， 如果当前数据块中所包含的基础 数据量大于当前数据组剩余容量时， 则拆分数据块中的基础数据先将当前数据 组填充满， 再将剩余的基础数据添加至新的数据组中； 如果当前数据块中所包 含的基础数据量小于当前数据组剩余容量时则 不进行拆分， 直接将其添加至当 前数据组中； (4c ) 根据数据组的数量， 创建多个基础指标计算线程， 并形成基础指标 计算任务列表； 将每组数据提交至所创建的基础指标计算线程 ， 且将线程对应 的基础指标计算任务状态设置为计算中；

(4d ) 创建一个基础指标合并线程。

上述步骤 （5) 中， 包括以下步骤：

(5a ) 每个基础指标计算线程遍历所处理的数据组中 每一条基础数据， 以 及相应数据块中的变更緩冲区新增列表中的数 据， 并根据歸选基础数据条件的 内存对象判断该条基础数据是否参与计算， 如果参与计算则将该条数据提交基 础指标计算单元进行计算， 计算结果存入基础指标结果列表中， 如果不参与则 处理下一条基础数据， 直至该组数据全部处理完成；

(5b ) 每个基础指标计算线程完成后， 将该线程对应的计算任务状态设置 为完成；

(5c ) 遍历基础指标计算任务列表中的任务， 判断所有任务是否都已经执 行完成， 如果没有全部完成则休眠 1秒钟再后执行步骤 （5b)， 如果全部完成则 执行步骤 （5d ) ;

(5d ) 遍历基础指标结果列表中的每一条结果记录， 将同一单位的结果记 录中的基础指标进行合并， 计算该管理单位的可靠性综合指标， 并将全部指标 结果写入可靠性指标结果列表中；

(5e) 将可靠性指标结果列表中的指标结果写入数据 库， 反馈给用户。 本发明所达到的有益效果：

本发明的方法通过多数据块对基础数据进行緩 存， 根据电力可靠性业务特 点设计了緩存数据结构， 提高了电力可靠性指标计算时数据检索的效率 ； 并建 立了基础数据变更同步机制， 设置变更緩冲区， 提高了变更数据同步的效率； 指标计算时采用基础数据分组， 利用多线程技术完成基础指标的计算， 最后对 多个基础指标结果进行合并， 计算出满足要的可靠性指标结果， 保证了电力可 靠性指标计算的速度。 本发明采用多数据块緩存业务数据、 数据变更緩冲区和多线程处理的技术 手段， 提高了电力可靠性业务基础数据检索和计算效 率， 从而实现了电力可靠 性指标的快速计算。

附图说明

图 1 : 本发明中的数据緩存区数据结构图；

图 2 : 本发明中各功能模块协作关系图；

图 3 : 本发明实施例中的緩存数据加载流程图；

图 4 : 本发明实施例中的变更数据同步流程图；

图 5 : 本发明实施例中的变更緩冲数据合并流程图；

图 6 : 本发明实施例中的指标计算请求处理流程图；

图 7 : 本发明实施例中的指标计算流程图。

具体实施方式

下面结合附图对本发明作进一步描述。 以下实施例仅用于更加清楚地说明 本发明的技术方案， 而不能以此来限制本发明的保护范围。

数据緩存区的数据结构如图 1所示， 在数据緩存区中按业务数据类型划分， 创建业务内存对象。 每个业务内存对象包含： 由属性列表、 源数据表、 排序属 性、 唯一标识信息组成的对象基础信息； 由管理单位、 设备注册年月或停电发 生年月为主键， 数据块地址指标为值的键值对组成的数据块列 表； 由基础数据 区和变更緩冲区组成的多个数据块。

其中： 数据块中的基础数据区内数据排序方式为： 设备注册数据按设备注 册日期排序， 设备运行数据按停电开始时间排序； 数据块中的变更緩冲区包括 新增列表、 修改列表和删除列表， 分别用于记录新增的基础数据、 属性发生修 改的基础数据和被删除的基础数据。

本技术方案中除数据緩存区外， 还包括数据加载模块、 数据更新模块、 指 标计算任务管理模块和指标计算模块组成， 各模块协作关系如图 2 所示。 数据 块基础数据区中的基数数据在启动时由数据加 载模块统一加载， 变更緩冲区中 的数据由每个数据块对应的数据更新模块定时 读取数据库中的数据变更索引表 记录， 根据发生变更的基础数据主键从基础数据表中 读取数据信息， 并根据数 据变更类型将基础数据写入新增列表、 修改列表或删除列表。 数据更新模块还 定时启动变更緩冲区数据与基础数据区数据合 并任务， 更新基础数据区中， 使 之为最新的基础数据， 并清空变更緩冲区。

指标计算任务管理模块负责从数据库中获取用 户提交的可靠性指标计算请 求， 将请求所输入的计算条件转换成筛选基础数据 条件的内存对象， 遍历所有 业务数据内存对象的数据块， 依据数据块主键信息和指标计算所涉及的起始 时 间筛选数据块， 并将符合条件的数据块添加至计算数据块列表 中； 然后， 根据 系统当前设定的最大线程数和计算数据块列表 中参与计算的基础数据总记录数 确定数据组的数目， 以及切割后每个数据组所含基础数据的平均数 量， 并切割 计算数据块列表中的数据块， 形成多个数据组； 最后， 根据数据组的数量， 创 建多个基础指标计算线程， 并形成基础指标计算任务列表。 将每组数据提交至 所创建的基础指标计算线程， 且将线程对应的基础指标计算任务状态设置为 计 算中， 同时创建一个基础指标合并线程。

指标计算模块负责提供基础指标计算和基础指 标合并业务逻辑， 根据指标 计算任务管理模块所创建的多个基础指标计算 线程和基础指标合并线程完成可 靠性指标计算， 并输出结果。

以下结合附图 3至图 6， 对本发明的技术方案进行清楚、 完整的描述。 图 3 示意了本发明实施例中的緩存数据加载流程， 包括如下步骤：

步骤 301 : 根据配置文件， 生成需要进行数据緩存的业务数据类型列表； 步骤 302 : 获取业务数据类型列表迭代器；

步骤 303 : 判断业务数据类型列表迭代器中是否包含下一 个业务数据类型， 如果有则执行步骤 304， 如果没有则緩存数据加载结束；

步骤 304: 创建业务内存对象， 建立对象基础信息区和空的数据块列表； 步骤 305 :初始化业务内存对象基础信息， 包括：业务内存对象的属性列表、 源数据表、 用于数据块内基础数据排序的属性和业务内存 对象唯一标识； 步骤 306: 从业务内存对象的源数据表中读取基础数据， 形成基础数据集； 步骤 307 : 遍历基础数据集中的数据， 根据基础数据的单位等信息创建或加 入已有的数据块中， 并将新的数据块地址信息添加至数据块列表中 ；

步骤 308 : 返回步骤 303。

为了保持数据块中的基础数据始终为最新的业 务数据， 与源数据保持一致， 本发明中添加了数据更新模块， 该模块启动两个定时执行的任务， 分别完成将 源数据表中发生变更的数据读取至数据块的变 更緩冲区中和将变更緩冲区的数 据合并至基础数据区中。

图 4示意了本发明实施例中的变更数据同步流程� � 包括如下步骤： 步骤 401 : 从数据库中的数据变更索引表中读取数据， 形成变更记录集； 步骤 402 : 遍历变更记录集， 根据变更索引信息从基础数据表中读取基础数 据， 并根据按业务类型将变更后的基础数据分组保 存；

步骤 403 : 遍历上述步骤中每个分组内的基础数据， 根据该数据的变更类型 分别添加至相应数据块变更緩冲区的新增列表 、 修改列表或删除列表中。

图 5示意了本发明实施例中的变更緩冲数据合并� �程， 包括如下步骤： 步骤 501 : 获取变更緩冲区的业务内存对象列表；

步骤 502 : 判断是否存在下一个业务内存对象， 如果存在则执行步骤 503， 如果不存在则结束；

步骤 503 : 获取上述业务内存对象的数据块列表；

步骤 504: 判断是否存在下一个数据块， 如果存在则执行步骤 505， 如果不 存在则执行步骤 502 ;

步骤 505 : 获取数据块变更緩冲区中的新增列表；

步骤 506: 遍历上述新增列表， 将列表中的数据添加至已有或新数据块的基 础数据区； 步骤 507 : 获取数据块变更緩冲区中的修改列表；

步骤 508 : 遍历上述修改列表， 修改该数据块中基础数据区中的基础数据； 步骤 509 : 获取数据块变更緩冲区中的删除列表；

步骤 510 : 遍历上述删除列表， 删除该数据块中基础数据区中对应的基础数 据。

上述三个处理流程， 緩存数据加载、 变更数据同步、 变更緩冲数据合并共 同实现了数据緩存区所有数据块中的基础数据 能够及时与源数据表中的数据保 持一致的目的， 保证了指标计算时的基础数据的完整性与准确 性。 变更緩冲区 的设置解决了直接将数据的变化更新至数据块 的基础数据区中需要进行较多的 业务逻辑处理， 效率较低， 无法满足大量的数据变化。 同时， 在指标计算的过 程中， 变更緩冲区中的数据也参与相应的指标计算， 保证的指标计算结果的准 确性。

图 6示意了本发明实施例中的指标计算请求处理� �程， 包括如下步骤： 步骤 601 : 从数据库中获取指标计算请求；

步骤 602 : 根据指标计算请求中所包含的条件信息， 生成用于筛选基础数据 的内存对象；

步骤 603 : 依据上述步骤 602生成的筛选条件内存对象， 从数据緩存区中筛 选出参与计算的数据块， 并形成计算数据块列表；

步骤 604：根据系统当前设定的最大线程数和上述步 骤 603中生成的计算数 据块列表中的基础数据量大小， 确定数据组的数目以及每个数据组所包含的基 础数据数量；

步骤 605 :根据确定的数据组的数目和所含基础数据的� �量对计算数据块列 表中的数据块进行切割， 形成相应的数据组；

步骤 606: 根据数据组的数量， 创建多个基础指标计算线程， 并形成基础指 标计算任务列表。 将每个数据组提交至所创建的基础指标计算线 程， 且将线程 对应的基础指标计算任务状态设置为计算中， 同时创建一个基础指标合并线程； 步骤 607: 每个基础指标计算线程遍历相应数据组中的基 础数据， 完成基础 指标计算， 并根据执行情况， 更新本基础指标计算线程所执行基础指标计算 任 务的执行状态；

步骤 608:基础指标合并线程定时访问每个基础指标� �算线程计算任务的执 行状态；

步骤 609: 判断所有基础指标计算线程所对应的计算任务 是否全部完成， 如 果没有全部完成， 则执行步骤 610， 如果全部完成， 则执行步骤 611;

步骤 610: 休眠 1s， 返回步骤 609;

步骤 611: 将多个线程返回的基础指标结果进行合并， 并计算生成各级单位 可靠性综合指标， 写可靠性指标结果列表；

步骤 612:根据可靠性指标结果列表的数据将各级单� �可靠性综合指标写入 数据库， 以反馈给用户。

图 7示意了本发明实施例中的指标计算流程， 包括如下步骤：

步骤 701: 获取数据组中基础数据迭代器， 该迭代器包含了对该数据组中各 数据块基础数据区中基础数据， 以及变更緩冲区中新增列表中基础数据的迭代 ； 步骤 702: 判断基础数据迭代器中是否存在下一条数据， 如果存在， 则执行 步骤 703， 如果不存在， 则结束；

步骤 703: 读取该条基础数据；

步骤 704: 判断该条基础数据在緩冲区的修改列表中是否 存在， 如果存在， 则执行步骤 705， 如果不存在， 则执行步骤 706;

步骤 705:读取变更緩冲区修改列表中的基础数据，� �代步骤 703中的数据； 步骤 706: 该条基础数据在緩冲区的删除列表中是否存在 ， 如果存在， 则执 行步骤 702， 如果不存在， 则执行步骤 707;

步骤 707: 判断该基础数据是否符合用户提交计算条件， 如果符合， 则执行 步骤 708， 如果不符合， 则执行步骤 702。 本发明实施例通过多数据块对基础数据进行緩 存， 根据电力可靠性业务特 点设计了緩存数据结构， 提高了电力可靠性指标计算时数据检索的效率 ； 并建 立了基础数据变更同步机制， 设置变更緩冲区， 提高了变更数据同步的效率； 指标计算时采用基础数据分组， 利用多线程技术完成基础指标的计算， 最后对 多个基础指标结果进行合并， 计算出满足要的可靠性指标结果， 保证了电力可 靠性指标计算的速度。 以上所述对本发明的目的、 技术方案和具体实施方式进行了详细说明， 所 应理解的是， 以上所述并不用以限制本发明， 凡在本发明的精神和原则之内， 所做的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。