技术领域

[0001] 本发明涉及计算机技术领域， 尤其涉及一种迁移数据的方法及装置。

背景技术

[0002] 随着数据吋代的来临， 数据迁移将会在各个系统之间及系统内部频繁 发生， 如 何高效的迁移数据是目前面临的最大问题。

[0003] 目前数据迁移工具种类繁多， 选择合适的工具进行高效的数据迁移越来越难 ， 并且在多种环境下进行数据迁移， 需要一个个实现， 实现方式复杂且效率低下 技术问题

[0004] 有鉴于此， 本发明的目的在于提供一种迁移数据的方法及 装置,以解决目前数据 库中结构化数据迁移复杂效率低下的问题。

问题的解决方案

技术解决方案

[0005] 本发明解决上述技术问题所采用的技术方案如 下：

[0006] 根据本发明的一个方面， 提供了一种迁移数据的方法， 该方法包括：

[0007] 在待迁移结构化数据进行迁移吋， 获取待迁移结构化数据；

[0008] 在预置的数据配置库文件中选择目标数据配置 库文件， 所述目标数据配置库文 件为将所述待迁移结构化数据转换为通用格式 数据的配置文件；

[0009] 根据所述目标数据配置库文件将所述待迁移结 构化数据导出为所述通用格式数 据文件；

[0010] 其中， 所述待迁移结构化数据中行分隔符转化为通用 格式数据文件中的通用行 分隔符， 所述待迁移结构化数据中的列分隔符转化为通 用格式数据文件中的列 分隔符。

[0011] 优选的， 在预置的数据配置库文件中选择目标数据配置 库文件之前， 所述方法 还包括： [0012] 在所述预置的数据配置库文件中配置所述目标 数据配置库文件。

[0013] 优选的， 所述目标数据配置库文件为下列步骤形成的可 执行脚本：

[0014] 根据待迁移结构化数据的数据类型确定对应的 数据迁移工具；

[0015] 为迁移结构化数据分配系统资源；

[0016] 去除待迁移结构化数据中索引、 触发器；

[0017] 定义导入待迁移结构化数据的存储弓 I擎。

[0018] 优选的， 所述根据所述目标数据配置库文件将所述待迁 移结构化数据导出为所 述通用格式数据文件， 进一步包括：

[0019] 获取所述待迁移结构化数据对应的目标数据库 ；

[0020] 根据所述待迁移结构化数据导出所述目标数据 库对应格式的数据文件；

[0021] 将所述目标数据库对应格式的数据文件导出为 所述通用格式数据文件。

[0022] 优选的， 所述将所述目标数据库对应格式的数据文件导 出为所述通用格式数据 文件， 进一步包括：

[0023] 计算所述目标数据库对应格式的数据文件的行 数；

[0024] 若所述行数为多行， 则统计第一行中的列分隔符， 根据所述第一行中的列分隔 符统计其它行的列分隔符， 将所述目标数据库对应格式的数据文件中列分 隔符 转化为通用格式数据文件中的列分隔符；

[0025] 若所述行数为一行， 从行尾幵始统计所述目标数据库对应格式的数 据文件的行 分隔符， 将所述目标数据库对应格式的数据文件中行分 隔符转化为通用格式数 据文件中的通用行分隔符。

[0026] 优选的， 所述从行尾幵始统计所述目标数据库对应格式 的数据文件的行分隔符

， 进一步包括：

[0027] 从行尾幵始， 统计字符出现的位置和次数；

[0028] 通过字符出现的位置信息， 计算该的长度；

[0029] 根据所述长度、 字符出现的次数， 计算该行中每个字符的标准方差， 所述标准 方差最小的字符即为行分隔符。

[0030] 根据本发明的另一个方面， 提供了一种迁移数据的方法， 该方法包括：

[0031] 获取通用格式数据文件及待导入的目标数据库 的类型； [0032] 根据所述目标数据库的类型在预置的数据配置 库文件中选择目标数据配置库文 件， 所述目标数据配置库文件为将所述通用格式数 据转换为所述目标数据库支 持的目标数据格式的配置文件；

[0033] 根据所述目标数据配置库文件将所述通用格式 数据文件导入所述目标数据库。

[0034] 优选的， 所述根据所述目标数据配置库文件将所述通用 格式数据文件导入所述 目标数据库， 进一步包括：

[0035] 将所述通用格式数据文件中的通用行分隔符转 化为所述目标数据格式的行分隔 符；

[0036] 所述通用格式数据文件中的列分隔符转化为所 述目标数据格式的列分隔符。

[0037] 根据本发明的又一个方面， 提供的一种迁移数据的装置， 该装置包括：

[0038] 获取单元， 设置为在待迁移结构化数据进行迁移吋， 获取待迁移结构化数据； [0039] 选择单元， 设置为在预置的数据配置库文件中选择目标数 据配置库文件， 所述 目标数据配置库文件为将所述待迁移结构化数 据转换为通用格式数据的配置文 件；

[0040] 导出单元， 设置为根据所述目标数据配置库文件将所述待 迁移结构化数据导出 为所述通用格式数据；

[0041] 其中， 所述待迁移结构化数据中行分隔符转化为通用 格式数据中的通用行分隔 符， 所述待迁移结构化数据中的列分隔符转化为通 用格式数据中的列分隔符。

[0042] 优选的， 所述装置还包括：

[0043] 配置单元， 设置为在所述预置的数据配置库文件中配置所 述目标数据配置库文 件。

[0044] 优选的， 所述目标数据配置库文件为下列步骤形成的可 执行脚本：

[0045] 根据待迁移结构化数据的数据类型确定对应的 数据迁移工具；

[0046] 为迁移结构化数据分配系统资源；

[0047] 去除待迁移结构化数据中索引、 触发器；

[0048] 定义导入待迁移结构化数据的存储弓 I擎。

[0049] 优选的， 所述导出单元具体设置为：

[0050] 获取所述待迁移结构化数据对应的目标数据库 ； [0051] 根据所述待迁移结构化数据导出所述目标数据 库对应格式的数据文件；

[0052] 将所述目标数据库对应格式的数据文件导出为 所述通用格式数据文件。

[0053] 优选的， 所述导出单元具体设置为：

[0054] 计算所述目标数据库对应格式的数据文件的行 数；

[0055] 若所述行数为多行， 则统计第一行中的列分隔符， 根据所述第一行中的列分隔 符统计其它行的列分隔符， 将所述目标数据库对应格式的数据文件中列分 隔符 转化为通用格式数据文件中的列分隔符；

[0056] 若所述行数为一行， 从行尾幵始统计所述目标数据库对应格式的数 据文件的行 分隔符， 将所述目标数据库对应格式的数据文件中行分 隔符转化为通用格式数 据文件中的通用行分隔符。

[0057] 优选的， 所述导出单元具体设置为：

[0058] 从行尾幵始， 统计字符出现的位置和次数；

[0059] 通过字符出现的位置信息， 计算该行的长度；

[0060] 根据所述长度、 字符出现的次数， 计算该行中每个字符的标准方差， 所述标准 方差最小的字符即为行分隔符。

[0061] 根据本发明的另一个方面， 提供的一种迁移数据的装置， 该装置包括：

[0062] 获取单元， 设置为获取通用格式数据文件及待导入的目标 数据库的类型； [0063] 选择单元， 设置为根据所述目标数据库的类型在预置的数 据配置库文件中选择 目标数据配置库文件， 所述目标数据配置库文件为将所述通用格式数 据转换为 所述目标数据库支持的目标数据格式的配置文 件；

[0064] 导入单元， 设置为根据所述目标数据配置库文件将所述通 用格式数据文件导入 所述目标数据库。

[0065] 优选的， 所述导入单元具体设置为：

[0066] 将所述通用格式数据文件中的通用行分隔符转 化为所述目标数据格式的行分隔 符；

[0067] 所述通用格式数据文件中的列分隔符转化为所 述目标数据格式的列分隔符。

发明的有益效果

有益效果 本发明实施例的迁移数据的方法及装置， 通过在待迁移结构化数据进行迁移吋 ， 获取待迁移结构化数据； 在预置的数据配置库文件中选择目标数据配置 库文 件， 所述目标数据配置库文件为将所述待迁移结构 化数据转换为通用格式数据 的配置文件； 根据所述目标数据配置库文件将所述待迁移结 构化数据导出为所 述通用格式数据文件， 本发明实施例根据配置库文件对待迁移数据进 行导出为 通用格式数据， 提高了数据导出效率的同吋， 由于采用通用数据格式导出数据

， 方便将导出的数据多次导入不同的数据库， 实现简单， 节约人力。

对附图的简要说明

附图说明

[0069] 图 1为本发明实施例中迁移数据的方法的第- 实施例中一个实施例示意图；

[0070] 图 2为本发明实施例中迁移数据的方法的第- 实施例中另一个实施例示意图；

[0071] 图 3为本发明实施例中迁移数据的方法的第- 实施例中另一个实施例示意图；

[0072] 图 4为本发明实施例中迁移数据的方法的第二二� �施例的一个实施例示意图；

[0073] 图 5为本发明实施例中迁移数据的方法的第二二� �施例的另一个实施例示意图；

[0074] 图 6为本发明实施例中迁移数据的装置的第- 实施例的一个实施例示意图；

[0075] 图 7为本发明实施例中迁移数据的装置的第- 实施例的另一个实施例示意图；

[0076] 图 8为本发明实施例中迁移数据的装置的第二二� �施例的另一个实施例示意图。

[0077] 本发明目的的实现、 功能特点及优点将结合实施例， 参照附图做进一步说明。

本发明的实施方式

[0078] 为了使本发明所要解决的技术问题、 技术方案及有益效果更加清楚、 明白， 以 下结合附图和实施例， 对本发明进行进一步详细说明。 应当理解， 此处所描述 的具体实施例仅仅用以解释本发明， 并不用于限定本发明。

[0079] 下面首先介绍本发明实施例中迁移数据的方法 的实施例。

[0080] 本发明实施例中迁移数据的方法的执行主体为 迁移数据的装置， 该迁移数据的 装置可以位于服务器或终端中。

[0081] 实施例一

[0082] 请参阅图 1， 为本发明实施例中迁移数据的方法的第一实施 例示意图， 该方法 包括：

[0083] S101、 在待迁移结构化数据进行迁移吋， 获取待迁移结构化数据；

[0084] S102、 在预置的数据配置库文件中选择目标数据配置 库文件；

[0085] 其中， 所述目标数据配置库文件为将所述待迁移结构 化数据转换为通用格式数 据的配置文件；

[0086] S103、 根据所述目标数据配置库文件将所述待迁移结 构化数据导出为所述通用 格式数据文件。

[0087] 其中， 所述待迁移结构化数据中行分隔符转化为通用 格式数据文件中的通用行 分隔符， 所述待迁移结构化数据中的列分隔符转化为通 用格式数据文件中的列 分隔符。

[0088] 本发明实施例的迁移数据的方法通过在待迁移 结构化数据进行迁移吋， 获取待 迁移结构化数据； 在预置的数据配置库文件中选择目标数据配置 库文件， 所述 目标数据配置库文件为将所述待迁移结构化数 据转换为通用格式数据的配置文 件； 根据所述目标数据配置库文件将所述待迁移结 构化数据导出为所述通用格 式数据文件， 本发明实施例根据配置库文件对待迁移数据进 行导出为通用格式 数据， 提高了数据导出效率的同吋， 由于采用通用数据格式导出数据， 方便将 导出的数据多次导入不同的数据库， 实现简单， 节约人力。

[0089] 本发明实施例中的待迁移结构化数据为存在于 结构化数据库中的数据， 例如 Or acle, Mysql或 Sybase数据库中保存的数据， 或在非结构化数据库中保存的结构 化数据， 例如 Hadoop、 Redis数据库中保存的结构化数据。

[0090] 优选的， 在预置的数据配置库文件中选择目标数据配置 库文件之前， 所述方法 还包括：

[0091] 在所述预置的数据配置库文件中配置所述目标 数据配置库文件。

[0092] 优选的， 所述目标数据配置库文件为下列步骤形成的可 执行脚本：

[0093] 根据待迁移结构化数据的数据类型确定对应的 数据迁移工具， 由于不同的数据 库有不同的迁移工具 （例如 Oracle数据库的 sqlloader, Sybase数据库的 bcp， Hado op数据库的 sqoop等） ， 本发明实施例中需要确定调用这些迁移工具来 导出或导 入数据。 [0094] 为迁移结构化数据分配系统资源， 由于导入操作一般会占用系统资源， 在导入 过程中将系统资源尽量多的分配给导入操作会 提高导入效率， 导入完成后再将 资源释放到数据库的其他操作。 例如： Mysql导入操作就要调整参数： bulkjnser t_buffer_size， innodb_flush_log_at_trx_commit等 °

[0095] 去除待迁移结构化数据中索引、 触发器， 以索引为例， 如果索引存在的话， 每 次导入都会进行排序处理， 这就严重影响导入效率。 此吋就要在导入前把索引 刪除， 提高导入效率， 导入完成后， 可以再创建索引。

[0096] 定义导入待迁移结构化数据的存储弓 I擎。

[0097] 请参阅图 2， 步骤 S103可以进一步包括：

[0098] S1031、 获取所述待迁移结构化数据对应的目标数据库 ；

[0099] S1032、 根据所述待迁移结构化数据导出所述目标数据 库对应格式的数据文件

[0100] S1033、 将所述目标数据库对应格式的数据文件导出为 所述通用格式数据文件

[0101] 请参阅图 3， 步骤 S1033可以进一步包括：

[0102] S10331、 计算所述目标数据库对应格式的数据文件的行 数；

[0103] S10332、 若所述行数为多行， 则统计第一行中的列分隔符， 根据所述第一行中 的列分隔符统计其它行的列分隔符， 将所述目标数据库对应格式的数据文件中 列分隔符转化为通用格式数据文件中的列分隔 符；

[0104] 由于有多行的情况下， 说明根据所述待迁移结构化数据导出所述目标 数据库对 应格式的数据文件吋已经将数据分行， 无需判断行分隔符； 对第一行中出现的 字符进行统计， 首先统计一些常用的列分隔符， 如果没有这些数据， 再对所有 字符进行统计， 这样效率会高一些； 对下一行中的字符进行统计， 与上一行中 字符出现的次数相同， 则可以判定是列分隔符； 依此循环多次， 每次字符出现 次数都相同的， 即可确认是列分隔符， 用通用的列分隔符进行替换即可。

[0105] S10333、 若所述行数为一行， 从行尾幵始统计所述目标数据库对应格式的数 据 文件的行分隔符， 将所述目标数据库对应格式的数据文件中行分 隔符转化为通 用格式数据文件中的通用行分隔符。 [0106] 优选的， 所述从行尾幵始统计所述目标数据库对应格式 的数据文件的行分隔符

， 进一步包括：

[0107] 从行尾幵始， 统计字符出现的位置和次数；

[0108] 通过字符出现的位置信息， 计算该行的长度；

[0109] 根据所述长度、 字符出现的次数， 计算该行中每个字符的标准方差， 所述标准 方差最小的字符即为行分隔符。

[0110] 具体的， 例如， 从行尾幵始， 先统计字符出现的位置 （如字符相对位置 XI， X

2...Xn表） 和字符出现的次数 n;

[0111] 则通过字符出现的位置信息和字符出现的次数 ， 可以计算该行的长度， 具体可 以如下：

[0112] 通过字符的相对位置计算行的平均长度：

[0113] L=((Xn-Xn- 1 )+(Xn- 1 -Xn-2)+ ..... +(X2-X l))/n

[0114] 其中， XI， X2...... Xn表示字符出现的相对位置， n表示字符出现的次数。

[0115] 计算该行的标准方差即得：

[0116] (((Xn-Xn- l)-l)2+((Xn- 1 -Xn-2)-l)2+ ..... +((X2-X l)-l)2)/n

[0117] 下面以一具体实施例作介绍：

[0118] 例如： 若目标数据库对应格式的数据文件的行数为一 行， 该行的内容为 "1234;5 6789;9012;"。

[0119] 其中， 字符； 出现的相对位置分别是： 16， 11， 5， 此吋， 行的平均长度就是

： ( (16-11) +(11-5)+(5-0))/3=5.33。

[0120] 此吋， 以;作为行分隔符的行长度的标准方差是： （(5-5.33)2+(6-5.33)2+(5-5.33)2

)/n=0.22;

[0121] 依次计算以从行尾幵始， 计算每个字符作为行分隔符吋， 行的标准方差， 标准 方差最小的字符即确定为行分隔符。 以上例为准， 在计算"； "作为行分隔符的行 长度的标准方差， 依次计算 2， 1， 0， 9作为行分隔符吋， 行的标准方差， 标准 方差最小的字符即确定为行分隔符。

[0122] 请参阅图 4， 为本发明实施例中迁移数据的方法的第二实施 例示意图， 该方法 包括： [0123] S401、 获取通用格式数据文件及待导入的目标数据库 的类型；

[0124] S402、 根据所述目标数据库的类型在预置的数据配置 库文件中选择目标数据配 置库文件；

[0125] 其中， 所述目标数据配置库文件为将所述通用格式数 据转换为所述目标数据库 支持的目标数据格式的配置文件；

[0126] S403、 根据所述目标数据配置库文件将所述通用格式 数据文件导入所述目标数 据库。

[0127] 请参阅图 5， S403进一步可以包括：

[0128] S4031、 将所述通用格式数据文件中的通用行分隔符转 化为所述目标数据格式 的行分隔符；

[0129] S4032、 将所述通用格式数据文件中的列分隔符转化为 所述目标数据格式的列 分隔符。

[0130] 下面介绍本发明实施例中迁移数据的装置。

[0131] 请参阅图 6， 为本发明实施例中迁移数据的装置的一个实施 例示意图， 该装置 6 00包括：

[0132] 获取单元 601， 设置为在待迁移结构化数据进行迁移吋， 获取待迁移结构化数 据；

[0133] 选择单元 602， 设置为在预置的数据配置库文件中选择目标数 据配置库文件， 所述目标数据配置库文件为将所述待迁移结构 化数据转换为通用格式数据的配 置文件；

[0134] 导出单元 603， 设置为根据所述目标数据配置库文件将所述待 迁移结构化数据 导出为所述通用格式数据；

[0135] 其中， 所述待迁移结构化数据中行分隔符转化为通用 格式数据中的通用行分隔 符， 所述待迁移结构化数据中的列分隔符转化为通 用格式数据中的列分隔符。

[0136] 优选的， 如图 7所示， 所述装置 600还包括：

[0137] 配置单元 604， 设置为在所述预置的数据配置库文件中配置所 述目标数据配置 库文件。

[0138] 优选的， 所述目标数据配置库文件为下列步骤形成的可 执行脚本： [0139] 根据待迁移结构化数据的数据类型确定对应的 数据迁移工具；

[0140] 为迁移结构化数据分配系统资源；

[0141] 去除待迁移结构化数据中索引、 触发器；

[0142] 定义导入待迁移结构化数据的存储弓 I擎。

[0143] 优选的， 所述导出单元 603具体设置为：

[0144] 获取所述待迁移结构化数据对应的目标数据库 ；

[0145] 根据所述待迁移结构化数据导出所述目标数据 库对应格式的数据文件；

[0146] 将所述目标数据库对应格式的数据文件导出为 所述通用格式数据文件。

[0147] 优选的， 所述导出单元 603具体设置为：

[0148] 计算所述目标数据库对应格式的数据文件的行 数；

[0149] 若所述行数为多行， 则统计第一行中的列分隔符， 根据所述第一行中的列分隔 符统计其它行的列分隔符， 将所述目标数据库对应格式的数据文件中列分 隔符 转化为通用格式数据文件中的列分隔符；

[0150] 若所述行数为一行， 从行尾幵始统计所述目标数据库对应格式的数 据文件的行 分隔符， 将所述目标数据库对应格式的数据文件中行分 隔符转化为通用格式数 据文件中的通用行分隔符。

[0151] 优选的， 所述导出单元 603具体设置为：

[0152] 从行尾幵始， 统计字符出现的位置和次数；

[0153] 通过字符出现的位置信息， 计算该行的长度；

[0154] 根据所述长度、 字符出现的次数， 计算该行中每个字符的标准方差， 所述标准 方差最小的字符即为行分隔符。

[0155] 请参阅图 8， 为本发明实施例中迁移数据的装置的另一个实 施例示意图， 该装 置 800包括：

[0156] 获取单元 801， 设置为获取通用格式数据文件及待导入的目标 数据库的类型； [0157] 选择单元 802， 设置为根据所述目标数据库的类型在预置的数 据配置库文件中 选择目标数据配置库文件， 所述目标数据配置库文件为将所述通用格式数 据转 换为所述目标数据库支持的目标数据格式的配 置文件；

[0158] 导入单元 803， 设置为根据所述目标数据配置库文件将所述通 用格式数据文件 导入所述目标数据库。

[0159] 优选的， 所述导入单元 803具体设置为：

[0160] 将所述通用格式数据文件中的通用行分隔符转 化为所述目标数据格式的行分隔

[0161] 所述通用格式数据文件中的列分隔符转化为所 述目标数据格式的列分隔符。

[0162] 需要说明的是， 上述装置实施例与方法实施例属于同一构思， 其具体实现过程 详见方法实施例， 且方法实施例中的技术特征在装置实施例中均 对应适用， 这 里不再赘述。

[0163] 通过以上的实施方式的描述， 本领域的技术人员可以清楚地了解到上述实施 例 方法可借助软件加必需的通用硬件平台的方式 来实现， 当然也可以通过硬件来 实现， 但很多情况下前者是更佳的实施方式。 基于这样的理解， 本发明的技术 方案本质上或者说对现有技术做出贡献的部分 可以以软件产品的形式体现出来 ， 该计算机软件产品存储在一个存储介质 （如 ROM/RAM、 磁碟、 光盘） 中， 包 括若干指令用以使得一台终端设备 （可以是手机， 计算机， 服务器， 空调器， 或者网络设备等） 执行本发明各个实施例所述的方法。

[0164] 以上参照附图说明了本发明的优选实施例， 并非因此局限本发明的权利范围。

本领域技术人员不脱离本发明的范围和实质， 可以有多种变型方案实现本发明 ， 比如作为一个实施例的特征可用于另一实施例 而得到又一实施例。 凡在运用 本发明的技术构思之内所作的任何修改、 等同替换和改进， 均应在本发明的权 利范围之内。

工业实用性

[0165] 本发明实施例的迁移数据的方法及装置， 通过在待迁移结构化数据进行迁移吋 ， 获取待迁移结构化数据； 在预置的数据配置库文件中选择目标数据配置 库文 件， 所述目标数据配置库文件为将所述待迁移结构 化数据转换为通用格式数据 的配置文件； 根据所述目标数据配置库文件将所述待迁移结 构化数据导出为所 述通用格式数据文件， 本发明实施例根据配置库文件对待迁移数据进 行导出为 通用格式数据， 提高了数据导出效率的同吋， 由于采用通用数据格式导出数据 ， 方便将导出的数据多次导入不同的数据库， 实现简单， 节约人力。 因此， 具 有工业实用性。