CN106529194A | 2017-03-22 | |||
CN101771717A | 2010-07-07 | |||
CN104699736A | 2015-06-10 | |||
CN104616180A | 2015-05-13 | |||
US20050283522A1 | 2005-12-22 |
权利要求书 [权利要求 1] 一种电商数据迁移系统, 运行于数据迁移设备中, 其特征在于, 所述 数据迁移设备通过网络与第一数据库服务器及第二数据库服务器通信 连接, 所述网络上通信连接有多个终端, 该系统包括: 接收模块, 用于接收所述第一数据库服务器的数据迁移配置文件; 获取模块, 用于从所述数据迁移配置文件中获取所述第一数据库服务 器中待迁移的电商数据数据的大小; 搜索模块, 用于根据所述待迁移的电商数据数据的大小在网络中搜索 对应数量的终端; 集合模块, 用于将所有搜索的终端集合成一个集群; 发送模块, 用于发送所述数据迁移配置文件给集群中每一个终端, 使 得所述集群中每一个终端在第一数据库服务器及第二数据库服务器之 间建立通信连接; 通知模块, 用于通知所述第一数据库服务器将所述待迁移的电商数据 数据通过所述搜索的终端发送至第二数据库服务器; 及 所述通知模块, 还用于当集群中有终端处于闲置状态吋, 通知集群中 处于闲置状态的终端主动获取所述第一数据库服务器中待迁移的电商 数据数据并发生至第二数据库服务器。 [权利要求 2] 如权利要求 1所述的电商数据迁移系统, 其特征在于, 所述第一数据 库服务器安装有第一数据库, 第二数据库服务器安装有第二数据库, 其中, 所述第一数据库划分为多个第一分区数据库, 所述第二数据库 划分为多个第二分区数据库, 每一个第一分区数据库分配有一个唯一 的分区代码, 每一个第二分区数据库分配有一个唯一的分区代码。 [权利要求 3] 如权利要求 2所述的电商数据迁移系统, 其特征在于, 所述数据迁移 配置文件包括所述第一数据库服务器的 IP地址、 第一数据库服务器中 每个第一分区数据库的分区代码、 第一数据库服务器中待迁移的电商 数据数据的属性信息、 第一数据库服务器的数据库配置文件、 所述第 二数据库服务器的 IP地址、 第二数据库服务器中每个第二分区数据库 的分区代码及第二数据库服务器的数据库配置文件。 [权利要求 4] 如权利要求 1所述的电商数据迁移系统, 其特征在于, 所述集合模块 将所有搜索的终端集合成一个集群的方式如下: 给每个搜索的终端的 分配一个编码; 获取每个搜索的终端的 IP地址; 创建一个集群配置文 件并发送给每个搜索的终端来完成集群的创建, 所述集群配置文件中 包括每个搜索的终端的 IP地址及编码。 [权利要求 5] 一种电商数据迁移方法, 应用于数据迁移设备中, 其特征在于, 所述 数据迁移设备通过网络与第一数据库服务器及第二数据库服务器通信 连接, 所述网络上通信连接有多个终端, 该方法包括如下步骤: 接收所述第一数据库服务器的数据迁移配置文件; 从所述数据迁移配置文件中获取所述第一数据库服务器中待迁移的电 商数据数据的大小; 根据所述待迁移的电商数据数据的大小在网络中搜索对应数量的终端 将所有搜索的终端集合成一个集群; 发送所述数据迁移配置文件给集群中每一个终端, 使得所述集群中每 一个终端在第一数据库服务器及第二数据库服务器之间建立通信连接 通知所述第一数据库服务器将所述待迁移的电商数据数据通过所述搜 索的终端发送至第二数据库服务器; 及 当集群中有终端处于闲置状态吋, 通知集群中处于闲置状态的终端主 动获取所述第一数据库服务器中待迁移的电商数据数据并发生至第二 数据库服务器。 [权利要求 6] 如权利要求 5所述的电商数据迁移方法, 其特征在于, 所述第一数据 库服务器安装有第一数据库, 第二数据库服务器安装有第二数据库, 其中, 所述第一数据库划分为多个第一分区数据库, 所述第二数据库 划分为多个第二分区数据库, 每一个第一分区数据库分配有一个唯一 的分区代码, 每一个第二分区数据库分配有一个唯一的分区代码。 [权利要求 7] 如权利要求 5所述的电商数据迁移方法, 其特征在于, 所述数据迁移 配置文件包括所述第一数据库服务器的 IP地址、 第一数据库服务器中 每个第一分区数据库的分区代码、 第一数据库服务器中待迁移的电商 数据数据的属性信息、 第一数据库服务器的数据库配置文件、 所述第 二数据库服务器的 IP地址、 第二数据库服务器中每个第二分区数据库 的分区代码及第二数据库服务器的数据库配置文件。 [权利要求 8] 如权利要求 5所述的电商数据迁移方法, 其特征在于, 所述将所有搜 索的终端集合成一个集群的步骤包括如下步骤: 给每个搜索的终端的 分配一个编码; 获取每个搜索的终端的 IP地址; 创建一个集群配置文 件并发送给每个搜索的终端来完成集群的创建, 所述集群配置文件中 包括每个搜索的终端的 IP地址及编码。 |
[0001] 本发明涉及信息化领域, 尤其涉及一种电商数据迁移系统及方法。
背景技术
[0002] 随着电子商务的快速发展, 人们越来越习惯于使用电子商务网站来购买商 品。
然而, 卖家在通过网络渠道赚取利润的同吋, 却无法通过现有的互联网信息来 进行预测以后的热销商品, 来达到赚取更多利润的目的。
[0003] 进一步地, 随着移动电商的发展, 现在越来越多的消费者都使用终端 (例如, 手机、 平板电脑等触摸屏的终端) 査看上网购物。 为了确保电商系统 (或网站 ) 的稳定, 电商系统 (或网站) 需要定期对电商数据进行迁移以进行备份防止 出现数据崩溃的情况。 然而, 现有的电商数据数据迁移吋, 若数据量庞大会大 大增加宽带费用。
技术问题
[0004] 本发明的主要目的在于提供一种电商数据迁移 系统及方法, 旨在解决基于现有 的电商系统中无法调用终端进行数据迁移的技 术问题。
问题的解决方案
技术解决方案
[0005] 为实现上述目的, 本发明提供了一种电商数据迁移系统, 运行于数据迁移设备 中, 所述数据迁移设备通过网络与第一数据库服务 器及第二数据库服务器通信 连接, 所述网络上通信连接有多个终端, 该系统包括:
[0006] 接收模块, 用于接收所述第一数据库服务器的数据迁移配 置文件;
[0007] 获取模块, 用于从所述数据迁移配置文件中获取所述第一 数据库服务器中待迁 移的电商数据数据的大小;
[0008] 搜索模块, 用于根据所述待迁移的电商数据数据的大小在 网络中搜索对应数量 的终端;
[0009] 集合模块, 用于将所有搜索的终端集合成一个集群; [0010] 发送模块, 用于发送所述数据迁移配置文件给集群中每一 个终端, 使得所述集 群中每一个终端在第一数据库服务器及第二数 据库服务器之间建立通信连接;
[0011] 通知模块, 用于通知所述第一数据库服务器将所述待迁移 的电商数据数据通过 所述搜索的终端发送至第二数据库服务器; 及
[0012] 所述通知模块, 还用于当集群中有终端处于闲置状态吋, 通知集群中处于闲置 状态的终端主动获取所述第一数据库服务器中 待迁移的电商数据数据并发生至 第二数据库服务器。
[0013] 另一发明, 本发明还提供一种电商数据迁移方法, 应用于数据迁移设备中, 其 特征在于, 所述数据迁移设备通过网络与第一数据库服务 器及第二数据库服务 器通信连接, 所述网络上通信连接有多个终端, 该方法包括如下步骤:
[0014] 接收所述第一数据库服务器的数据迁移配置文 件;
[0015] 从所述数据迁移配置文件中获取所述第一数据 库服务器中待迁移的电商数据数 据的大小;
[0016] 根据所述待迁移的电商数据数据的大小在网络 中搜索对应数量的终端;
[0017] 发送所述数据迁移配置文件给每一个搜索的终 端, 使得所述每一个搜索的终端 在第一数据库服务器及第二数据库服务器之间 建立通信连接; 及
[0018] 通知所述第一数据库服务器将所述待迁移的电 商数据数据通过所述搜索的终端 发送至第二数据库服务器。
发明的有益效果
有益效果
[0019] 本发明采用多个终端对电商数据进行数据迁移 , 利用终端所用的网络带宽, 节 省电商的带宽费用, 且数据迁移过程中, 能够动态地査看终端的状态, 最大限 度地利用终端进行数据迁移。
对附图的简要说明
附图说明
[0020] 图 1是本发明电商数据迁移系统的应用环境示意 ;
[0021] 图 2是本发明电商数据迁移系统的优选实施例的 块示意图;
[0022] 图 3是本发明电商数据迁移方法的优选实施例的 程图。 实施该发明的最佳实施例
本发明的最佳实施方式
[0023] 参照图 1所示, 图 1是本发明电商数据迁移系统的应用环境示意 。 本发明中的 电商数据迁移系统 30运行于数据迁移设备 3上。 所述数据迁移设备 3通过网络 2与 第一数据库服务器 1及第二数据库服务器 4通信连接。 所述数据迁移设备 3可以通 过网络 2访问所述第一数据库服务器 1 (或第二数据库服务器 4) , 并从所述第一 数据库服务器 1 (或第二数据库服务器 4) 获取各种类型的电商数据数据。 所述 电商数据数据包括, (例如, 用户名、 商品文字信息、 商品种类信息、 快递信 息、 仓储信息、 商品图片、 购物记录等等) 。
[0024] 所述第一数据库服务器 1安装有第一数据库 10, 其中, 所述数据库 10划分为多 个第一分区数据库 100, 例如 N个第一分区数据库 100, 每一个第一分区数据库 10 0分配有一个唯一的分区代码, 一个第一分区数据库 100存储一种类型的电商数 据数据。 例如, 第一分区数据库 A存储电商数据数据中的文本数据, 第一分区数 据库 B存储电商数据数据中的图像数据, 第一分区数据库 C存储电商数据数据中 的视频数据、 第一分区数据库 D存储电商数据数据中的网页数据。
[0025] 所述第一数据库服务器 1提供数据导入接口 (例如, 应用程序接口, Application Program Interface, API) , 接入该数据导入接口的设备或系统都可以从所 述第一 数据库服务器 1中的第一分区数据库 100获取电商数据数据。
[0026] 所述第二数据库服务器 4安装有第二数据库 40, 其中, 所述数据库 40划分为多 个第二分区数据库 400, 例如 N个第二分区数据库 400, 每一个第二分区数据库 40 0分配有一个唯一的分区代码, 一个第二分区数据库 400存储一种类型的电商数 据数据。 例如, 第二分区数据库 A1存储电商数据数据中的文本数据, 第二分区 数据库 B 1存储电商数据数据中的图像数据, 第二分区数据库 C1存储电商数据数 据中的视频数据、 第二分区数据库 D1存储电商数据数据中的网页数据。
[0027] 具体而言, 所述第二数据库服务器 4提供数据导入接口 (例如, 应用程序接口
, Application Program Interface, API) , 接入该数据导入接口的设备或系统都可 以从所述第二数据库服务器 4中获取电商数据数据。
[0028] 需要说明的是, 所述第二数据库服务器 4为所述第一数据库服务器 1的备用服务 器, 所述第一数据库服务器 1中的电商数据数据可以迁移至第二数据库服 器 4 中做备份。
[0029] 在本实施例中, 所述网络 2可以是有线通讯网络或无线通讯网络。 所述网络优 选为无线通讯网络, 包括但不限于, GSM网络、 GPRS网络、 CDMA网络、 TD-S CDMA网络、 WiMAM网络、 TD-LTE网络、 FDD-LTE网络等无线传输网络。 。
[0030] 进一步地, 所述数据迁移设备 3通过网络 2与多个终端 5通信连接, 用于通过所 述终端 5将第一数据库服务器 1中的电商数据数据迁移至第二数据库服务器 4中进 行备份。
[0031] 在本实施例中, 所述网络 2可以是有线通讯网络或无线通讯网络。 所述网络优 选为无线通讯网络, 包括但不限于, GSM网络、 GPRS网络、 CDMA网络、 TD-S CDMA网络、 WiMAM网络、 TD-LTE网络、 FDD-LTE网络等无线传输网络。
[0032] 所述数据迁移设备 3可以是, 但不限于, 智能手机、 平板电脑、 个人数字助理
(Personal Digital Assistant, PDA) 、 个人电脑、 电子看板等其它任意合适的终端 设备。
[0033] 所述终端 5可以是, 但不限于, 智能手机、 平板电脑、 个人数字助理 (Personal Digital Assistant, PDA) 、 个人电脑、 电子看板等其它任意合适的便携式触摸屏 电子设备。
[0034] 参照图 2所示, 是本发明电商数据迁移系统的优选实施例的模 块示意图。 在本 实施例中, 所述电商数据迁移系统 30应用于数据迁移设备 3。 该数据迁移设备 3 包括, 但不仅限于, 电商数据迁移系统 30、 存储单元 31、 处理单元 32、 及通讯 单元 33。
[0035] 所述的存储单元 31可以为一种只读存储单元 ROM, 电可擦写存储单元 EEPRO
M、 快闪存储单元 FLASH或固体硬盘等。
[0036] 所述的处理单元 32可以为一种中央处理器 (Central Processing Unit, CPU) 、 微控制器 (MCU) 、 数据处理芯片、 或者具有数据处理功能的信息处理单元。
[0037] 所述的通讯单元 33为一种具有远程通讯功能的通讯接口, 例如支持 GSM、 GPR
S、 WCDMA、 CDMA、 TD-SCDMA、 WiMAM、 TD-LTE、 FDD-LTE等无线通 讯技术的通讯接口, 支持 USB、 网线的有线通讯接口。 [0038] 所述电商数据迁移系统 30包括, 但不局限于, 接收模块 311、 获取模块 312、 搜 索模块 313、 集合模块 314 、 发送模块 315、 通知模块 316及判断模块 317, 本发明 所称的模块是指一种能够被所述数据迁移设备 3的处理单元 32执行并且能够完成 固定功能的一系列计算机程序指令段, 其存储在所述数据迁移设备 3的存储单元 31中。
[0039] 所述接收模块 311用于接收所述第一数据库服务器 1的数据迁移配置文件。 在本 实施例中, 所述数据迁移配置文件包括, 但不限于, 所述第一数据库服务器 1的 I P地址、 第一数据库服务器 1中每个第一分区数据 100的分区代码、 第一数据库服 务器 1中待迁移的电商数据数据的属性信息 (包括数据大小、 文件目录等信息) 、 第一数据库服务器 1的数据库配置文件 (例如, 数据库连接配置信息等) 、 所 述第二数据库服务器 4的 IP地址、 第二数据库服务器 4中每个第二分区数据 400的 分区代码、 第二数据库服务器 4的数据库配置文件 (例如, 数据库连接配置信息 等) 。 需要说明的是, 所述数据迁移配置文件可以预先保存于所述数 据迁移设 备 3中, 并定期更新所述数据迁移配置文件。
[0040] 所述获取模块 312用于从所述数据迁移配置文件中获取所述第 一数据库服务器 中待迁移的电商数据数据的大小。
[0041] 所述搜索模块 313用于根据所述待迁移的电商数据数据的大小 在网络 2中搜索对 应数量的终端 5。 所述待迁移的电商数据数据的大小与对应数量 的终端 5之间的 关系为: M=a*N/N0, 其中, N为所述待迁移的电商数据数据的大小, NO为设定 的单位数据大小 (例如, 2GB) , M为终端的数量, a为正整数常量。 此外, 所 述搜索模块 312发送网络广播至网络 2中, 若连接至网络 2上的终端 5接收到所述 网络广播并同意作为数据迁移的中间设备, 则该终端 5为搜索的终端。 例如, 若 终端 5接收到网络广播, 则终端 5会弹出一个询问对话框, 该询问对话框包括确 定按键及取消按键, 使用该终端 5的用户点击确定按键, 则表明该终端 5授权为 第一数据库服务器 1迁移数据的中间设备, 若使用该终端 5的用户点击取消按键 , 则表明该终端 5拒绝为第一数据库服务器 1迁移数据的中间设备。 为了避免终 端 5过高的拒绝率, 可以在网络广播中嵌入奖励信息, 例如, 若终端 5同意为迁 移数据的中间设备后, 可以发一个电子货币 (例如, 1元人民币的电子货币) 给 该终端 5。 此外, 也可以将用户的终端作为迁移数据的中间设备 。 为了避免影响 用户的工作及生活, 对第一数据库服务器 1的电商数据数据进行迁移吋, 设定在 晚上 12点之后至早上 4点之间进行。
[0042] 所述集合模块 314用于将所有搜索的终端 5集合成一个集群 (cluster) 。 具体地 说, 所述集合模块 314将所有搜索的终端 5集合成一个集群的方式如下: (1) 给 每个搜索的终端 5的分配一个编码; (2) 获取每个搜索的终端 5的 IP地址; (3) 创建一个集群配置文件并发送给每个搜索的终 端 5从而完成集群的创建, 所述集 群配置文件中包括每个搜索的终端 5的 IP地址及编码。 需要说明的是, 集群中两 个搜索的终端 5之间可以通信连接 (根据 IP地址及编码) 并进行数据交换, 当集 群中某一个终端 5无法直接将数据传输给第二数据库服务器 4吋, 该终端 5可以在 集群中通过另外一台终端 5将数据传输给第二数据库服务器 4。
[0043] 所述发送模块 315用于发送所述数据迁移配置文件给集群中每 一个终端 5, 使得 所述集群中每一个终端 5在第一数据库服务器 1及第二数据库服务器 4之间建立通 信连接。 所述集群中的终端 5接收到所述数据迁移配置文件后, 根据所述第一数 据库服务器 1的 IP地址与所述第一数据库服务器 1通信连接, 根据第一数据库服务 器 1的数据库配置文件访问所述第一分区数据库 100, 根据所述第二数据库服务 器 4的 IP地址与所述第二数据库服务器 4通信连接, 根据第二数据库服务器 4的数 据库配置文件访问所述第二分区数据库 400。
[0044] 所述通知模块 316用于通知所述第一数据库服务器 1将所述待迁移的电商数据数 据通过所述搜索的终端 5发送至第二数据库服务器 4。 具体地说, 所述通知模块 3 16通知所述第一数据库服务器 1将从第一分区数据库 100中的文本数据通过搜索 的终端 5转移至第二分区数据库 A1存储。
[0045] 所述判断模块 317用于判断集群中是否有终端 5均处于闲置状态。 具体地说, 所 述判断模块 317对集群中的每一个终端 5进行检测, 判断终端 5是否在传输电商数 据数据 (例如, 通过获取集群中终端运行的相关线程来判断) , 若集群中有终 端 5没有传输电商数据数据, 则该终端 5处于闲置状态。
[0046] 所述通知模块 316还用于当集群中有终端 5处于闲置状态吋, 通知集群中处于闲 置状态的终端 5主动获取所述第一数据库服务器 1中待迁移的电商数据数据并发 生至第二数据库服务器 4。
[0047] 参照图 3所示, 是本发明电商数据迁移方法的优选实施例的流 程图。 在本实施 例中, 所述的电商数据迁移方法应用于数据迁移设备 3, 该方法包括以下步骤:
[0048] 步骤 S11 : 所述接收模块 311接收所述第一数据库服务器 1的数据迁移配置文件 。 在本实施例中, 所述数据迁移配置文件包括, 但不限于, 所述第一数据库服 务器 1的 IP地址、 第一数据库服务器 1中每个第一分区数据 100的分区代码、 第一 数据库服务器 1中待迁移的电商数据数据的属性信息 (包括数据大小、 文件目录 等信息) 、 第一数据库服务器 1的数据库配置文件 (例如, 数据库连接配置信息 等) 、 所述第二数据库服务器 4的 IP地址、 第二数据库服务器 4中每个第二分区数 据 400的分区代码、 第二数据库服务器 4的数据库配置文件 (例如, 数据库连接 配置信息等) 。 需要说明的是, 所述数据迁移配置文件可以预先保存于所述数 据迁移设备 3中, 并定期更新所述数据迁移配置文件。
[0049] 步骤 S12: 所述获取模块 312从所述数据迁移配置文件中获取所述第一数 据库服 务器中待迁移的电商数据数据的大小。
[0050] 步骤 S13: 所述搜索模块 313根据所述待迁移的电商数据数据的大小在网 络 2中 搜索终端 5。 所述待迁移的电商数据数据的大小与对应数量 的终端 5之间的关系 为: M=a*N/N0, 其中, N为所述待迁移的电商数据数据的大小, NO为设定的单 位数据大小 (例如, 1GB) , M为终端的数量, a为正整数常量。 此外, 所述搜 索模块 312发送网络广播至网络 2中, 若连接至网络 2上的终端 5接收到所述网络 广播并同意作为数据迁移的中间设备, 则该终端 5为搜索的终端。 例如, 若终端 5接收到网络广播, 则终端 5会弹出一个询问对话框, 该询问对话框包括确定按 键及取消按键, 使用该终端 5的用户点击确定按键, 则表明该终端 5授权为第一 数据库服务器 1迁移数据的中间设备, 若使用该终端 5的用户点击取消按键, 则 表明该终端 5拒绝为第一数据库服务器 1迁移数据的中间设备。 为了避免终端 5过 高的拒绝率, 可以在网络广播中嵌入奖励信息, 例如, 若终端 5同意为迁移数据 的中间设备后, 可以发一个电子货币 (例如, 1元人民币的电子货币) 给该终端 5。 此外, 也可以将用户的终端作为迁移数据的中间设备 。 为了避免影响用户的 工作及生活, 对第一数据库服务器 1的电商数据数据进行迁移吋, 设定在晚上 12 点之后至早上 4点之间进行。
[0051] 步骤 S14: 所述集合模块 314将所有搜索的终端 5集合成一个集群 (cluster) 。 具 体地说, 所述集合模块 314将所有搜索的终端 5集合成一个集群的方式如下: (1 ) 给每个搜索的终端 5的分配一个编码; (2) 获取每个搜索的终端 5的 IP地址; (3) 创建一个集群配置文件并发送给每个搜索的终 端 5从而完成集群的创建, 所述集群配置文件中包括每个搜索的终端 5的 IP地址及编码。 需要说明的是, 集 群中两个搜索的终端 5之间可以通信连接 (根据 IP地址及编码) 并进行数据交换 , 当集群中某一个终端 5无法直接将数据传输给第二数据库服务器 4吋, 该终端 5 可以在集群中通过另外一台终端 5将数据传输给第二数据库服务器 4。
[0052] 步骤 S15: 所述发送模块 314发送所述数据迁移配置文件给集群中每一个 终端 5 , 使得所述集群中每一个终端 5在第一数据库服务器 1及第二数据库服务器 4之间 建立通信连接。 所述集群中的终端 5接收到所述数据迁移配置文件后, 根据所述 第一数据库服务器 1的 IP地址与所述第一数据库服务器 1通信连接, 根据第一数据 库服务器 1的数据库配置文件访问所述第一分区数据库 100, 根据所述第二数据 库服务器 4的 IP地址与所述第二数据库服务器 4通信连接, 根据第二数据库服务器 4的数据库配置文件访问所述第二分区数据库 400。
[0053] 步骤 S16: 所述通知模块 316通知所述第一数据库服务器 1将所述待迁移的电商 数据数据通过所述搜索的终端 5发送至第二数据库服务器 4。 具体地说, 所述通 知模块 316通知所述第一数据库服务器 1将从第一分区数据库 100中的文本数据通 过搜索的终端 5转移至第二分区数据库 A1存储。
[0054] 步骤 S17: 所述判断模块 317判断集群中是否有终端 5均处于闲置状态。 具体地 说, 所述判断模块 317对集群中的每一个终端 5进行检测, 判断终端 5是否在传输 电商数据数据 (例如, 通过获取集群中终端运行的相关线程来判断) , 若集群 中有终端 5没有传输电商数据数据, 则该终端 5处于闲置状态。 若集群中有终端 5 均处于闲置状态, 流程进入步骤 S18。 否则, 若集群中没有终端 5处于闲置状态 , 重复执行步骤 S17。
[0055] 步骤 S18: 所述通知模块 316通知集群中处于闲置状态的终端 5主动获取所述第 一数据库服务器 1中待迁移的电商数据数据并发生至第二数据 服务器 4。 工业实用性
本发明采用多个终端对电商数据进行数据迁移 , 利用终端所用的网络带宽, 节 省电商的带宽费用, 且数据迁移过程中, 能够动态地査看终端的状态, 最大限 度地利用终端进行数据迁移。