[0001] 本发明涉及信息化领域， 尤其涉及一种电商数据冗余处理系统及方法。

背景技术

[0002] 随着电子商务的快速发展， 人们越来越习惯于使用电子商务网站来购买商 品。

然而， 卖家在通过网络渠道赚取利润的同吋， 却无法通过现有的互联网信息来 进行预测以后的热销商品， 来达到赚取更多利润的目的。

[0003] 数据挖掘是指从存放在数据库、 数据仓库或其他信息库的大量数据中挖掘有效 知识的过程。 数据挖掘从大量数据中提取出隐含的、 有价值的和可理解的信息 ， 以指导人们的活动。 数据挖掘技术主要有关联规则， 分类规则， 聚类分析和 序列模式等等。

[0004] 进一步地， 现在越来越多的用户都使用移动终端 （例如， 手机、 平板电脑等触 摸屏的移动终端） 査看电商数据并存储电商数据， 导致电子商务平台保存多个 相同的电商数据， 如此造成电子商务平台电商平台上电商数据的 冗余。

技术问题

[0005] 本发明的主要目的在于提供一种电商数据冗余 处理系统及方法， 旨在解决对电 商平台上冗余的电商数据进行处理的技术问题 。

问题的解决方案

技术解决方案

[0006] 为实现上述目的， 本发明提供了一种电商数据冗余处理系统， 运行于电商平台 中， 所述电商平台通过网络与终端通信连接， 该系统包括：

[0007] 计算模块， 用于计算所述电商平台上每组电商数据的哈希 值；

[0008] 査找模块， 用于从计算的哈希值中査找相同的哈希值， 并将相同的哈希值归为 一组， 将每组中相同的哈希值及该组中相同的哈希值 对应的电商数据的存储路 径保存于一个哈希关联列表中；

[0009] 刪除模块， 用于在每一个哈希关联列表中选定一个存储路 径， 并刪除该哈希关 联列表中未选定的存储路径所对应的电商数据 ；

[0010] 修改模块， 用于在每一个哈希关联列表修改所刪除的电商 数据对应的标识； [0011] 接收模块， 用于接收终端发送过来的电商数据；

[0012] 所述计算模块， 还用于计算所述终端发送过来的电商数据的哈 希值；

[0013] 所述判断模块， 用于判断所述终端发送过来的电商数据的哈希 值是否有对应的 哈希关联列表；

[0014] 所述刪除模块， 还用于当所述终端发送过来的电商数据的哈希 值有对应的哈希 关联列表， 刪除所述终端发送过来的电商数据； 及

[0015] 保存模块， 用于当所述终端发送过来的电商数据的哈希值 没有对应的哈希关联 列表， 将所述终端发送过来的电商数据保存于电商平 台中。

[0016] 优选的， 所述哈希关联列表包括四个栏位， 所述四个栏位分别为文件名、 哈希 值、 存储路径及标识。

[0017] 优选的， 所述计算模块计算所述电商平台上每组电商数 据的哈希值的方式如下 ： 遍历电商平台上的电商数据， 并通过哈希算法计算每组电商数据的哈希值。

[0018] 优选的， 所述计算模块通过哈希算法计算所述电商平台 上每组电商数据的哈希 值， 其中， 所述哈希算法为 MD5算法。

[0019] 优选的， 所述判断模块判断所述终端发送过来的电商数 据的哈希值是否有对应 的哈希关联列表的方式如下： 判断电商平台中是否有哈希关联列表包含所述 终 端发送过来的电商数据的哈希值， 若电商平台中有一个哈希关联列表包含所述 终端发送过来的电商数据的哈希值， 则该哈希关联列表为所述终端发送过来的 电商数据的哈希值对应的哈希关联列表。

[0020] 另一方面， 本发明还提供一种电商数据冗余处理方法， 应用于电商平台中， 所 述电商平台通过网络与终端通信连接， 该方法包括如下步骤：

[0021] 计算所述电商平台上每组电商数据的哈希值；

[0022] 从计算的哈希值中査找相同的哈希值， 并将相同的哈希值归为一组， 将每组中 相同的哈希值及该组中相同的哈希值对应的电 商数据的存储路径保存于一个哈 希关联列表中；

[0023] 在每一个哈希关联列表中选定一个存储路径， 并刪除该哈希关联列表中未选定 的存储路径所对应的电商数据；

[0024] 在每一个哈希关联列表修改所刪除的电商数据 对应的标识；

[0025] 接收终端发送过来的电商数据；

[0026] 计算所述终端发送过来的电商数据的哈希值；

[0027] 当所述终端发送过来的电商数据的哈希值有对 应的哈希关联列表， 刪除所述终 端发送过来的电商数据； 及

[0028] 当所述终端发送过来的电商数据的哈希值没有 对应的哈希关联列表， 将所述终 端发送过来的电商数据保存于电商平台中。

[0029] 优选的， 所述哈希关联列表包括四个栏位， 所述四个栏位分别为文件名、 哈希 值、 存储路径及标识。

[0030] 优选的， 所述计算所述电商平台上每组电商数据的哈希 值的步骤包括如下步骤 ： 遍历电商平台上的电商数据， 并通过哈希算法计算每组电商数据的哈希值。

[0031] 优选的， 所述电商平台上每组电商数据的哈希值通过哈 希算法计算， 其中， 所 述哈希算法为 MD5算法。

[0032] 优选的， 所述判断所述终端发送过来的电商数据的哈希 值是否有对应的哈希关 联列表的步骤包括如下步骤： 判断电商平台中是否有哈希关联列表包含所述 终 端发送过来的电商数据的哈希值， 若电商平台中有一个哈希关联列表包含所述 终端发送过来的电商数据的哈希值， 则该哈希关联列表为所述终端发送过来的 电商数据的哈希值对应的哈希关联列表。 。

发明的有益效果

有益效果

[0033] 本发明采用哈希值比对的方式寻找相同的电商 数据， 并刪除重复的电商数据， 降低了电商平台的冗余。

对附图的简要说明

附图说明

[0034] 图 1是本发明电商数据冗余处理系统的应用环境� �意图；

[0035] 图 2是本发明电商数据冗余处理系统的优选实施� �的模块示意图；

[0036] 图 3是本发明电商数据冗余处理方法的优选实施� �的流程图； [0037] 图 4是本发明哈希关联列表的示意图。

实施该发明的最佳实施例

本发明的最佳实施方式

[0038] 参照图 1所示， 图 1是本发明电商数据冗余处理系统的应用环境� �意图。 本发明 中的电商数据冗余处理系统 30运行于电商平台 3上。 所述电商平台 3通过网络 2与 多个终端 1通信连接。 所述电商平台 3上存储有各种类型的电商数据 （例如， 用 户名、 商品文字信息、 商品种类信息、 快递信息、 仓储信息、 商品图片、 购物 记录等等） 。 需要说明的是， 所述电商平台 3存储的电商数据是按照吋间及地点 等分类， 分为多组数据， 例如， 每一秒生成的数据归为一组数据。 所述电商平 台 3为多个服务器组成的集群。

[0039] 在本实施例中， 所述网络 2可以是有线通讯网络或无线通讯网络。 所述网络优 选为无线通讯网络， 包括但不限于， GSM网络、 GPRS网络、 CDMA网络、 TD-S CDMA网络、 WiMAX网络、 TD-LTE网络、 FDD-LTE网络等无线传输网络。 。

[0040] 所述终端 1可以是， 但不限于， 智能手机、 平板电脑、 个人数字助理 （Personal Digital Assistant, PDA) 、 个人电脑、 电子看板等其它任意合适的便携式触摸屏 电子设备。 所述终端 1用于通过网络 2访问所述电商平台 3， 并获取电商平台 3上 的电商数据。 所述终端 1还用于产生电商数据， 并将所述产生的电商数据发送至 电商平台 3保存。

[0041] 参照图 2所示， 是本发明电商数据冗余处理系统的优选实施例 的模块示意图。

在本实施例中， 所述电商数据冗余处理系统 30应用于电商平台 3。 该电商平台 3 包括， 但不仅限于， 电商数据冗余处理系统 30、 存储单元 31、 处理单元 32、 及 通讯单元 33。

[0042] 所述的存储单元 31可以为一种只读存储单元 ROM, 电可擦写存储单元 EEPRO

M、 快闪存储单元 FLASH或固体硬盘等。

[0043] 所述的处理单元 32可以为一种中央处理器 （Central Processing Unit, CPU) 、 微控制器 （MCU) 、 数据处理芯片、 或者具有数据处理功能的信息处理单元。

[0044] 所述的通讯单元 33为一种具有远程通讯功能的通讯接口， 例如支持 GSM、 GPR

S、 WCDMA、 CDMA、 TD-SCDMA、 WiMAX、 TD-LTE、 FDD-LTE等无线通 ifl 技术的通讯接口， 支持 USB、 网线的有线通讯接口。

[0045] 所述电商数据冗余处理系统 30包括， 但不局限于， 计算模块 311、 査找模块 312 、 刪除模块 313、 修改模块 314、 接收模块 315、 判断模块 316及保存模块 317， 本 发明所称的模块是指一种能够被所述电商平台 3的处理单元 32执行并且能够完成 固定功能的一系列计算机程序指令段， 其存储在所述电商平台 3的存储单元 31中

[0046] 所述计算模块 311用于计算电商平台 3上每组电商数据的哈希值。 具体地说， 所 述计算模块 311遍历电商平台 3上的电商数据， 并通过哈希算法计算每组电商数 据的哈希值。

[0047] 所述査找模块 312用于从计算的哈希值中査找相同的哈希值， 并将相同的哈希 值归为一组， 将每组中相同的哈希值及该组中相同的哈希值 对应的电商数据的 存储路径保存于一个哈希关联列表中。 一般而言， 由于哈希值的唯一性， 若査 找到相同的哈希值， 表明电商平台 3中存在相同的电商数据。 在本实施例中， 所 述哈希关联列表包括多个相同的哈希值及每个 哈希值对应电商数据的存储路径 。 需要说明的是， 所述哈希关联列表中的哈希值都是相同的。 所述电商平台 3中 有多组相同的电商数据， 则所述査找模块 312获得多组相同的哈希值并对每组相 同的哈希值生成一个哈希关联列表。 如图四所示， 所述哈希关联列表至少包括 四个栏位， 所述四个栏位分别为文件名 （表示电商数据的名称） 、 哈希值 （表 示电商数据的哈希值） 、 存储路径 （表示电商数据在电商平台 3上的存储路径） 及标识 （表示电商数据是否保留于电商平台 3中， 其中， Y表示保留， N表示刪除 ) 。 进一步地， 为了方便起见， 图 4中的字母 B仅仅是代指哈希值， 并不表示哈 希值为 B， 而图 4中的字母 T1至 T9也仅仅是代指存储路径， 并不表示 T1至 T9为存 储路径。

[0048] 所述刪除模块 313用于在每一个哈希关联列表中选定一个存储 路径， 并刪除该 哈希关联列表中未选定的存储路径所对应的电 商数据。 在本实施例中， 所述刪 除模块 313选定存储路径 Tl， 并在电商平台 3中刪除其余存储路径为 Τ2至 Τ9对应 的电商数据。

[0049] 所述修改模块 314用于在每一个哈希关联列表修改所刪除的电 商数据对应的标 识。 具体地说， 如图 4所示， 所述修改模块 314将哈希关联列表中 T2至 T9对应的 标识从 Y修改为 N。

[0050] 所述接收模块 315用于接收终端 1发送过来的电商数据。 所述终端 1发送过来的 电商数据的哈希值暂存于电商平台 3的内存中。

[0051] 所述计算模块 311还用于计算所述终端 1发送过来的电商数据的哈希值。

[0052] 所述判断模块 316用于判断所述终端 1发送过来的电商数据的哈希值是否有对应 的哈希关联列表。 所述判断模块 316通过所述终端 1发送过来的电商数据的哈希 值进行査询， 判断是否有哈希关联列表包含所述终端 1发送过来的电商数据的哈 希值， 若电商平台 3中有一个哈希关联列表包含所述终端 1发送过来的电商数据 的哈希值， 则该哈希关联列表为所述终端 1发送过来的电商数据的哈希值对应的 哈希关联列表。

[0053] 所述刪除模块 313用于当所述终端 1发送过来的电商数据的哈希值有对应的哈希 关联列表， 刪除所述终端 1发送过来的电商数据。 所述终端 1发送过来的电商数 据的哈希值从所述电商平台 3的内存中刪除。

[0054] 所述保存模块 317用于当所述终端 1发送过来的电商数据的哈希值没有对应的哈 希关联列表， 将所述终端 1发送过来的电商数据保存于电商平台 3中。 所述终端 1 发送过来的电商数据的哈希值保存于电商平台 3的存储单元 31中或数据库 （图中 未示出） 中。

[0055] 参照图 3所示， 是本发明电商数据冗余处理方法的优选实施例 的流程图。 在本 实施例中， 所述的电商数据冗余处理方法应用于电商平台 3， 该方法包括以下步 骤：

[0056] 步骤 S11 : 所述计算模块 311计算电商平台 3上每组电商数据的哈希值。 具体地 说， 所述计算模块 311遍历电商平台 3上的电商数据， 并通过哈希算法计算每组 电商数据的哈希值。

[0057] 步骤 S12: 所述査找模块 312从计算的哈希值中査找相同的哈希值， 并将相同的 哈希值归为一组， 将每组中相同的哈希值及该组中相同的哈希值 对应的电商数 据的存储路径保存于一个哈希关联列表中。 一般而言， 由于哈希值的唯一性， 若査找到相同的哈希值， 表明电商平台 3中存在相同的电商数据。 在本实施例中 ， 所述哈希关联列表包括多个相同的哈希值及每 个哈希值对应电商数据的存储 路径。 需要说明的是， 所述哈希关联列表中的哈希值都是相同的。 所述电商平 台 3中有多组相同的电商数据， 则所述査找模块 312获得多组相同的哈希值并对 每组相同的哈希值生成一个哈希关联列表。 如图四所示， 所述哈希关联列表至 少包括四个栏位， 所述四个栏位分别为文件名 （表示电商数据的名称） 、 哈希 值 （表示电商数据的哈希值） 、 存储路径 （表示电商数据在电商平台 3上的存储 路径） 及标识 （表示电商数据是否保留于电商平台 3中， 其中， Y表示保留， N表 示刪除） 。 进一步地， 为了方便起见， 图 4中的字母 B仅仅是代指哈希值， 并不 表示哈希值为 B， 而图 4中的字母 T1至 T9也仅仅是代指存储路径， 并不表示 T1至 T9为存储路径。

[0058] 步骤 S13: 所述刪除模块 313在每一个哈希关联列表中选定一个存储路径 ， 并刪 除该哈希关联列表中未选定的存储路径所对应 的电商数据。 在本实施例中， 所 述刪除模块 313选定存储路径 Tl， 并在电商平台 3中刪除其余存储路径为 Τ2至 Τ9 对应的电商数据。

[0059] 步骤 S14: 所述修改模块 314在每一个哈希关联列表修改所刪除的电商数 据对应 的标识。 具体地说， 如图 4所示， 所述修改模块 314将哈希关联列表中 Τ2至 Τ9对 应的标识从 Υ修改为 Ν。

[0060] 步骤 S15: 所述接收模块 315接收终端 1发送过来的电商数据。 所述终端 1发送过 来的电商数据的哈希值暂存于电商平台 3的内存中。

[0061] 步骤 S16: 所述计算模块 311计算所述终端 1发送过来的电商数据的哈希值。

[0062] 步骤 S17: 所述判断模块 316判断所述终端 1发送过来的电商数据的哈希值是否 有对应的哈希关联列表。 所述判断模块 316通过所述终端 1发送过来的电商数据 的哈希值进行査询， 判断是否有哈希关联列表包含所述终端 1发送过来的电商数 据的哈希值， 若电商平台 3中有一个哈希关联列表包含所述终端 1发送过来的电 商数据的哈希值， 则该哈希关联列表为所述终端 1发送过来的电商数据的哈希值 对应的哈希关联列表。 若所述终端 1发送过来的电商数据的哈希值有对应的哈希 关联列表， 流程进入步骤 S18， 否则， 若所述终端 1发送过来的电商数据的哈希 值没有对应的哈希关联列表， 则流程进入步骤 S19。 [0063] 步骤 S18: 所述刪除模块 313刪除所述终端 1发送过来的电商数据。 所述终端 1发 送过来的电商数据的哈希值从所述电商平台 3的内存中刪除。

[0064] 步骤 S19: 所述保存模块 317将所述终端 1发送过来的电商数据保存于电商平台 3 中。 所述终端 1发送过来的电商数据的哈希值保存于电商平� � 3的存储单元 31中 或数据库 （图中未示出） 中。

工业实用性

[0065] 本发明采用哈希值比对的方式寻找相同的电商 数据， 并刪除重复的电商数据， 降低了电商平台的冗余。