一种分布式数据处理方法及装置[发明专利]

来源：爱go旅游网

专利内容由知识产权出版社提供

专利名称：一种分布式数据处理方法及装置专利类型：发明专利发明人：邓怡豪

申请号：CN201611178256.7申请日：20161219公开号：CN106776026A公开日：20170531

摘要：本发明公开了一种分布式数据处理方法及装置，涉及数据处理技术领域，该方法包括：将在同一数据集中的出现次数大于预设次数的键对应的数据确定为倾斜数据，将包含倾斜数据的数据集确定为倾斜数据集，将未包含倾斜数据的数据集确定为非倾斜数据集；根据预设的键标记集合，为倾斜数据集中的每个数据的原始键分别添加一个键标记；将非倾斜数据集进行扩容，根据键标记集合，为扩容后的非倾斜数据集中的每个数据的原始键分别添加一个键标记；按照预设的数据分配规则，将处理后的倾斜数据集以及处理后的非倾斜数据集中的各个数据分配给多台服务器进行分布式处理。由此可见，本发明使数据更加均匀地分配到服务器上，提高了分布式数据处理效率。

申请人：北京奇虎科技有限公司

地址：100088 北京市西城区新街口外大街28号D座112室(德胜园区)

国籍：CN

代理机构：北京市浩天知识产权代理事务所(普通合伙)

更多信息请下载全文后查看

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文