【摘要】 本发明公开了一种基于循环策略的深层网页数据获取方法。本发明提出使用循环策略分多次完成对所有数据源的数据获取，当获取某一数据源的效率下降到某一阈值时，停止当前数据源的数据获取，爬虫开始获取下一个数据源的数据，依次类推直到把所有待集成数据源都获取一遍；然后再重复上述过程，直到所有待集成数据源都已达到结束条件。本发明使一部分应该从一些数据源数据获取后期获得的数据，从另一些数据源数据获取的前期或中期获得。与传统一次性穷尽数据获取方法相比，本发明能减少数据源后期的数据获取，降低了数据获取的代价，同时也能减少重复数据的获取，降低数据集成的代价。 【专利类型】发明授权 【申请人】江苏省现代企业信息化应用支撑软件工程技术研发中心 【申请人类型】科研单位 【申请人地址】215104 江苏省苏州市国际教育园致能大道106号 【申请人地区】中国 【申请人城市】苏州市 【申请人区县】吴中区 【申请号】CN201210151881.8 【申请日】2012-05-16 【申请年份】2012 【公开公告号】CN102682125B 【公开公告日】2014-03-19 【公开公告年份】2014 【授权公告号】CN102682125B 【授权公告日】2014-03-19 【授权公告年份】2014.0 【IPC分类号】G06F17/30 【发明人】鲜学丰; 崔志明; 杨元峰; 赵朋朋; 梁颖红 【主权项内容】一种基于循环策略的深层网页数据获取方法，其特征在于，包括以下步骤 : 步骤一、分别对多个同一领域的数据源中的每一个数据源预设多个不同的查询关键词; 步骤二、依次对每一个数据源进行数据获取，其中，当对所述多个数据源中的第一个数据源进行数据获取时，计算当前数据源中的各查询关键词的查询效率，并按照查询效率对当前数据源中的查询关键词进行排序，根据查询效率从大到小的顺序依次选择各查询关键词对当前数据源进行一次又一次的数据获取，直到所述当前数据源的连续进行的α次数据获取的新数据获取率均不大于一新数据获取率阈值，则中止对当前数据源的数据获取，并对当前数据源的下一个数据源进行数据获取，直到最后一个数据源达到中止; 步骤三、检验所述多个数据源的数据获取是否均满足预设结束条件，如果不满足，则重复步骤一，直至所述多个数据源的数据获取均满足预设结束条件，其中，当对所述多个数据源中的任一个数据源满足预设结束条件时，则结束对该数据源的数据获取。 【当前权利人】江苏省现代企业信息化应用支撑软件工程技术研发中心 【当前专利权人地址】江苏省苏州市国际教育园致能大道106号 【统一社会信用代码】123205004669580938 【引证次数】3.0 【他引次数】3.0 【家族引证次数】3.0 【家族被引证次数】2

未经允许不得转载：http://www.zhongzhencnc.com/1790485330.html