【摘要】 本发明公开一种基于URL字符串信息学习的主题爬虫系统的实现方法，首先，改进了传统的主题爬虫的相关度判断方法，提出了基于URL字符串信息、网页内容、锚信息去判断目标URL与主题相关度的方法，并采用机器学习对URL字符串携带的信息不断学习，动态的更新主题相关向量，提高了目标URL主题相关度判断的准确性。最后，在不增加计算复杂度的同时，利用内容分析和链接分析相结合的爬虫策略，防止了主题爬虫陷入局部最优，提高了爬虫爬取时的全局性，改善了爬虫的效率。本发明可以用于垂直引擎中爬虫模块用于爬取特定领域的网页。 【专利类型】发明授权 【申请人】杭州电子科技大学 【申请人类型】学校 【申请人地址】310018 浙江省杭州市下沙高教园区2号大街 【申请人地区】中国 【申请人城市】杭州市 【申请人区县】上城区 【申请号】CN201210052902.0 【申请日】2012-03-02 【申请年份】2012 【公开公告号】CN102662954B 【公开公告日】2014-08-13 【公开公告年份】2014 【授权公告号】CN102662954B 【授权公告日】2014-08-13 【授权公告年份】2014.0 【IPC分类号】G06F17/30 【发明人】徐向华; 任祖杰; 万健; 殷昱煜; 胡昔祥 【主权项内容】1.一种基于URL字符串信息学习的主题爬虫系统的实现方法，其特征在于：基于URL字符串信息、网页内容、锚信息去判断目标URL与主题相关度，采用机器学习对URL字符串携带的信息不断学习，动态的更新主题相关向量，利用内容分析和链接分析相结合的爬虫策略；其具体步骤为： 步骤1.选择种子URL：依据给定的主题，结合机器学习和人工选择，选定与主题相关的K个网页的URL作为种子URL，网页下载器从选定的种子URL开始下载网页； 步骤2.分析下载页面：网页分析器对下载的网页内容和链接进行分析，提取网页的URL字符串信息、网页内容、锚信息； 步骤3.主题相关度计算：根据URL字符串信息、网页内容、锚信息进行主题相关度计算； 步骤4.过滤不相关网页：根据主题相关度，把低于主题相关度某个阀值的URL过滤掉； 步骤5.URL字符串信息学习：URL字符串信息学习的基本过程是，先从给定网页的URL中得到一个训练数据集；URL字符串信息学习部分利用选取的学习算法对已经下载的网页URL字符串信息进行学习，得到一个主题知识库，主题知识库去指导URL主题相关度的计算，URL主题相关度的值再反馈给URL字符串信息学习部分从而去指导URL字符串信息的学习，经过URL字符串信息学习后，再去更新主题知识库，以便进一步学习，改进系统的性能；具体是： 1)训练数据：取100个网页，对这100个网页的URL进行训练，得出两个样本，样本1是与主题相关的URL集合，样本2是与主题不相关的URL集合； 2)数据处理：对样本中的URL进行分割提取处理，得到一系列的词语，样本1中得到的是与主题相关词语，给每个词语一个权重，形成一个主题相关性词库，样本2中得到的是与主题不相关的词语，给他们初始权重为0，形成一个主题无关性词库；另外再建个学习词库，用来记录URL字符串信息学习得来的与主题相关词语和与主题相关词语出现次数； 3)URL相关度反馈学习： (3-1)当Score(URL)小于等于阈值的最小值时，把对应的词组加入主题无关性词库，同时更改这些词语的权重值，得到更新的权重 : New(wi)=0.5×old(wi)+0.5×Score(URL) (3) (3-2)当Score(URL)大于等于阈值的最大值时，把URL字符串的主题相关度传递给对应的词语作为权重，对该词语的处理如下： ①如果主题无关性词库有该词语，则不处理并丢弃该词语； ②如果主题无关性词库没有该词语，主题相关性词库里有，学习词库里没有，则更新主题相关性词库中该词语的权重，得到更新后的权重： New(wi)=0.5×old(wi)+0.5×Score(URL) (4) ③如果主题无关性词库没有该词语且学习词库和主题相关性词库都没有该词语，首先把该词语加入学习词库，并记录该词语出现次数为1，然后把该词语加入主题相关性词库，并把它的权重值的 作为该词语的新权重加入主题相关词库；得到该词语的权重： ④如果学习词库和主题相关性词库都有，首先查看学习词库中该词语出现的次数m，并把该词出现的次数加1； 当m>n时，得到更新的权重 : New(wi)=0.5×old(wi)+0.5×Score(URL) (6) 当m≤n时，得到更新的权重 : 其中式(4)(5)(6)(7)中的old(wi)是主题相关性词库中原有权重，Score(URL)是URL传递给词i的权重，New(wi)是该词语更新后的权重；上面式(5)和式(7)中的n是设定的阀值；式(5)和式(7)中 和 处理是为了减少误判，只有当学习词库中通过学习得到的词语达到n次的时候才充分判定它和主题相关，从而按式(6)中的方法去更新权重值，这样使学习得到的结果更精确； 4)主题知识库更新 为了使学习得到的结果更好，让主题相关性词库中尽量不包含与主题不相关的词语，主题无关性词库不包含与主题相关的词语；定时的对主题知识库进行处理，对主题相关性词库，分析主题相关性词库中每个词语的权重值，把权重值小于阈值s的词语从该词库中移除，这样进一步降低了把主题不相关的词语误判为主题相关词语的概率；对主题无关性词库，统计每个词语的权重，按其权重值的大小进行排名，把排名靠前的按一个比例阈值H删除，这样可以减少把那些主题相关词语误判为与主题不相关词语概率； 步骤6.确定待下载的URL队列：采用内容分析与链接分析相结合的爬虫策略，得出一个待下载的具有优先级的URL队列，具体是： 1)首先根据URL字符串信息、网页内容、锚信息去计算一个URL的主题相关度得到一个相关度值s0，滤除相关度值小于一个给定阈值的URL； 2)创建一个队列List，记录已经访问过的不同主机的URL的主机名； 3)当一个网页向外引出的与主题相关网页数大于一个阈值时，给它该网页URL一个奖励分数k0； 4)当一个网页主机名不在List队列中，就给该网页URL一个奖励分数k1，并把该网页的主机名加入List队列； 5)当一个网页的主机名与父网页的主机名不同，再给该网页URL一个奖励分数k2； 6)由1)-5)中得到一个URL的最终的得分为： s=s0+k0+k1+k2 (8) 7)根据6)中得到URL最终得分产生一个优先级队列，这个优先级队列指导着网络爬虫的爬行。 【当前权利人】杭州电子科技大学 【当前专利权人地址】浙江省杭州市下沙高教园区 【专利权人类型】公立 【统一社会信用代码】12330000470009026T 【引证次数】3.0 【他引次数】3.0 【家族引证次数】3.0 【家族被引证次数】32

未经允许不得转载：http://www.zhongzhencnc.com/1791481996.html