【摘要】 本发明涉及一种基于光学字符识别与垂直的自定义爬虫方法，其特点是：采用光学字符识别与垂直的自定义爬虫相结合，包括自动化爬虫配置阶段与程序执行阶段。这样，可以有效减少程序的维护成本和提高数据获取的灵活性。并且，将本发明的内容实施到引擎的相关程序执行上后，可以有效提升程序的运行工作效率，进而优化过程，为使用者和实施者均带来了便利性。 【专利类型】发明申请 【申请人】同程网络科技股份有限公司 【申请人类型】企业 【申请人地址】215021 江苏省苏州市工业园区星湖街328号创意产业园5栋 【申请人地区】中国 【申请人城市】苏州市 【申请人区县】吴中区 【申请号】CN201210204733.8 【申请日】2012-06-20 【申请年份】2012 【公开公告号】CN103514171A 【公开公告日】2014-01-15 【公开公告年份】2014 【授权公告号】CN103514171B 【授权公告日】2016-08-03 【授权公告年份】2016.0 【IPC分类号】G06F17/30 【发明人】王专; 吴志祥; 张海龙; 马和平; 吴剑; 郭凤林; 王晓钟; 庞绍进 【主权项内容】1.基于光学字符识别与垂直的自定义爬虫方法，其特征在于：包括自动化爬虫配置阶段与程序执行阶段，所述自动化爬虫配置阶段包括以下步骤，步骤①，根据网页是否需要登录浏览来判断是否需要配置登录，需要登录则进入步骤②，不需要登录则进入步骤③；步骤②，配置登录信息，并配置验证码图片获取规则；步骤③，配置起始页URL与相关规则；步骤④，判断标识是否终页，若是则终页执行步骤⑦，若不是则进入步骤⑤；步骤⑤，配置下一页URL获取规则；步骤⑥，配置URL有效数据抽取规则，进入步骤④；步骤⑦，配置以上步骤中抽取的有效数据的整合；步骤 ，配置步骤⑦整合数据的存储设置；步骤，保存自动化爬虫配置信息；程序执行阶段包括以下步骤：步骤①，程序读取自动化爬虫配置信息；步骤②，根据自动化爬虫配置信息登录相关配置判断是否需要进行登录，需要登录则进入步骤③，不需要则进入步骤⑦；步骤③，根据自动化爬虫配置信息中包含的验证码配置判断是否需要验证码识别，需要验证码识别则进入步骤④，否则进入步骤⑥；步骤④，服务器下载验证码图片；步骤⑤，图片数据发送到光学字符识别服务器，该服务器读取图片信息并返回；步骤⑥，尝试登陆，若登陆成功则进入步骤⑦，否则进入步骤；步骤⑦，取出起始页的URL；步骤，访问给定的URL；步骤，按照相应URL的配置信息抽取此URL网页中的有效数据，有数据既为想要的内容；步骤，判断当前页面是不是终页，若是则进入步骤，若不是则进入步骤；步骤按照相应URL的配置信息获取下一层的URL，进入步骤；步骤，整合以上步骤抽取的数据。 【当前权利人】同程网络科技股份有限公司 【当前专利权人地址】江苏省苏州市工业园区星湖街328号创意产业园5栋 【专利权人类型】股份有限公司 【统一社会信用代码】91320000758957666N 【引证次数】3.0 【被引证次数】13 【他引次数】3.0 【被他引次数】13.0 【家族引证次数】3.0 【家族被引证次数】13

未经允许不得转载：http://www.zhongzhencnc.com/1790522458.html