投稿QQ:
投稿电话:
投稿邮箱:dxjy2011@163.com

主管单位:广西教育学院

主办单位:广西教育学院杂志社

国际刊号:2095-3437

国内刊号:45-1387/G4

邮发代号:48-21

出版地方:广西

期刊级别:省级期刊

发行周期:半月刊

创刊时间:2012年

期刊开本:A4

见刊时间:1个月内

业务类型:期刊征订

当前位置:杂志首页 >> 收录简摘 >> 正文

基于主题网络爬虫的程序设计资源库建设研究

发表时间:2019年9月12日 浏览:34次
郑洪源

摘要:目前,在国内高校中程序设计课程的资源库建设工作尚未普及,大多数教学资源存在较为严重的老旧、重复等问题,难以满足师生日益增长的对大量新颖教学资源的需求。针对现在流行的网络爬虫框架进行分析和选择,在现有框架的基础上设计了一种适合资源库建设的爬虫系统,利用爬虫的自动化特性完成教学资源库的内容获取及入库工作。同时,选用Scrapyredis对爬虫进行拓展,利用Redis实现对目标网站资源的分布式爬取,提高获取资源的速度。选用SimHash算法对爬取到的资源内容进行相似度判别,过滤掉相似度过高的资源,完成对资源库的增量更新,提高获取到的资源的质量。经测试,研究的系统初步满足资源库建设的自动化需求,能够获取有效的教学资源。 

关键词:资源库; 网络爬虫; 分布式爬取; SimHash算法;

版权所有 【大学教育杂志社】官方网站 Copyright © 2018 www.dxjyzzs.com Inc.All Rights Reserved.

电话: 邮箱:dxjy2011@163.com 备案编号:冀ICP备180328128号-1号 您是第 159353 位访问者

本站所有文字及图片文责自负,并均受版权法保护,仅供学术交流与参考,未经同意,不得转载!