本文介绍了基于SSH2架构实现网络爬虫技术的研究和实现的设计。首先对系统设计要使用的关键技术Java、MySQL进行了介绍，并着重研究了系统需求，首先有后台视频和图片的抓取程序，然后展示视频以及图片等功能，对以及抓取过的Url进行查看，以及对抓取过后的Url进行分析整理、归类。在国内外有成熟的搜索引擎技术，但是他们全部都需要抓取，而我们只需要定位进行抓取，这样在国内外还基本上没有，所以说在市场上还比较大的。

......

本论文主要研究第一个搜索引擎方面的基本知识，以搜索引擎的基本实现为原理，对视频以及图片进行搜索。对以后大数据处理以及分析提供基础。提供对网上视频和图片的抓取功能，以及在前端展示功能 ，后端可以对图片和视频进行审核等等，在后期的话我们可以对视频做一个微电影的比赛等等来提高网站的知名度.同时后期的话还可以和公益想结合，为社会出更多的力.如果做的好的话，在移动端和PC端都可以结合起来，这样对网站就更进一步.

......

本文主要研究的内容

本次毕业设计以技术为中心，采用现阶段比较火热的技术，收索引擎技术，然而搜索引擎技术成就了很多大公司，比如说百度，腾讯，本论文主要介绍搜索引擎的流程以及简单的实现，主要是搜索视频和图片，同时也为后期做真正的搜索引擎做准备

门户网站建设

门户网站主要起到宣传的作用，是企业和用户的交互的窗口，让用户实时了解企业动态，建立良好的企业形象。 

门户网站的建设包括：门户前台和门户后台管理。

门户前台主要用于展示企业信息，有4大模块：首页模块，图片和视频列表模块，图片视频显示模块，菜单显示模块。

门户后台管理，用于门户管理员通过后台管理门户网站的各个栏目。

门户后台主要用于编辑门户信息，与门户前台对应有5大模块：添加图片视频模块界面，图片视频审核模块界面，制定搜索策略，以及焦点图管理模块. 

抓取算法实现

抓取算法用于在互联网上抓取图片或者视频的一系列，在过滤Url以及过滤重复视频或者图片，以及大数据的存储问题.主要采用LRU算法来实现过滤操作。