本课题主要研究基于 B/S 结构的web漏洞检测与修复系统中网络爬虫与网页排序的算法设计。通过分析图的遍历、聚类算法、网络爬虫和网页排序，本文设计了基于链接聚类的最佳优先遍历策略和基于超文本内容改进的PageRank算法。两个算法的作用分别是进行网站主题网页抓取和主题网页排序工作，以实现复杂网站的漏洞检测。

测试结果表明，设计的算法实现网站遍历和网页排序的效果是较好的。

本论文中，主要进行了如下的工作：

①第一，本文分析了图的遍历和聚类相关算法，总结了网络爬虫与网页排序原理，比较了通用网络爬虫与主题网络爬虫的优缺点；

②第二，本文详细分析了最佳优先遍历和网页排序的算法思想，设计了基于链接聚类的最佳优先遍历算法和基于超文本内容改进的 PageRank 算法，介绍了所设计算法的特点与算法流程。

③第三，本文将所设计的算法在漏洞检测系统上进行模拟测试，并对结果进行了分析与评价。

④第四，本文对主题爬虫和网页排名算法进行了总结并提出展望。

本文针对web漏洞检测系统扫描网站的需要，进行了超链接聚类和超文本内容研究，分析了图的遍历、聚类算法、网络爬虫和网页排序等原理，设计了基于链接聚类的最佳优先遍历策略和基于超文本内容改进的PageRank 算法，用于漏洞检测系统爬虫模块主题网页的抓取和网页排名。

实验测试结果表明：最佳优先遍历策略过滤了大量的无关网页，抓取效率是较高的；网页排名算法则因每个网页的漏洞数较少没有体现出明显的优势。总体上看，两个算法的设计达到了预期效果。然而，本文所设计的算法主要针对web漏洞检测系统，没有进行相应地扩展，具有一定的极限性。算法是通过一台服务器进行网页抓取和排名的，在执行效率上易受硬件设备性能和网络速度等条件限制。因此，在允许的情况下，分布式网络爬虫会是未来的方向。同时，如果更进一步地优化两个算法，将所设计的算法用在搜索引擎中并且建立完备的索引库，则可以发挥算法更大的作用。