网络数据分析方法研究及软件开发
[关键词:数据分析] [热度 ]提示:此毕业设计论文完整版包含【论文】 作品编号:txgc0685,word全文:69页,合计:30000字 |
本论文主要工作如下:研究了网络用户行为的概念与体系,并在此基础上进行了用户分类;探讨了建立网络用户行为分析系统的步骤、框架和系统各模块的功能,以及网络用户行为分析过程中的一些常用方法;研究了网络用户行为分析系统的数据源,并结合Web数据挖掘方法提出了相应的处理方法;利用VC和SQL Server 2000开发了用于数据处理的软件;利用聚类和回归分析方法,研究了大学校园网中的Web日志数据。通过对Web日志数据的处理和分析提出了校园网用户访问行为模型,并根据院士的网络播存结构理论,对现有校园网络提出了相应的改革建议。
本文的意义及主要工作
在网络数据量快速增长的情况下,对Web服务器日志数据进行分析和处理,从中找出能够反映网络用户行为的有效信息具有重要意义。
本文重要通过数据挖掘技术对Web服务器的日志数据进行挖掘和分析。Web日志记录了用户对站点资源的访问,其中每一条记录一般包涵用户IP、访问时间、资源的URL等字段。大型网站的Web服务器每天可能会产生数百兆的Web访问日志。有效地对这些Web日志进行定量分析,揭示其中的关联关系、时序关系、页面类属关系、客户类属关系和频繁路径等,可以为优化网络和Web站点的组织结构提供参考。
本文的工作主要内容是:
(1)分析网络用户行为分析的步骤及体系框架,以及体系模型中各模块功能和相互之间的协作关系。
(2)对Web服务器的日志数据进行分析,从中找出有用信息。主要考虑数据的准确性和实时性。
(3)编写数据处理软件。
(4)对大学网络中心的Web服务器上的日志数据进行分析,提出一个基于用户行为的网络改革方案。
方案可行性分析
此方案的提出过程中,不仅考虑了目前的技术能力,也考虑到了当前校园网的组成情况,并按照节约资金的原则而提出,具有很高的可行性。
(1)目前,校园内已经铺设了宽带网和广播网,对校园网进行改革,不需要为布网再进行大量的财力投入,只是对原有网络结构进行改造,节约了资金。
(2)许多大型网站已经在各地建立了自己的镜像服务器,此技术对于播存结构中存储和及时更新网站内容具有重要意义。目前网站的同步更新技术已相当成熟。
(3)广播网中的组播和广播技术已经普及,并得到广泛应用。宽带数据广播服务器在市场上已有成熟产品。
(4)基于Web日志的用户行为分析研究已经开展,并取得一定成果。
当然次方案中也存在着不少难点。例如:用户接入模块的功能要求比较多,不仅要对用户访问网站的域名进行判断处理并进行转接,还要不断接收存储广播服务器的广播内容。因此,如何设计一个功能强大,能够满足用户和网络要求的网络接入模块成为此方案中的一个难点。
校园网改革方案
在李幼平院士播存结构的理论基础上,结合大学Web日志的分析结果,提出以下网络改革方案:
(1)网络改造
目前校内已经完成了结构化布线,互联网和广播网都已连接到大部份的建筑物内。例如:教室、试验室、图书馆、学生寝室以及教师宿舍等。许多房间内同时拥有互联网和广播网两个接入端口,因此利用现有的互联网和广播网可以十分方便地组成播存网络结构。
在校园网的播存结构中,需要专门设计一个用于连接互联网、广播网和用户的网络接入设备,此设备应当具有以下功能:
①能够接收和转发广播服务器的广播内容;能够将用户接入镜像服务器和Web服务器。
②能够分类存储广播服务器和镜像服务器中广播和存储的网站域名。
③能够对用户访问的网站域名进行判断,并行根据判断结果进行转接。
(2)定期分析Web日志
经研究用户访问网站的兴趣是动态变化的,因此需要对Web日志进行定期的分析,以便及时调整广播服务器中广播的网站和镜像服务器中存储网站的内容。
①网络改造前,应当对校园网的Web服务器中的日志文件进行分析,从大量的Web日志数据中找出校园网中用户访问量较大的网站。......
提示:此毕业设计论文完整版包含【论文】 作品编号:txgc0685,word全文:69页,合计:30000字 |
本通信工程毕业设计论文作品由 毕业论文设计参考 [http://www.qflunwen.com] 征集整理——网络数据分析方法研究及软件开发(论文)!