本系统首先通过webmagic网络爬虫框架并利用MapReduce的任务调度分发机制来达到分布式爬虫，并且通过Quartz任务调度框架定时爬取来自不同旅游网站的网页，然后对网页内容进行抽取和分析，提取其中的关键数据经过比价算法计算后存储到HBase中，Phoenix作为查询引擎为用户提供查询服务，用户输入出发地、出发日期、旅游目的地等条件后， 系统能按照一定的逻辑进行线路的展示和比价，方便用户做出决策，还提供是按价格范围，价格高低，出游天数，酒店等级，交通方式来显示旅游信息。

.......

毕业设计要求：

1、分布式信息爬取相关的旅游信息。

   1.1、系统管理员可以对在线旅游网站列表进行增加、删除、修改操作。

   1.2、系统管理员可以设置开始爬取的时间，爬取的频率（每天一次或者每天两次等）。

   1.3、使用合适的任务调度框架对爬虫进行监控。

2、抓取的网页数据需要持续化至分布式存储系统，以保证数据的可用性和系统的水平扩展能力。

3、提供对所抓取网页的抽取功能。

   3.1、对已经抓取的网页进行分析。

   3.2、提供数据提取功能。

   3.3、抽取出结构化信息并进行存储。

4、根据从不同网站抓取的相同线路数据，实现进行合理比价。

5、选择合适查询引擎，能在海量数据中，快速搜索数据，并显示结果。

6、最终提交：整理资料，完成毕业论文

.......

本文前半部分主要分析了基于云计算平台旅游消费比价决策系统所涉及的知识和相关的技术，云计算的相关的运行过程与工作原理，由于云计算里涉及到分布式，爬虫，大数据存储，还有查询等，所以本文还介绍了多种关于云计算的框架以及这些框架的思想。在论文后半部分还介绍了对基于云计算平台旅游消费比价决策系统的各个模块的设计与开发，其中包含了整个基于云计算平台旅游消费比价决策系统的大致的思路、相关的数据库设计以及数据库的分析、各个功能模块基本实现步骤，流程和系统运行效果等。最后总结了系统的开发体验和该系统的优势与不足。

......

系统功能模块图如图2-1所示，第一步，通过构建hadoop集群来支撑所以的数据处理和存储。第二步，利用爬虫程序，放到MapReduce里实现分布式爬虫，用来捉取所需要的目标数据，并通过Quart框架，来合理的调度爬虫程序的中期。第三步，利用hadoop集群对爬取下来的目标数据进行ETC（过滤，转换，加载）操作，并最终把数据结果保存到HBase中。第四步，HBase通过web服务器将数据传输到展示层供用户查看。第五步，数据交互层接收用户的检索信息，Phoenix根据检索字段来访问HBase中的数据并返回给用户。

......