本课题以 Hadoop 核心技术 HDFS（Hadoop Distributed File System）为基础设计该系统，通过搭建 1 个 Master 节点和 4 个 Slave 节点的 Hadoop 大数据集群，并将其作为存储平台实现对大数据文件(数据达到 GB)的存储和简单的处理。本文主要研究如何针对不同的大数据文件和不同的存储需求进行不同的存储策略处理，以达到用户对于存储效率的要求。 

本文首先从背景出发，对 Hadoop 在国外和国内的应用现状进行了详细介绍，然后对分布式文件系统以及 Hadoop 核心技术 HDFS 进行了详细介绍，以便读者了解当下的大数据存储技术。接着，阐述了系统分析与设计的过程，以及如何进行存储策略的算法研究并介绍改进的 Hadoop 数据放置策略。通过设置不同块大小的存储策略和不同的冗余存储策略，预估不同的存储效率。紧接着详细介绍了如何搭建 Hadoop 系统平台、如何配置 Hadoop 分布式集群环境以及如何利用 Java Swing、JFreeChart 插件和 HDFS Java API 实现各个模块的功能。然后对搭建好的 Hadoop 平台和系统的运行效果进行了展示。最后，本文采用代表性的例子对大数据文件的存储过程，文件的读写操作以及系统的容错性和存储策略，进行了演示和说明，表明本系统已经实现了大数据存储系统原型的基本功能。

论文所做工作及思路

本文的主要目的是设计和实现一个方便管理的，简单界面的基于 Hadoop 的大数据存储系统原型。该系统原型的主要功能是通过搭建并配置 Hadoop 集群平台，对大数据文件进行分块处理，实现大数据文件的存储，并保证数据容错和可用性，即设置数据块的备份。

因此，本文的主要研究内容包括：如何在 Windows 系统下利用 VM 虚拟机搭建

Hadoop 平台；如何搭建合适数量节点的 Hadoop 平台满足大数据文件的存储；如何有效的设置 HDFS 文件系统的 Block 的大小以保证大数据文件存储的效率；如何设置合适的文件备份策略和副本放置策略保证文件存储的容错性。

本文将从以下几个步骤来完成：

(1)构建 Hadoop 所需的 Linux 平台，并在 Linux 平台中安装并配置 SSH 免密码登录以保证 Hadoop 各个节点之间的相互通信；

(2)利用Ubuntu 系统的Shell 命令，搭建并配置Java 开发环境，保证后期对Hadoop

集群的操作；

(3)在 Linux 平台中安装并配置 Hadoop，搭建完全分布式平台环境；

(4)阅读并研究大数据存储分发策略的相关算法；

(5)利用 Java 语言开发简单的大数据文件存储系统信息查看的客户端程序；

(6)利用 HDFS Java API 和文件流的方式完善客户端程序，实现大数据文件的上传和下载操作；

(7)利用 JFrame 作为系统界面的主框架，各个模块信息通过 JInterFrame 实现， 利用 JTextArea 系统总体信息和节点信息进行展示；

(8)利用 JFreeChart 插件设计并实现各个节点信息展示和统计的图形界面；

(9)选取大小为 GB 的文件对实现的系统进行运行和测试，并截图得到相关数据， 并对界面和测试出的 BUG 进行优化。

论文章节安排

本论文共分 5 章，具体的结构如下：

第 1 章为绪论，主要介绍了大数据存储技术出现的背景、重要意义以及如今的发展和应用现状，然后从整体上对本课题的完成过程进行介绍，即本课题的研究步骤，思路以及关键技术，最后对论文各个章节所要完成的工作进行了详细的描述。

第 2 章为分布式文件系统及 Hadoop 相关技术介绍，首先从主流架构和重要特性两个方面，讲述了分布式文件系统的重要性，并说明了分布式文件系统出现的原因。然后重点介绍了 Hadoop 分布式文件系统 HDFS 的架构以及主要模块及其功能，最后从设计思路和目标两个方面让读者能更加清楚地认识 HDFS。

第 3 章为系统设计，主要介绍了系统的设计过程，首先从架构和文件操作流程两个方面对本系统的进行了详细说明，接着根据不同的存储策略，对系统的核心功能进行说明，即块大小、冗余副本存放策略、数据组织和数据复制。最后从数据块大小、节点之间距离、存储平衡等方面对文件系统提出优化设计。

第 4  章为系统实现，主要从搭建系统平台所需软件的安装和配置入手，介绍

Hadoop  平台的搭建过程，接着详细说明如何利用 HDFS  Java  API、Java  Swing  和

JFreeChart 插件实现系统主要功能和界面。

第 5 章为系统展示，主要对系统运行界面以文字介绍加上截图的方式进行展示。主要介绍了系统开启前 Ubuntu 端的准备工作、开启命令、系统主界面、文件上传界面、文件浏览界面、文件下载界面、文件系统总体使用情况界面、各节点使用情况界面的运行效果。通过文字加配图的方式，让读者更加了解本课题。