对于数据分析师来说，基于Hadoop的数据分析技能是他们必备的一项核心技能。他们需要了解Hadoop的工作原理，如何使用Hadoop处理大量数据，如何使用其提供的工具进行数据挖掘和数据分析，以及如何将数据转换为有价值的商业信息。这些都是数据分析师需要掌握的技能。
Hadoop的生态系统非常庞大，它包括了许多工具和框架，如HDFS（分布式文件系统）、MapReduce（分布式计算模型）、HBase（分布式数据库）等。这些工具和框架可以帮助用户更快地处理大量数据，并将数据转换为有用的信息。此外，Hadoop还提供了可视化工具，如Ambari和Sqoop等，这些工具使得数据管理工作变得更加容易。
对于初学者来说，学习基于Hadoop的数据分析需要掌握一些基础知识，如Java、Shell脚本等。此外，还需要了解一些基本的算法和数据结构，以便更好地理解MapReduce模型的工作原理。当然，实践是非常重要的，通过编写代码和实际操作来掌握Hadoop的使用方法是非常必要的。
随着大数据时代的不断发展，基于Hadoop的数据分析将会越来越重要。掌握这项技能的人将会成为企业中的香饽饽。因此，如果你想成为一名优秀的数据分析师，学习基于Hadoop的数据分析是必不可少的。
Hadoop是一个强大的分布式计算框架，可以处理大量数据并快速地提供有价值的信息。对于数据分析师来说，掌握基于Hadoop的数据分析技能是非常必要的。通过学习基础知识、实践操作和掌握基本的算法和数据结构，可以更好地理解Hadoop的工作原理并更好地应用它。
HBase是一种NOSQL数据库，是基于Apache Hadoop的、分布式的、多版本的、面向列的数据库，能够对大型数据提供随机、实时的读写访问。
特点
横向扩展性强
支持很高的写吞吐
有良好的随机读性能
高可用性，故障可恢复性
错误隔离性。一个结点的错误不会影响到其它结点，磁盘故障只会对相应的小规模的数据产生影响。
可在廉价PC Server搭建大规模结构化存储集群
hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是一种可靠，高效，可伸缩的方式进行处理的，它有以下几方面特性：
1.高可靠性：采用冗余数据存贮方式，即使一个副本发生故障，其他副本也可以保证对外工作的正常进行。
2.高效性：作为并行分布式计算平台，hadoop采用分布式存贮和分布式处理两大核心技术，能够高效的处理PB级别的数据
3.高可扩展性：hadoop的设计目标是可以高效稳定的运行在廉价的计算机集群上，可以扩展到数以千计的计算机节点上。
4.高容错性：采用冗余数据存贮方式，自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
5.成本低：hadoop采用廉价的计算机集群，普通的用户也可以pc机搭建环境
6.运行在linux平台上，hadoop是基于java语言开发的，可以较好的运行在linux的平台上
7.支持多种编程语言，如：C++等/
1、Hadoop具有按位存储和处理数据能力的高可靠性。
2、Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便地扩展到数以千计的节点中，具有高扩展性。
3、Hadoop能够在节点之间进行动态地移动数据，并保证各个节点的动态平衡，处理速度非常快，具有高效性。
4、Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配，具有高容错性
hadoop的用途有：分布式存储数据、日志处理、ETL、机器学习、搜索引擎、数据挖掘等。Hadoop是专为离线和大规模数据分析而设计的，它是一个处理实际问题的编程模型，它提供了一些基础模块或软件做支撑。
相比于传统的数据，处理大数据需要的存储量大、计算量也大，除了数字、还有文字、声音、视频、网络日志、视频、图片、地理位置信息等多种数据，处理这样的数据，就需要Hadoop技术来实现。作为目前主流的大数据处理分布式架构之一，Hadoop就是基于大规模数据处理任务需求的满足。并且，相对于其他的分布式处理架构，Hadoop具有很明显的优点：
可扩展性强，Hadoop可以在一组计算机集群当中分配任务完成数据计算，这些集群可以更方便地扩展到数千节点当中。
高效性，Hadoop的分布式文件系统，能够保证高效的数据交互，通过并行处理加快数据处理速度。
高可靠性，Hadoop的分布式文件系统将数据分块储存，每个数据块在集群节点上依据一定的策略冗余储存，确保能够针对失败的节点重新分布处理，从而保证了数据的可靠性。
Hadoop起源于Apache Nutch项目，始于2002年，是Apache Lucene的子项目之一 。
2004年，Google在“操作系统设计与实现”（Operating System Design and Implementation，OSDI）会议上公开发表了题为MapReduce：Simplified Data Processing on Large Clusters（Mapreduce：简化大规模集群上的数据处理）的论文之后，受到启发的Doug Cutting等人开始尝试实现MapReduce计算框架，并将它与NDFS（Nutch Distributed File System）结合，用以支持Nutch引擎的主要算法 。
由于NDFS和MapReduce在Nutch引擎中有着良好的应用，所以它们于2006年2月被分离出来，成为一套完整而独立的软件，并被命名为Hadoop。
到了2008年年初，hadoop已成为Apache的顶级项目，包含众多子项目，被应用到包括Yahoo在内的很多互联网公司 。
单机模式
伪分布式模式
完全分布式模式
直接启动或者关闭所有的进程（不推荐，由于分布式下，namenode和datanode分布在不同机器上，启动的进程不相同）
在启动hadoop进程的时候我们通常都是直接使用(默认hadoop根目录下)
sbin/start-all.sh
sbin/stop-all.sh
但是有时候直接启动进程并不完整，我们就需要使用单独的命令
分布式缓存一个最重要的应用就是在进行join操作的时候，如果一个表很大，另一个表很小，我们就可以将这个小表进行广播处理，即每个计算节点上都存一份，然后进行map端的连接操作，经过我的实验验证，这种情况下处理效率大大高于一般的reduce端join，广播处理就运用到了分布式缓存的技术。
1，大数据量存储：分布式存储
2，日志处理：Hadoop擅长这个
3，海量计算：并行计算
4，ETL：数据抽取到oracle、mysql、DB2、mongdb及主流数据库
5，使用HBase做数据分析:用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统
6，机器学习：比如Apache Mahout项目
7，搜索引擎：hadoop + lucene实现
8，数据挖掘：目前比较流行的广告推荐,9，用户细分特征建模
10，个性化广告推荐,
11，智能仪器推荐