Hadoop HDFS Operation

背景

之前搭好了 Hadoop 环境,但是在使用的过程中还是有一些问题,现在终于解决了,至少最基础的环境没有问题了。

基本环境

Hadoop-2.7.3 / Java7

四台机子如下,hadoop00mater, 其余为 slave

1
2
3
4
192.168.137.100 hadoop00
192.168.137.101 hadoop01
192.168.137.102 hadoop02
192.168.137.103 hadoop03
Read more

Setup Hadoop Cluster

背景

最近终于在虚拟上搭好了 Hadoop 的集群环境,记录一下。

资源准备

  • jdk-8u40-linux-x64.gz
  • hadoop-2.7.3.tar.gz
  • CentOS Linux release 7.4.1708 (Core)

四台机子如下,hadoop00 为mater, 其余为slave

1
2
3
4
192.168.137.100 hadoop00
192.168.137.101 hadoop01
192.168.137.102 hadoop02
192.168.137.103 hadoop03
Read more

Single Node Hadoop

背景

今天在阿里云机器上试着搭了一个单结点的 Hadoop, 记录一下过程。

资源准备

使用的 jdk 和 Hadoop 版本分别为:

  • jdk-8u40-linux-x64.gz
  • hadoop-2.7.3.tar.gz

系统是阿里云的 CentOS Linux release 7.4.1708 (Core)

Read more