Пример использования Hadoop

Необходимые компоненты
Ubuntu 11.10
Hadoop 1.0.1
Java 1.7

Этап 1. Подготовка
Установка JDK
Создание пользователя
Отключение IPv6

Этап 2. Установка
Загрузка Hadoop
Распаковка архива
Установка переменной окружения $HADOOP_HOME

Этап 3. Настройка HDFS
Создание папки в файловой системе
Редактирование конфигурационных файлов:
- conf/core-site.xml - conf/mapred-site.xml
- conf/hdfs-site.xml
Форматирование HDFS

Примеры конфигурационных файлов
conf/core-site.xml
hadoop.tmp.dir
/app/hadoop/tmp
Some description.
fs.default.name
hdfs://localhost:54310
Some description

Примеры конфигурационных файлов
conf/mapred-site.xml
mapred.job.tracker
localhost:54311
Some description

Примеры конфигурационных файлов
conf/hdfs-site.xml
dfs.replication
1
Some description

Форматирование HDFS
Выполняется с помощью команды namenode
hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop namenode -format

Запуск и остановка Hadoop
Запуск
- start-all.sh
Остановка
- stop-all.sh

Работа с HDFS
Копирование данных на HDFS
- bin/hadoop dfs -copyFromLocal /tmp/fanatic /user/hduser/fanatic
Вывод списка файлов
- bin/hadoop dfs -ls /user/hduser
Получение данных с HDFS
- bin/hadoop dfs -getmerge /user/hduser/fan-output /tmp/out

Запуск Java-задания
Команда запуска задания
- hadoop jar your-job-file-goes-here.jar

Структура задания
Ядро задания
- реализация интерфейсов Mapper и Reducer
Mapper
- формирует пары ключ/значение
Reducer
- уменьшает набор пар, которые имеют один и тот же ключ в меньший набор значений

Демонстрация

Веб интфейсы Hadoop
http://localhost:50030/ - UI для MapReduce заданий
http://localhost:50060/ - UI для заданий
http://localhost:50070/ - UI для просмотра статистики HDFS