Язык Pig Latin

Hello!
I am PIG
I am working in Yahoo!

Особенности:
язык Pig Latin
Интерактивная консоль
Встроенные функции агрегации
Поддержка пользовательских функций (UDF, User-defined function)
Данные — в виде структур (Tuple, Bag)
с текстовыми файлами (можно задать разграничительный символ)
с сжатыми текстовыми файлами (Gzip, Bzip)
имеет огромное количество встроенных функций для работы с: датами, строками, структурами
с математическими функциями
Если всего перечисленного выше не хватило, то можно использовать кастомные функции (jython, java)

Tuple
Упорядоченный набор полей. Структура, к полям которой можно обращаться по индексу и/или имени.

Bag
Коллекция (множество) Tuple.

{
{

Базовые функции:
LOAD <путь_файла>
USING PIGSTORAGE (‘<знак_разделения>’)
AS (<колонкa_1> : <тип>, ...);
STORE <название_таблицы>
INTO <путь_файла>;
FOREACH <таблица_1> GENERATE <условия>;
JOIN <таблица_1> BY <параметр>, <таблица_2> BY <параметр>;
GROUP <таблица> BY <параметр>;
FILTER <таблица> BY <параметр>;

Базовые функции:
UNION <запрос_1>, <запрос_2>;
DISTINCT <таблица>;
ORDER <таблица> BY <параметр> (ASK / DESC);
SPLIT <таблица> INTO
<нов_таблица_1> IF <условие>, <нов_таблица_2> IF <условие>;

Типы данных

Extract, Transform, Load. (ETL)
Загрузка
Обработка
Сохранение результатов

Extract
records = LOAD '/log/flume/events/14-02-20/'
USING PigStorage('\t')
AS (
date:chararray,
clientip:chararray,
clientport:chararray,
proto:chararray,
statuscode:int,
bytes:int,
sq:chararray,
bq:chararray,
request:chararray );

Transform
count_total = FOREACH (GROUP records ALL) GENERATE COUNT(records);
count_ip = FOREACH (GROUP records BY clientip) GENERATE group AS ip, COUNT(records) AS cnt;
top_ip = ORDER count_ip BY cnt DESC;

Load
%declare DT `date +%y%m%dT%H%M` STORE count_total INTO '$DT/count_total'; STORE top_ip INTO '$DT/top_ip';
STORE top_req INTO '$DT/top_req';

Pig Механизмы исполнения
Интерактивный режим(оболочка Grunt)
Пакетный режим (скрипт)
Встроенный режим (UDF)

Операторы диагностики

Процедурный подход.
Формирование MapReduce.
Интерактивность.
Быстрота разработки.

Не всё укладывается в Pig
Pig Latin более сложен
Для UDF используется Java