Устройство БД в больших компаниях, интеграция, обработка данных

О докладчике
Образование
Омский Авиационный Техникум [2003 – 2007]
Автоматизация технических процессов и производства
2. Омский государственный университет [2007 – 2013]
Вычислительные системы комплексы и сети
Опыт
Фриланс [wordpress,shopify,php,js,css,html, linux]
Омскагрегат [ oracle, php, linux ]
Инфосистемы Джет [oracle siebel ]
Мегафон [ oracle , django , python, linux , js, git ]
Хобби
Python, Django, Linux, Banana pi
Кулинария [могу суп сварить ☺ ], Фотография, Путешествия
Финансы и финансовые рынки

Вопросы презентации
Как работают большие базы данных
Обработка данных
Агрегация
Трансформация
Диагностика и автоматизация процессов
Как устроиться на работу после ВУЗа
Что изучать и где брать информацию?

1.Как работают большие базы данных ?

1.1 Построение инфраструктуры

2. Как обрабатывать данные?

В каком формате хранить данные в своей БД?
Пример хранения даты в разных БД:
26.01.2014
01-26-2014
2014-01-26 09:15:28
Friday, September 26, 2014
September 26, 2014

В каком формате хранить данные в своей БД?
Дата
Ключ

3. Агрегация данных

Агрегация данных.
Агрегация - это укрупнение показателей c помощью объединения их в группу
15 минут
1 час
неделя
1 час
15 минут

4. Трансформация данных

Трансформация данных
'CELL' || substr(cell,9,4) || 'ID'
'CELL' || substr(cell,5,4) || 'ID'
Трансформация – это преобразование формата данных для необходимых задач.
Источник
Служебная БД
Посчитанная БД

5. Проверка данных на целостность

Проверка данных на целостность
Таблица 1
Таблица 2
MINUS
Результат

6. Как устроиться на работу после ВУЗа ?
Формула успеха = Знания + Опыт + Сертификаты
Базы данных : 1. Умение писать запросы
2. Аналитические, агрегирующие функции
3. Индексы, процедуры,функции, тригерры
4. Знать процедурный язык (pl/sql, PL/pgSQL)
Кодинг : 1. Уметь писать небольшие скрипты
2. Парсинг web/файлов любой структуры
3. Знание структур данных
4. Объектно-ориентированное программирование
ОС: 1. Linux (базовые операции ,bash, подключиться по ssh,)
2. Windows ( автоматизация рутинных задач )

7. Что изучать и где брать информацию?
Формула успеха = Знания + Опыт + Сертификаты
Базы данных:
Бейли Л. - Изучаем SQL (Бестселлеры O'Reilly),
Sql-ex.ru ( сайт с множеством задач на sql )
Курсы:
http://stepic.org (Курсы на русском языке по программированию, алгоритмам, операционным системам и тд.)
http://www.codecademy.com (Множество курсов по программированию на разных языках)