Инструменты аналитика

Сбор данных
Scraping-Bot
Scrapeworks
Diggernaut
ScrapingBee
Scraper API

Обзор инструментов
Excel
SAS, SPSS
MATLAB, Octave
Онлайн платформы
Hadoop, Spark
Python, R
Ноутбуки
Библиотеки

Облака
Amazon AWS
Microsoft Azure
IBM Watson Analytics

Зачем нужен Hadoop
В 10 раз дешевле СХД
Вычисления и данные — в одном месте
Вместе с удешевлением HDD устроил революцию
10

11
Вычисления на кластере
Единый шедуллер, разделяющий ресурсы между всеми
Типичные потребители:
Базы данных (HBASE)
SQL-like инструменты (HIVE)
Map Reduce операции
Spark (in-memory)
Крайне важно грамотно организовать параллельность

Python
Все становятся программистами
Преимущества Python
Простота и удобство, легкость в освоении
Расширяемость, огромное количество библиотек и примеров
Data Science стек, парсинг сайтов, веб-сервисы…
Недостатки Python
Медленнее компилируемых языков e.g. C++, Java
Не подходит для мобильной разработки
Не всегда лучшее решение для enterprise

О языке
1991 год рождения, Нидерланды
Основан на ABC, который основан на SETL, 1969
С++ – 1983, C – 1973
R – 1993, S – 1976
JavaScript – 1995
SQL – 1979
Красивое лучше, чем уродливое. Явное лучше, чем неявное.
Простое лучше, чем сложное. Сложное лучше, чем запутанное. Плоское лучше, чем вложенное. Разреженное лучше, чем плотное. Читаемость имеет значение.
Особые случаи не настолько особые, чтобы нарушать правила.
При этом практичность важнее безупречности. Ошибки никогда не должны замалчиваться.
Если они не замалчиваются явно.
Встретив двусмысленность, отбрось искушение угадать. Должен существовать один и, желательно, только один очевидный способ сделать это.
Хотя он поначалу может быть и не очевиден, если вы не голландец.
Сейчас лучше, чем никогда.
Хотя никогда зачастую лучше, чем прямо сейчас. Если реализацию сложно объяснить — идея плоха.
Если реализацию легко объяснить — идея, возможно,
хороша.
Пространства имён — отличная штука! Будем делать их больше!

Основные свойства
Python – интерпретируемый язык
CPython – основная реализация интерпретатора, написан на C
Динамическая типизация
«white space» играет роль
Установка модулей через пакетный менеджер (pip, conda)
130 000 различных модулей (март 2021)

Hello, world!
C++
#include
using namespace std; int main()
{
// print output to user
cout << "Hello, world!" << endl; return 0;
}
Python
print("Hello world!")

Python
17
Numpy
Scipy
Pandas
Matplotlib
Scikit-learn
Ну и тысячи других

Модели, фреймворки
18
Градиентный бустинг
XGBoost
Catboost
LightGBM
Нейросети
Keras
Caffe
TensorFlow
Theano
PyTorch
Обёртки для языков
Применение из консоли
Параллельное обучение
Параллельное применение
На одной машине и на кластере
Исполнение на CPU, GPU
Поддержка Windows/Mac/Linux
Поддержка ARM

19

IPython и Jupyter
IPython — интерактивная консоль python’а
Jupyter — популярный аналитчиеский ноутбук
20

Облака
Google Cloud Platform

Облака
Google Colab

Tableau, Power BI, Google Data Studio: простая онлайн-визуализация без кода

Программа на Python
21

Программа на Python
22

Базовые алгоритмические конструкции
23
a = 1
b = 2
с = a + b d = a – b print(c) print(d)

Оператор условия
24
if a > b: c = a else:
c = b

Оператор условия
25
if a > 0: c = a
elif a == 0: c = b
else: с = d

Циклы
26
# while m = 0
while m < 10:
m = m + 1 print(m)
# for
for n in range(1, 10): print(n)

Функции
27
# пример определения и вызова функции def time(hour, minute=0):
return("Время: %i часов %i минут" % (hour, minute))
time(8) time(9, 20)
time(minute=5, hour=10)

Исключения
28

Исключения
29

Исключения
30

Типы данных
31
целое число int и long
число с плавающей точкой float
логический bool (True или False)
строка string