Data science. Кластеризация

Data Science — это работа с большими данными (англ. Big Data).
1 ZB = 10^21 bytes
1 TB = 10^12 bytes

Эволюция в
области
хранения и
Обработки
данных

Кто такой Data Scientist?

Классификация
Регрессия
Кластеризация

Независимые переменные
Зависимая

Тренировочные данные, независимые данные.
Тестовые данные
Независимые переменные
зависимые
зависимые
Исходные данные
Модель МО
Тестовые данные
Независимые переменные
Тренировочные данные, независимые данные.
зависимые
зависимые
VS

Кластеризация молекул

Задача на Python
c1ccc(c(c1)C(=O)O)O
Salicylic acid
C1=CC(=C(C=C1N)O)C(=O)O
PASA

Сложности..
У нас есть список из 5 молекул (1 – 5). Нужно рассчитать коэфф. Танимото для каждой пары из молекул без повторений.
[1 2 3 4 5 ]
1 – 2, 1 – 3, 1 – 4, 1 – 5
2 – 3, 2 – 4, 2 – 5
3 – 4, 3 – 5,
4 – 5.

Трудности…

Принцип кластеризации

D
B
С
А

Расстояние
Для кластеризации необходимы:
Расстояние
Центроиды
Цель – найти оптимальные
центройды при данном
расстоянии

Не оптимальный
центроид
Оптимальный
центроид

Гиперпараметр –
Tanimoto distance cut-off
Чем больше значение расстояния –
тем больше кластеры содержат элементов.
Тем меньше кластеров

Play with cut-off