Застосування машинного навчання для розуміння і використання тексту. Методи WORD2VEC

Слайд 2

СЛОВА-ВЕКТОРИ

Слова-вектори (word vectors) - це чисельні уявлення слів, що зберігають семантичний зв'язок

СЛОВА-ВЕКТОРИ Слова-вектори (word vectors) - це чисельні уявлення слів, що зберігають семантичний
між ними. Наприклад, для вектора cat (кішка) одним з найбільш близьких буде слово dog (собака). Однак векторне подання слова pencil (олівець) буде досить сильно відрізнятися від вектора cat.

Слайд 3

ЗАСТОСУВАННЯ WORD2VEC

Векторні уявлення слів використовуються в багатьох областях:
Моделювання мов;
Чат-боти;
Машинний переклад;
Питально-відповідні системи;

ЗАСТОСУВАННЯ WORD2VEC Векторні уявлення слів використовуються в багатьох областях: Моделювання мов; Чат-боти; Машинний переклад; Питально-відповідні системи;

Слайд 4

ПРОЦЕС СТОВРЕННЯ ВЕКТОРІВ СЛІВ

Створити кортежі даних в форматі [вхідне слово, вихідне слово]
Створити

ПРОЦЕС СТОВРЕННЯ ВЕКТОРІВ СЛІВ Створити кортежі даних в форматі [вхідне слово, вихідне
модель, яка на вхід і вихід отримує one-hot вектори;
Визначити функцію втрат, яка вгадує вірне слово, щоб оптимізувати модель;
Визначити якість моделі, переконавшись, що схожі слова мають схожі векторні уявлення.

Слайд 5

ЗАГАЛЬНА МОДЕЛЬ

ЗАГАЛЬНА МОДЕЛЬ

Слайд 6

НЕОБХІДНІ ДАНІ ДЛЯ РОБОТИ АЛГОРИТМУ

набір вхідних one-hot векторів;
набір вихідних one-hot векторів (після

НЕОБХІДНІ ДАНІ ДЛЯ РОБОТИ АЛГОРИТМУ набір вхідних one-hot векторів; набір вихідних one-hot
навчання);
embedding layer;
нейромережа.

Слайд 7

ЗАГАЛЬНА КАРТИНА АЛГОРИТМУ

ЗАГАЛЬНА КАРТИНА АЛГОРИТМУ

Слайд 8

ФУНКЦІЯ ВТРАТ

ФУНКЦІЯ ВТРАТ

Слайд 9

ЗАПУСК АЛГОРИТМУ

num_steps = 250001
session = tf.InteractiveSession()
# Initialize the variables in

ЗАПУСК АЛГОРИТМУ num_steps = 250001 session = tf.InteractiveSession() # Initialize the variables
the graph
tf.global_variables_initializer().run()
print('Initialized')
average_loss = 0
for step in range(num_steps):

batch_data, batch_labels = generate_batch( batch_size, window_size)
feed_dict = {train_dataset : batch_data, train_labels : batch_labels}
_, l = session.run([optimizer, loss], feed_dict=feed_dict)
if (step+1) % 5000 == 0:
if step > 0:
average_loss = average_loss / 5000
print('Average loss at step %d: %f' % (step+1, average_loss))
average_loss = 0

Слайд 10

РЕЗУЛЬТАТИ РОБОТИ АЛГОРИТМУ

Average loss at step 225000: 2.410598
Average loss at step 230000:

РЕЗУЛЬТАТИ РОБОТИ АЛГОРИТМУ Average loss at step 225000: 2.410598 Average loss at
2.410446
Average loss at step 235000: 2.414872
Average loss at step 240000: 2.412652
Average loss at step 245000: 2.420230
Average loss at step 250000: 2.408468
Имя файла: Застосування-машинного-навчання-для-розуміння-і-використання-тексту.-Методи-WORD2VEC.pptx
Количество просмотров: 21
Количество скачиваний: 0