Разработка и применение комплексных нейросетевых моделей массовой оценки и прогнозирования стоимости жилых объектов

Цель и задачи
Целью данной работы является проектирование и разработка веб-платформы, в том числе, методики оценки стоимости недвижимости с использованием нейросетевых технологий, объединяющую в себе несколько инструментов прогнозирования рынка.
Задачи работы:
Анализ имеющихся наработок в данной области и возможность их использования в работе;
Отбор факторов, оказывающих влияние на рыночную стоимость квартир;
Подготовка обучающей выборки для нейронной сети;
Определение оптимального типа и характеристик нейронной сети, а так же метода ее обучения;
Проектирование и разработка инструмента прогнозирования оценки стоимости недвижимости.
02

Актуальность
Научная
Жизненная
Более 2 тысяч публикаций на Web of Science по запросу «Realty prediction»
100+ публикаций с уточнением «Deep learning»
400+ публикаций с уточнением «machine learning»
Рост популярности направления Deep learning в данной сфере.
Доступ к реальной оценки недвижимости
Модернизация документооборота
Экономия времени риелтора и участников купли-продажи
Снижение экономических рисков
«Хайп» на новых разработках
«Уберизация»
Оптимизация процесса инвестирования в объекты недвижимости
03
Решение проблемы отсутствия простых и наглядных сервисов прогнозирования и анализа недвижимости.
Помощь обывателям в инвестировании в недвижимость.
Систематизация функции оценки и прогнозирования стоимости жилых объектов на одной платформе.
Выявление и учет новых влияющих факторов на ценообразование жилых объектов.
Учет визуальных данных (фотографии с объявлений).
Сокращение лишних человеко-часов в условиях оценки объектов недвижимости.
Решение проблемы человеческого фактора.
Преимущества

Проблемы рынка недвижимости РФ:
Закрытость информации.
Молодой рынок. Сформирован в начале 1990-ых.
На сервисах Avito, Cian.Ru и других существуют только предлагаемая стоимость объекта, но нет реальных цен.
Разная макроэкономическая модель поведения стоимости.
Правила оценки недвижимости прописаны законодательством РФ и не может включать в себя «черный ящик».
Необходимо постоянно обновлять информацию.
5
Рынок недвижимости Российской Федерации подвержен многочисленным колебаниям цен из-за существующих корреляций со многими переменными, некоторые из которых невозможно контролировать или даже могут быть неизвестны
Различия в методологиях моделирования
04
Рынок недвижимости РФ

Cian.ru
Классификатор k-ближайших соседей. Сравнивает квартиру с местонахождением покупателя со множеством похожих объявлений из базы данных Cian за последние 5 лет
2) IRN.ru
Непонятно как работает алгоритм. Только по Москве и МО.
3) Domofond.ru
Основан на ценах объявлений, размещенных на Domofond.ru и Avito.ru. Средняя цена рассчитывается с учетом квартиры и квартир по соседству. Чем ближе будет квартира, тем больше будет ее вес в формуле
4) Ocenchik.ru
Особо не разрекламирован. Непонятно как работает алгоритм. Только по Москве и МО.
5
05
АНАЛОГИ

Языки программирования Python/C/SQL
СУБД PostgreSQL
Flask Framework
Grafana
Веб-приложение для аналитики и интерактивной визуализации с открытым исходным кодом
5. Optuna Framework
Фреймворк для автоматической оптимизации гиперпараметров
6. Scikit learn
Библиотека машинного обучения
6
06
Используемые технологии
Рабочий сервер
Домашний сервер

Датасет
8
07
1. ADS-API.ru
Парсер недвижимости России. Собирается с avito.ru, irr.ru, realty.yandex.ru, cian.ru, sob.ru, youla.io, n1.ru и moyareklama.ru
2. DaData.ru
Автоматически проверяет, исправляет и геокодирует адреса
3. «Реформа ЖКХ»
Уникальная информационная система, объединившая оперативную информацию о том, что происходит с Вашим собственным жильем в частности и отраслью ЖКХ в целом
Используемые API

08
ДАТАСЕТ

Проработана архитектура базы данных на основе PostgreSQL
ДАТАСЕТ
09

Архитектура и ГИПЕПАРАМЕТРЫ
10
Алгоритмы:
Random Forest (Случайный лес)
XGBoost
SQL-запросы: «Похожие» объекты и определение средних значений
Оптимизация гиперпараметров — задача машинного обучения по выбору набора оптимальных гиперпараметров для обучающего алгоритма

Дополнительные параметры, которые используются экспериментально:
Средние показатели оценки по всем фотографиям объявления
Доступность в метрах к важным местам:
Ближайшие остановки
Ближайшее метро
Инфраструктура рядом: школы, магазины
Используются на данный момент:
Площадь
Площадь кухни
Этаж
Этажность
Количество комнат
Тип дома: панельный, кирпичный...
Время публикации
Стоимость доллара на момент публикации
Расстояние от центра столицы региона (на основе координат)
Азимут от центра столицы региона
Цена
Рынок недвижимости: «Вторичка» или «Новостройка»
Регион
Данные с «Реформа ЖКХ»
ЦЕНООБРАЗУЮЩИЕ ФАКТОРЫ
11

ИТОГОВАЯ СИСТЕМА
12

ИТОГОВАЯ СИСТЕМА
13

НАУЧНАЯ СТАТЬЯ
В статьей представлена работа с классификацией изображений при помощи модели ResNet34
14

ДАТАСЕТЫ
15

ИТОГИ
16