Лекция 1

Основные понятия искусственного интеллекта (ИИ)
Искусственный интеллект (ИИ) – научная область, занимающаяся созданием программ и устройств, имитирующих интеллектуальные функции человека (одно из общих определений, а функции, напр. читать, понимать, распознавать, играть и т.д.).

Основные понятия искусственного интеллекта (ИИ)
ИИ делят на слабый и сильный.
Слабый (специализированный) – решает конкретные, узко-специализированные задачи (играть в игру, фильтровать спам в почте и т.д.).
Сильный – способен к осознованию себя и превосходить во всем человека.

История развития ИИ
1950 год, Алан Тьюринг описал проблему ИИ и предложил тест Тьюринга, а также было предложено описать общий алгоритм интеллекта.
Ставились задачи машинного перевода, распознавание, игры и т.д., но все равно ожидания и реальность были далеки друг от друга, ничего не работало…
Поэтому планку ожиданий понизили и стали реализовывать инженерный подход.
Появились экспертные системы (формализация знаний человека), правила вида ЕСЛИ – ТО.
и сегодня ….ИИ-Машинное обучение-Глубокое обучение (нейронные сети).
На практике снова стали возникать проблемы из-за слишком большого количества правил в ЭС, очень дорого было обслуживать такие системы и др. проблемы.
Экспертная система - компьютерная система, способная частично заменить специалиста-эксперта в разрешении проблемной ситуации. Важнейшей частью экспертной системы являются базы знаний как модели поведения экспертов в определённой области знаний с использованием процедур логического вывода и принятия решений, иными словами, базы знаний — совокупность фактов и правил логического вывода в выбранной предметной области деятельности.

История развития ИИ
Математики предложили, вместо траты большого количества времени на построение правил для систем, чтобы это делали алгоритмы – машинное обучение.
Собираем данные, подключаем алгоритм, пусть происходит обучение.
Есть объекты (данные, которые подаются на вход алгоритма) – есть ответы (то, что алгоритм должен предсказать).
Примеры – диагностика заболеваний органов зрения (очень много данных (фото и т.д.) и специальные алгоритмы обработки – математика, программирование и т.д.); игра в шахматы (1997 год алгоритм обыграл чемпиона)– машинное обучение, т.е. на смен у правилам пришли данные и обучение.

История развития ИИ
Поисковые системы, анализ текста, глубокое обучение - нейронные сети для обработки изображений (2015-2021 гг.) ошибки в распознавании приблизились к сопоставимому с человеком.
Нейронная сеть - математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма (более подробно будет в других лекциях).

Искусственная нейронная сеть
представляет собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов).
Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах).
Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи.
Сегодня много приложений на основе глубокого обучения.

Интеллектуальные информационные системы (ИИС)
Интеллектуальная система — это техническая или программная система, способная решать задачи, традиционно считающиеся творческими, принадлежащие конкретной предметной области, знания о которой хранятся в памяти такой системы.
Интеллектуальная система (ИС) — автоматизированная система, основанная на знаниях, или комплекс программных, лингвистических и логико-математических средств для реализации основной задачи – осуществления поддержки деятельности человека и поиска информации в режиме продвинутого диалога на естественном языке.

Направления исследований в области интеллектуальных систем
Первое направление объектом исследований рассматривает структуру и механизмы работы мозга человека, а конечной целью – раскрытие тайн мышления. Необходимыми этапами исследований в этом направлении являются построение моделей интеллектуальной деятельности на основе психофизиологических данных.
Второе направление в качестве объекта исследования рассматривает искусственную интеллектуальную систему. Здесь речь идет о моделировании интеллектуальной деятельности с помощью вычислительных машин. Целью работ в этом направлении является создание программного обеспечения, позволяющего решать некоторые виды интеллектуальных задач так же, как их решил бы человек.
Третье направление ориентировано на создание человеко- машинных, или, как еще говорят – интерактивных, интеллектуальных систем. Важнейшими проблемами в этих исследованиях является организация семантически безупречного диалога между человеком и такой системой.

Классификация ИИС
Для интеллектуальных информационных систем характерны следующие признаки:
развитые коммуникативные способности;
Коммуникативные способности ИС характеризуют способ взаимодействия (интерфейса) конечного пользователя с системой, в частности возможность формулирования произвольного запроса в диалоге с ИС на языке, максимально приближенном к естественному.
умение решать сложные плохо формализуемые задачи;
Сложные плохо формализуемые задачи – это задачи, которые требуют построения оригинального алгоритма решения в зависимости от конкретной ситуации, для которой могут быть характерны неопределенность и динамичность исходных данных и знаний.
способность к самообучению – это возможность автоматического извлечения знаний для решения задач из накопленного опыта конкретных ситуаций;
адаптивность – способность к развитию системы в соответствии с объективными изменениями модели проблемной области.

Классификация интеллектуальных информационных систем по типам систем

Интеллектуальные базы данных
отличаются от обычных баз данных возможностью выборки по запросу необходимой информации, которая может явно не храниться, а выводиться из имеющейся в базе данных.

Естественно-языковой интерфейс
предполагает трансляцию естественно-языковых конструкций на внутримашинный уровень представления знаний. Для этого необходимо решать задачи морфологического, синтаксического и семантического анализа и синтеза высказываний на естественном языке. Так, морфологический анализ предполагает распознавание и проверку правильности написания слов по словарям, синтаксический контроль – разложение входных сообщений на отдельные компоненты (определение структуры) с проверкой соответствия грамматическим правилам внутреннего представления знаний и выявления недостающих частей и, наконец, семантический анализ – установление смысловой правильности синтаксических конструкций. Синтез высказываний решает обратную задачу преобразования внутреннего представления информации в естественно-языковое.
Естественно-языковой интерфейс используется для:
доступа к интеллектуальным базам данных;
контекстного поиска документальной текстовой информации;
голосового ввода команд в системах управления;
машинного перевода с иностранных языков.

Гипертекстовые системы
предназначены для реализации поиска по ключевым словам в базах текстовой информации. Интеллектуальные гипертекстовые системы отличаются возможностью более сложной семантической организации ключевых слов, которая отражает различные смысловые отношения терминов.
Таким образом, механизм поиска работает прежде всего с базой знаний ключевых слов, а уже затем непосредственно с текстом. В более широком плане сказанное распространяется и на поиск мультимедийной информации, включающей, помимо текстовой, и цифровую информацию.

Системы контекстной помощи
можно рассматривать как частный случай интеллектуальных гипертекстовых и естественно-языковых систем. В отличие от обычных систем помощи, навязывающих пользователю схему поиска требуемой информации, в системах контекстной помощи пользователь описывает проблему (ситуацию), а система с помощью дополнительного диалога ее конкретизирует, и сама выполняет поиск относящихся к ситуации рекомендаций. Такие системы относятся к классу систем распространения знаний (Knowledge Publishing) и создаются как приложение к системам документации (например, технической документации по эксплуатации товаров).

Системы когнитивной графики
позволяют осуществлять интерфейс пользователя с ИС с помощью графических образов, которые генерируются в соответствии с происходящими событиями.
Такие системы используются в мониторинге и управлении оперативными процессами. Графические образы в наглядном и интегрированном виде описывают множество параметров изучаемой ситуации. Например, состояние сложного управляемого объекта отображается в виде человеческого лица, на котором каждая черта отвечает за какой-либо параметр, а общее выражение лица дает интегрированную характеристику ситуации. Системы когнитивной графики широко используются также в обучающих и тренажерных системах на основе использования принципов виртуальной реальности, когда графические образы моделируют ситуации, в которых обучаемому необходимо принимать решения и выполнять определенные действия.

Экспертные системы
предназначены для решения задач на основе накапливаемой базы знаний, отражающей опыт работы экспертов в рассматриваемой проблемной области.

Многоагентные системы
это динамические системы, для которых характерна интеграция в базе знаний нескольких разнородных источников знаний, обменивающихся между собой получаемыми результатами на динамической основе.
Для многоагентных систем характерны следующие особенности:
проведение альтернативных рассуждений на основе использования различных источников знаний с механизмом устранения противоречий;
распределенное решение проблем, которые разбиваются на параллельно решаемые подпроблемы, соответствующие самостоятельным источникам знаний;
применение множества стратегий работы механизма вывода заключений в зависимости от типа решаемой проблемы;
обработка больших массивов данных, содержащихся в базе данных;
использование различных математических моделей и внешних процедур, хранимых в базе моделей;
способность прерывания решения задач в связи с необходимостью получения дополнительных данных и знаний от пользователей, моделей, параллельно решаемых подпроблем.

Самообучающиеся системы
основаны на методах автоматической классификации примеров ситуаций реальной практики.
Характерными признаками самообучающихся систем являются:
самообучающиеся системы ≪с учителем≫, когда для каждого примера задается в явном виде значение признака его принадлежности некоторому классу ситуаций (классообразующего признака);
самообучающиеся системы ≪без учителя≫, когда по степени близости значений признаков классификации система сама выделяет классы ситуаций.

Индуктивные системы
используют обобщение примеров по принципу от частного к общему. Процесс классификации примеров осуществляется следующим образом:
1. Выбирается признак классификации из множества заданных (либо последовательно, либо по какому-либо правилу, например, в соответствии с максимальным числом получаемых
подмножеств примеров).
2. По значению выбранного признака множество примеров разбивается на подмножества.
3. Выполняется проверка, принадлежит ли каждое образовавшееся подмножество примеров одному подклассу.
4. Если какое-то подмножество примеров принадлежит одному подклассу, то есть у всех примеров подмножества совпадает значение классообразующего признака, то процесс классификации заканчивается (при этом остальные признаки классификации не рассматриваются).
5. Для подмножеств примеров с несовпадающим значением классообразующего признака процесс классификации продолжается, начиная с пункта 1 (каждое подмножество примеров становится классифицируемым множеством).

Нейронные сети
представляют собой устройства параллельных вычислений, состоящие из множества взаимодействующих простых процессоров. Каждый процессор такой сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам.

Классификация ИИС
В экспертных системах, основанных на прецедентах (аналогиях), база знаний содержит описания не обобщенных ситуаций, а собственно сами ситуации или прецеденты.
Поиск решения проблемы в экспертных системах, основанных на прецедентах, сводится к поиску по аналогии (то есть абдуктивный вывод от частного к частному).
В отличие от интеллектуальной базы данных, информационное хранилище представляет собой хранилище извлеченной значимой информации из оперативной базы данных, которое предназначено для оперативного ситуационного анализа данных (реализации OLAP-технологии).
Типичными задачами оперативного ситуационного анализа являются:
определение профиля потребителей конкретных объектов хранения;
предсказание изменений объектов хранения во времени;
анализ зависимостей признаков ситуаций (корреляционный анализ).

Адаптивная информационная система
это информационная система, которая изменяет свою структуру в соответствии с изменением модели проблемной области.
При этом:
адаптивная информационная система должна в каждый момент времени адекватно поддерживать организацию бизнес-процессов;
адаптивная информационная система должна проводить адаптацию всякий раз, как возникает потребность в реорганизации бизнес-процессов;
реконструкция информационной системы должна проводиться быстро и с минимальными затратами.
Ядром адаптивной информационной системы является постоянно развиваемая модель проблемной области (предприятия), поддерживаемая в специальной базе знаний – репозитории. На основе ядра осуществляется генерация или конфигурация программного обеспечения. Таким образом, проектирование и адаптация ИС сводится

Классификация интеллектуальных информационных систем по решаемым задачам
Если рассматривать интеллектуальные информационные системы с точки зрения решаемой задачи, то можно выделить системы управления и справочные системы, системы компьютерной лингвистики, системы распознавания, игровые системы и системы создания интеллектуальных информационных систем.

При этом системы могут решать не одну, а несколько задач или в процессе решения одной задачи решать и ряд других. Например, при обучении иностранному языку система может решать задачи распознавания речи обучаемого, тестировать, отвечать на вопросы, переводить тексты с одного языка на другой и поддерживать естественно-языковой интерфейс работы.

Классификация ИИС
Если классифицировать интеллектуальные информационные системы по критерию ≪используемые методы≫, то они делятся на жесткие, мягкие и гибридные.

Классификация интеллектуальных информационных систем по методам

Классификация интеллектуальных информационных систем по методам
Мягкие вычисления (Soft Computing) – это сложная компьютерная методология, основанная на нечеткой логике, генетических вычислениях, нейрокомпьютинге и вероятностных вычислениях.
Жесткие вычисления – традиционные компьютерные вычисления (не мягкие).
Гибридные системы – системы, использующие более чем одну компьютерную технологию (в случае интеллектуальных систем – технологии искусственного интеллекта).

Классификация ИИС
Возможны и другие классификации, например, выделяют системы общего назначения и специализированные системы.

Классификация интеллектуальных систем по назначению

Классификация интеллектуальных систем по назначению
Кроме того, эта схема отражает еще один вариант классификации по методам: системы, использующие методы представления знаний, самоорганизующиеся системы и системы, созданные с помощью эвристического программирования. Также в этой классификации системы генерации музыки отнесены к системам общения.
К интеллектуальным системам общего назначения относятся системы, которые не только исполняют заданные процедуры, но на основе метапроцедур поиска генерируют и исполняют процедуры решения новых конкретных задач.
Специализированные интеллектуальные системы выполняют решение фиксированного набора задач, предопределенного при проектировании системы.
Отсутствие четкой классификации также объясняется многообразием интеллектуальных задач и интеллектуальных методов, кроме того, искусственный интеллект – активно развивающаяся наука, в которой новые прикладные области осваиваются ежедневно.

Интеллектуальные информационные технологии (ИИТ)
(англ. Intellectual information technology, IIT) – это информационные технологии, помогающие человеку ускорить анализ политической, экономической, социальной и технической ситуации, а также – синтез управленческих решений. При этом используемые методы не обязательно должны быть логически непротиворечивы или копировать процессы человеческого мышления.

Использование ИИТ
на практике подразумевает учет специфики проблемной области, которая может характеризоваться следующим набором признаков:
качество и оперативность принятия решений;
нечеткость целей и институциональных границ;
множественность субъектов, участвующих в решении проблемы;
хаотичность, флюктуируемость и квантованность поведения среды;
множественность взаимовлияющих друг на друга факторов;
слабая формализуемость, уникальность, нестереотипность ситуаций;
латентность, скрытость, неявность информации;
девиантность реализации планов, значимость малых действий;
парадоксальность логики решений и др.

Использование ИИТ
ИИТ формируются при создании информационных систем и информационных технологий для повышения эффективности принятия решений в условиях, связанных с возникновением проблемных ситуаций. В этом случае любая жизненная или деловая ситуация – от выбора партнера по жизни до социального конфликта - описывается в виде некоторой познавательной модели (когнитивной схемы, архетипа, фрейма и пр.), которая впоследствии используется в качестве основания для построения и проведения моделирования, в том числе - компьютерного.

Специфика и классификация задач, решаемых с помощью ИИС
Интерпретация данных
Это одна из традиционных задач для экспертных систем. Под интерпретацией понимается процесс определения смысла данных, результаты которого должны быть согласованными и корректными. Обычно предусматривается многовариантный анализ данных.

Специфика и классификация задач, решаемых с помощью ИИС
Диагностика
Под диагностикой понимается процесс соотношения объекта с некоторым классом объектов и/или обнаружение неисправности в некоторой системе. Неисправность — это отклонение от нормы. Такая трактовка позволяет с единых теоретических позиций рассматривать и неисправность оборудования в технических системах, и заболевания живых организмов, и всевозможные природные аномалии. Важной спецификой является здесь необходимость понимания функциональной структуры («анатомии») диагностирующей системы.

Специфика и классификация задач, решаемых с помощью ИИС
Мониторинг
Основная задача мониторинга — непрерывная интерпретация данных в реальном масштабе времени и сигнализация о выходе тех или иных параметров за допустимые пределы. Главные проблемы — «пропуск» тревожной ситуации и инверсная задача «ложного» срабатывания. Сложность этих проблем в размытости симптомов тревожных ситуаций и необходимость учёта временного контекста.

Специфика и классификация задач, решаемых с помощью ИИС
Проектирование
Проектирование состоит в подготовке спецификаций на создание «объектов» с заранее определёнными свойствами. Под спецификацией понимается весь набор необходимых документов — чертёж, пояснительная записка и т.д. Основные проблемы здесь — получение чёткого структурного описания знаний об объекте и проблема «следа». Для организации эффективного проектирования и в ещё большей степени перепроектирования необходимо формировать не только сами проектные решения, но и мотивы их принятия. Таким образом, в задачах проектирования тесно связываются два основных процесса, выполняемых в рамках соответствующей ЭС: процесс вывода решения и процесс объяснения.

Специфика и классификация задач, решаемых с помощью ИИС
Прогнозирование. Прогнозирование позволяет предсказывать последствия некоторых событий или явлений на основании анализа имеющихся данных. Прогнозирующие системы логически выводят вероятные следствия из заданных ситуаций. В прогнозирующей системе обычно используется параметрическая динамическая модель, в которой значения параметров «подгоняются» под заданную ситуацию. Выводимые из этой модели следствия составляют основу для прогнозов с вероятностными оценками.

Специфика и классификация задач, решаемых с помощью ИИС
Планирование
Под планированием понимается нахождение планов действий, относящихся к объектам, способным выполнять некоторые функции. В таких ЭС используются модели поведения реальных объектов с тем, чтобы логически вывести последствия планируемой деятельности.

Специфика и классификация задач, решаемых с помощью ИИС
Обучение
Под обучением понимается использование компьютера для обучения какой-то дисциплине или предмету. Системы обучения диагностируют ошибки при изучении какой-либо дисциплины с помощью ЭВМ и подсказывают правильные решения. Они аккумулируют знания о гипотетическом «ученике» и его характерных ошибках, затем в работе они способны диагностировать слабости в познаниях обучаемых и находить соответствующие средства для их ликвидации. Кроме того, они планируют акт общения с учеником в зависимости от успехов ученика с целью передачи знаний.

Специфика и классификация задач, решаемых с помощью ИИС
Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что, в случае успешного обучения, сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке.

Специфика и классификация задач, решаемых с помощью ИИС
Управление
Под управлением понимается функция организованной системы, поддерживающая определенный режим деятельности. Такого рода ЭС осуществляют управление поведением сложных систем в соответствии с заданными спецификациями.

Специфика и классификация задач, решаемых с помощью ИИС
Поддержка принятия решений
Поддержка принятия решения — это совокупность процедур, обеспечивающая лицо, принимающее решения, необходимой информацией и рекомендациями, облегчающие процесс принятия решения. Эти ЭС помогают специалистам выбрать и/или сформировать нужную альтернативу среди множества выборов при принятии ответственных решений.

Специфика и классификация задач, решаемых с помощью ИИС
Вобщем, случае все системы, основанные на знаниях, можно подразделить на системы, решающие задачи анализа, и на системы, решающие задачи синтеза. Основное отличие задач анализа от задач синтеза заключается в том, что если в задачах анализа множество решений может быть перечислено и включено в систему, то в задачах синтеза множество решений потенциально не ограничено и строится из решений компонент или под-проблем.
Задачами анализа являются: интерпретация данных, диагностика, поддержка принятия решения; к задачам синтеза относятся проектирование, планирование, управление. Комбинированные: обучение, мониторинг, прогнозирование.

Данные и знания
Данные — зарегистрированная информация, представление фактов, понятий или инструкций в форме, приемлемой для общения, интерпретации, или обработки человеком или с помощью автоматических средств.
База знаний — база данных, содержащая правила вывода и информацию о человеческом опыте и знаниях в некоторой предметной области. В самообучающихся системах база знаний также содержит информацию, являющуюся результатом решения предыдущих задач.

Модели представления знаний
Типичными моделями представления знаний являются:
логическая модель;
продукционная модель;
фреймовая модель;
семантическая модель.

Продукционные модели
модели, основанные на правилах, позволяют представить знание в виде предложений типа: «ЕСЛИ условие, ТО действие».

Семантические сети
графическое изображение модели, чаще всего в виде графов. Узлы этого графа соответствуют понятиям и объектам, а дуги – отношениям между объектами.

Фреймовые модели
основывается на таком понятии как фрейм (англ. frame – рамка, каркас).
Фрейм – структура данных для представления некоторого концептуального объекта.
Информация, относящаяся к фрейму, содержится в составляющих его слотах.
Слоты могут быть терминальными либо являться сами фреймами, т.о. образуя целую иерархическую сеть.

Логическая форма представления знаний
– представляет собой несколько утверждений и фактов (формулы).
Модель нечеткой логики - основывается на неточных числах, коэффициентах уверенности, вероятности, нечетких множествах. Последние содержат упорядоченные пары, включающие номер элемента множества и функцию степени принадлежности этого элемента множеству.

Технологии обработки данных

Технологии обработки и анализа данных

Эволюция технологий обработки данных

Эволюция технологий обработки данных

Эволюция технологий обработки данных

Эволюция технологий обработки данных

Эволюция технологий обработки данных

Развитие отдельных высокотехнологичных направлений

Управление знаниями
Менеджмент знаний, также управление знаниями — это систематические процессы по созданию, сбору, накоплению, сохранению, распределению и применению знаний.

Анализ данных и искусственный интеллект
Навыки Data Science - от принятия у заказчика бизнес-проблемы до презентации результатов, внедрения и отчетности, технологии машинного обучения.
R&D (исследование и разработка), фундаментальные знания в математике, с навыки поиска и представления информации.
Управление большими данными, предварительная обработка массивов данных, применене алгоритмов машинного обучения, анализа данных и представления результатов.

Домашняя раабота
По всей классификации ИИС список ПО (отеч. и зарубеж.). Примеры.