Доказательность в педагогическом исследовании (семинар)

Основные понятия по теме семинара
Доказательность – важное качество правильного мышления. Это необходимое свойство рассуждений, приводящих к расширению знания.
«Доказанность и обоснованность суждений – важнейший признак научности знания» В.В. Сериков.
Доказательство – совокупность логических приемов обоснования истинности тезиса; рассуждение по определённым логическим правилам, обосновывающее истинность какого-либо предположения, утверждения, гипотезы или теории.
Аргументация – способ рассуждения, включающий доказательство и опровержение, в процессе которого создается убеждение в истинности тезиса и ложности антитезиса.

Структура доказательства в научных исследованиях
Любое доказательство включает в себя три обязательных компонента
тезис (суждение, истинность которого нужно доказать)
аргументы
(те истинные суждения, которыми пользуются при доказательстве тезиса)
демонстрация (способ логической связи между тезисом и аргументами).

Структура доказательства в научных исследованиях
Тезис - это суждение, истинность которого надо доказать.
В научных исследованиях тезис представляется в виде гипотезы. Также в научных исследованиях используется «нулевая гипотеза» — принимаемое по умолчанию предположение о том, что не существует связи между двумя наблюдаемыми событиями, феноменами. Так, нулевая гипотеза считается верной пока нельзя доказать обратное.
Учитель должен оставаться авторитетом
Совместная трудовая деятельность – основа воспитания
Обучение является движущим фактором развития

Структура доказательства в научных исследованиях
Аргументы - это те истинные суждения, которыми пользуются при доказательстве тезиса.
Виды аргументов:
Удостоверенные единичные факты. Статистические и количественные данные, свидетельские показания, подпись на документах, научные данные и факты (педагогический факт – педагогическое явление или закономерность, истинность познания которых может быть доказана).
Определения как аргументы доказательства. Определения понятий обычно даются в каждой науке. Существуют логические правила определения понятий и составления научной классификации. Особенную важность четкие определения обретают в контексте педагогических исследований.
Постулаты и аксиомы. Аксиомы – это суждения, которые принимаются в качестве аргументов без доказательств. В неформализованных науках, к которым относится и педагогика, аксиоматический метод доказательства требует эмпирического подтверждения. «Знание – сила» (Ф. Бэкон), «Всякое настоящее образование добывается только путем самообразования» (Н.А. Рубакин), «Учение – свет, а неученье – тьма».

Структура доказательства в научных исследованиях
Виды аргументов:
Ранее доказанные законы науки как аргументы доказательства. Как и аксиомы, ранее доказанные законы в педагогике нуждаются в систематической эмпирической проверке. В формализованных и точных науках это не требуется ( например – теорема о сумме углов треугольника, законы формальной логики, открытие условных рефлексов в физиологии, клеточное строение организмов и комплементарность в биологии, закон всемирного тяготения в физике, открытие зон Брока и Вернике в коре головного мозга в нейрофизиологии).
Примеры доказанных теоретических положений из педагогики.
«В качестве ведущей деятельности в дошкольном возрасте выступает сюжетно-ролевая игра» Д.Б. Эльконин.
«Зона ближайшего развития - следствие становления высших психических функций, которые формируются сначала в совместной деятельности, в сотрудничестве с другими людьми, и постепенно становятся внутренними психическими процессами субъекта» Л.С. Выготский.
«Познавательная активность возрастает, если обучающийся становится субъектом деятельности» В.В. Давыдов, А.Н. Леонтьев.
«Внутри ведущей деятельности происходит формирование или перестройка основных психических процессов ребёнка» Д.Б. Эльконин.
«Построение обучения выступает как причина, а процесс развития школьника как следствие» Л.В. Занков.

Структура доказательства в научных исследованиях
Правила доказательного рассуждения:
тезис должен быть логически определенным, ясным, точным (избегать сложных неясных определений и суждений);
тезис должен оставаться тождественным (избегать двусмысленности);
аргументы должны быть истинными и непротиворечащими друг другу (когерентными);
аргументы должны быть суждениями, истинность которых доказана независимо от тезиса (избегать «логического круга», аргументы не должны дублировать тезис);
тезис должен быть заключением, логически следующим из аргументов по общим правилам умозаключений.

Законы логики, соблюдение которых создает фундамент доказательного рассуждения:
1. Закон тождества
«В процессе рассуждения следует иметь в ввиду один и тот же предмет мысли, который должен рассматриваться таким каков он есть, и его нельзя подменять другим предметом мысли».
Формы нарушения закона тождества: подмена предмета мысли, подмена понятий, подмена тезиса, подмена спора по существу спором о словах.

Законы логики, соблюдение которых создает фундамент доказательного рассуждения:
2. Закон противоречия (непротиворечия)
«Два несовместимых друг с другом суждения не могут одновременно быть истинными; одно из них необходимо ложно».
Применим для суждений, которые отвечают трем условиям:
высказывание и его отрицание производятся об одном и том же предмете;
предмет мысли рассматривается в одно и то же время;
предмет мысли взят в одном и том же отношении.

Законы логики, соблюдение которых создает фундамент доказательного рассуждения:
3. Закон исключённого третьего (tertium non datur: третьего не дано)
«Из двух противоречащих суждений истинно только одно».
Применим для суждений, которые отвечают пяти условиям:
применим только в отношении противоречащих (контрадикторных суждений);
должны иметь место все три условия логического противоречия;
не применим к предмету мысли, существование которого нельзя ни доказать, ни опровергнуть;
не применим к высказываниям о будущем;
не применим к вероятностным суждениям. Форма нарушения: приписывание одному и тому же объекту несовместимых свойств.

Законы логики, соблюдение которых создает фундамент доказательного рассуждения:
4. Закон достаточного основания
«Всякое суждение истинно, если для этого есть достаточные основания».
Закон достаточного основания позволяет разбить логические процедуры доказательства на три группы: 1. истинные мысли доказываются; 2. ложные мысли опровергаются с помощью контрпримеров на основе закона исключенного третьего; 3. для вероятностных суждений можно установить степень доверия к информации.
Формы нарушения закона достаточного основания: недоказанное утверждение принимается на веру, поспешное обобщение, простая последовательность событий во времени принимается за причинно-следственную зависимость (по латыни: «Post hos ergo propter hos» - «после этого – в следствие этого»)
Если первые три закона логики универсальны, то к соблюдению закона достаточного основания в различных науках существуют индивидуальные требования. Педагогика не исключение.

Факторы, обеспечивающие «достаточность основания» в педагогических исследованиях:
Экспериментальная база. Наличие фактических, эмпирических данных.
Согласие с фундаментальными педагогическими теориями.
Соответствие этическим стандартам.
Соответствие существующей нормативно-правовой базе.
«Достаточность основания» определяет исследователь, но задача доказательства в том, чтобы аудитория, к которой обращается исследователь, тоже посчитала это основание достаточным для принятия тезиса. В данном случае, не следует путать доказательство и убеждение. Убедить не значит доказать. Доказательство предельно объективная процедура.

Особенности педагогики как науки и научно-прикладных исследований в области педагогики
Педагогическое знание обладает высокой степенью гносеологической неоднородности: сплав философского, естественно-научного, гуманитарного, мифологического и т.д. знания
Педагогическое знание, отколовшееся от философии, унаследовала абстрактно-образный метод мышления: идеи и принципы педагогики выглядят так же бесспорно как этические нормы
«Факты» и «Законы» в педагогике имеют специфическую природу: педагогика имеет дело не с регулярно воспроизводимыми фактами, а с неповторимым уникальным опытом. Педагогическое средство, эффективно сработавшее в одной ситуации, не обязательно окажется эффективным в другой;
Исследователей интересует не то, что педагогическое средство дало определенный результат, а в каких условиях это стало возможным;
У педагогики нет большой предсказательной силы, она больше говорит об «условиях» и «возможностях»;
Субъект исследования не может быть исключен из процесса доказательства.

Специфика доказательства в педагогических исследованиях
В педагогике нет однозначно понимаемых и принимаемых теорем и закономерностей;
Педагогические понятия бывают часто неоднозначны;
Доказательство педагогического тезиса связано с обеспечением его адекватного понимания реципиентом;
В процессе доказательства преобладает не формальная, а диалектическая логика;
Доказательство зависит от позиции субъекта доказательства;
Доказательство в педагогике это не показ необходимости, а показ возможности того или иного события;
Конечным продуктом педагогического исследования является некое нормативное знание;
Важнейшей процедурой доказательства является экспертиза.
По В.В. Серикову

Правила доказательства в педагогических научно-прикладных исследованиях
Четко сформулировать исследовательскую цель эксперимента;
Разработать дизайн эксперимента: определить признаки достижения образовательной или исследовательской цели, а также условия ее достижения, способы создания этих условий, индикаторы и шкалу измерений цели;
Корректно сформулировать гипотезу исследования;
Выполнить организационные и правовые требования к организации эксперимента;
Система и последовательность приведенных аргументов;
Показ «границ» и условий адекватной применимости полученных выводов;
Экспертиза соответствия цели, средства и результата;
Обоснование условий для получения результата;
Показ способов и обоснование надежности относительно средств достижения педагогической цели.
По В.В. Серикову

Распространенные логические ошибки при построении доказательства
Апелляция к традиции (представлять что-либо лучше в силу его традиционности);
Обращение к собственной уверенности в правильности суждения;
Обращение к анонимному авторитету (на основании многолетних исследований ученые установили);
Выдавать желаемое за действительное;
Сверхобобщение – делать обобщенные выводы, основанные на частных случаях или фактах (нарушение требования репрезентативности);
После этого – вследствие этого;
Обращение к авторитету;
Использование личного опыта;
Обращение к эмоциям, а не к данным науки, статистики и логики.
Считать, что доказывать должен сомневающийся, а не утверждающий.
«Ошибка техасского снайпера» (подтасовывать факты, чтобы оправдать событие);
Считать что-либо хорошим или плохим в силу его происхождения.

Причины слабой доказательности:
- Гносеологические: плохое знание предмета обсуждения; плохое знание правил вывода формальной логики, предрассудки, предубеждения, когнитивные искажения, слепое следование ранее доказанным положениям, авторитетам, традициям;
- Лингвистические: низкий уровень культуры речи; широкое использование окказиональных слов. Примеры окказиональных слов: «вчера», «здесь», «справа», «высоко», «севернее», «больше», «меньше», «лучше» и т.д;
- Психологические: заинтересованность в определенном выводе, эмоциональные помехи, поспешность из-за нехватки времени, индивидуальные особенности восприятия, памяти и мышления использование непозволительных приемов дискуссии.

Актуальные проблемы доказательной педагогики
Методологический кризис воспроизводимости в гуманитарных и педагогических исследованиях (из опыта работы научно-исследовательского коллектива ГБУ ДПО ЧИППКРО)
- «Публикационное смещение» (publication bias). Публикационное смещение говорит что у большого количества исследователей есть определенная установка ретушировать ход исследования и полученные данные под собственную исходную точку зрения, которую необходимо подтвердить;
- «Эффект прайминга», частным случаем которого является «эффект привязки». В научном исследовании «эффект прайминга» проявляется как зависимость исследователя (осознаваемая и неосознанная) от предшествующего опыта и предрасположенности к определенной активности в определенной ситуации. В свою очередь «эффект привязки», как частный случай, предполагает зависимость именно от ранее полученной информации (увеличение «информационного шума» и проблема «исчезающих результатов»);
- Бюрократизация научных исследований и продуктов научной деятельности. Количество научных статей является индикативным показателем работы научно-педагогических работников различных образовательных организаций, а также необходимым условием защиты диссертационных исследований, получения грантов и т. д. Важность такого показателя не подлежит сомнению, но при некорректном планировании и формальном подходе к выполнению плана страдает качество научных публикаций.

Возможности мета-анализа применительно к оценке педагогических исследований (из опыта работы научно-исследовательского коллектива ГБУ ДПО ЧИППКРО)
Выработка критериев включения/исключения оригинальных исследований в метаанализ.
Систематический поиск и отбор оригинальных исследований в соответствии с определенными ранее критериями включения/исключения.
Оценка методологического качества каждого из включенных в метаанализ исследований.
Оценка статистической гетерогенности (неоднородности) результатов исследований, включенных в метаанализ.
5. Проведение собственно метаанализа: получение обобщенной точечной величины эффекта и ее доверительного интервала.
6. Оценка «публикационных смещений» исследований, вошедших в метаанализ.
7. Формирование выводов по результатам выполненного метаанализа и анализ чувствительности результатов метаанализа (при необходимости).

Выводы
- Доказательность в педагогических исследованиях должна стремиться к теоретической и умозрительной очевидности;
Один из важнейших критериев доказательности в педагогике это «прозрачность» исследования, который позволяет соблюдать остальные критерии научного знания: возможность проверять, воспроизводить, критиковать, оценивать репрезентативность, дополнять и устанавливать степень доверия к предлагаемому вами в рамках исследования решению;
Педагогические исследования не обладают большой предсказательной силой, поэтому больше говорят о «возможностях» и «условиях»;
Предлагаемое в рамках педагогического исследования решение должно опираться на максимально полное и прозрачное обоснование того, что:
а) предлагаемое в исследовании педагогическое средство (элемент) положительно влияет на качество работы системы (в нашем случае, образовательной системы) и каким именно образом осуществляется это влияние.
б) рассмотренное в исследовании явление или причина является источником отрицательного влияния на качество работы системы и каким образом это влияние осуществляется.
в) рассмотренное в исследовании педагогическое средство или явление не оказывает ни положительного, ни отрицательного влияния на качество работы системы.
- Для обоснования выдвигаемого в исследовании вывода/решения опираться не на один или два, а, по возможности, на максимальное количество доступных критериев (маркеров).

Рекомендуемая литература:
1. Коржуев А.В., Антонова Н.Н. Логико-гносеологический формат педагогического познания и доказательная педагогика / А.В. Коржуев, Н.Н. Антонова // Высшее образование в России. 2018. Т. 27. № 10. С. 136-145.
2. Сериков В.В. Доказательность результатов педагогического исследования как методологическая проблема / В.В. Сериков // Инновационные программы и проекты в образовании. 2020. № 6. С. 13 – 18.
3. Сериков В.В. Педагогическое исследование: в поисках путей повышения качества / В.В. Сериков // Образование и наука. 2015. № 7 (126). С. 4 – 20.
4. Образцов П. И. Методология, методы и методика педагогического исследования: Учебное пособие. – Орел: ФГБОУ ВО «Орловский государственный университет им. И.С. Тургенева», 2016. – 134 с.
5. Яковлев Е.В., Яковлева Н.О. Педагогическое исследование: содержание и представление результатов / Е.В. Яковлев, Н.О. Яковлева. – Челябинск.: Изд-во РБИУ, 2010. – 317 с.
6. Список когнитивных искажений https://www.psychologos.ru/articles/view/spisok-kognitivnyh-iskazheniy
7. Список логических ошибок (https://www.drive2.ru/b/495204370183357046/ и https://utmagazine.ru/posts/16511-sporschikam-na-zametku-samye-chastye-logicheskie-oshibki)