Доказательство надежности и валидности при использовании новой методики

Надежность теста
Надёжностью называется один из критериев качества теста, его устойчивость по отношению к погрешностям измерения. Различают два вида надёжности — надёжность как устойчивость и надёжность как внутреннюю согласованность.
Устойчивость результатов теста или ретестовая надежность (англ — test-retest reliability) — возможность получения одинаковых результатов у испытуемых в различных случаях.
Внутренняя согласованность(англ. — internal consistency) определяется связью каждого конкретного элемента теста с общим результатом, тем, насколько каждый элемент входит в противоречие с остальными, насколько каждый отдельный вопрос измеряет признак, на который направлен весь тест.

Способы выявления надежности методики
Метод расщепления (Split-half reliability)
Этот метод заключается в расщеплении/разделении теста на две равные части (например, четные и нечетные вопросы, первая и вторая половина), а затем находится корреляция между ними. Если корреляция высокая, тест можно считать надежным.
Метод альфа Кронбаха
В этом методе, предложенном Ли Кронбахом, сравнивается разброс каждого элемента с общим разбросом всей шкалы. Если разброс результатов теста меньше, чем разброс результатов для каждого отдельного вопроса, следовательно, каждый отдельный вопрос направлен на исследование одного и того же общего основания. Они вырабатывают значение, которое можно считать истинным. Если такое значение выработать нельзя, то есть получается случайный разброс при ответе на вопросы, тест не надежен и коэффициент альфа Кронбаха будет равен 0. Если же все вопросы измеряют один и тот же признак, то тест надежен и коэффициент альфа Кронбаха в этом случае будет равен 1.

Альфа Кронбаха в SPSS
Анализ
Шкалы
Анализ надежности
отметить нужные переменные;
выбрать «Альфа».
4. Ок

Валидность
Валидность— мера соответствия методик и результатов исследования поставленным задачам.
Содержательная валидность — степень соответствия содержания заданий методики той реальной деятельности, в которой проявляется измеряемое в методике свойство.
Конструктная валидность — это степень обоснованности того, что методика действительно измеряет заданные и при этом научно обоснованные конструкты.
Критериальная валидность — это определенная статистическими методами степень соответствия результатов методики и определенных заранее внешних критериев.

Конструктная валидность
«Конвергентная валидизация» — это проверка ожидаемой связи результатов конкретной методики с показателями других методик, измеряющих сходные характеристики, с помощью корреляционного анализа.
«Дискриминантная валидизация» - проверка валидности здесь заключается в том, что тест не должен измерять никакой черты, с которой он теоретически и не должен быть связан.

Факторный анализ
Факторный анализ используется:
для замены множества коррелирующих переменных меньшим их числом – факторов;
для выявления скрытой, недоступной для измерения переменной;
для измерения структуры измеряемых показателей методики.

Факторный анализ в SPSS
Анализ
Снижение размерности
Факторный анализ: добавляем переменные
Извлечение: метод главных компонент; график собственных значений.

Определение числа факторов
Количество факторов определяет
исследователь:
«по изгибу графика»;
число факторов равно числу
компонент собственное значение
которых больше 1.

Факторизация
Анализ
Снижение размерности
Факторный анализ: добавляем переменные
4. Извлечение:
-пишем число факторов;
метод максимального правдободобия.
5. Вращение : варимакс.

Результаты факторного анализа
Критерий согласия должен быть больше 0,05;
Повернутая факторная матрица отражает долю выраженности показателя в факторе;
Матрица коэффициентов факторных значений отражает данные для дальнейшего использования в исследовании.

Нестандартизированная анкета для педагогов

Определение надежности
Альфа Кронбаха:
в экспериментальной группе α= 0,813;
в контрольной группе α=0,78.

Примечание: * - p≤0,05; ** - p<0,001 ; 1- употребление спиртных напитков; 2- воровство; 3- драки; 4- использование ненормативной лексики; 5- агрессивность ко взрослым; 6 – агрессивность к сверстникам; 7 - самовольные уходы; 8 - семейная ситуация; 9 – КДН; I – депрессия; II - враждебность ко взрослым; III - тревога к детям; IV - асоциальность; V - враждебность к детям; VI – неугомонность; VII – умственная отсталость; VIII - сексуальное развитие, IX - болезни органические нарушения; X физические дефекты
Взаимосвязь показателей нестандартизированной беседы и карты наблюдений Л.Сттта.
Конструктная валидность

Факторный анализ