Оценивание достижений

www.oxfordquality.ru
www.relod.ru
Курсы для преподавателей вузов

Место тестирования в жизни
Тестирование занимает важное место в социальной жизни человека («пропуск»)
Общество мало осведомлено о природе и применении тестирования
Процедуры представляются нечеткими и непонятными
Это вызывает беспокойство и беспомощность

Изменения в тестировании
Стало более гуманным и щадящим
не «чего не знает», «что умеет»
Новые формы оценивания
проекты
портфолио
самооценивание

Задачи мониторинга -определение и оценка
Качества обучения
Степени сформированности иноязычной компетентности
Уровня владения видами речевой деятельности

Функции контроля
Собственно контролирующая (проверочная)
Оценочная
Обучающая
Управляющая \ корректирующая
Диагностическая
Предупредительная
Стимулирующая \мотивирующая
Обобщающая
Развивающая,воспитывающая,дисциплинирущая

Функции контроля
Собственно контролирующая (проверочная)
Оценочная
Обучающая
Управляющая \ корректирующая
Диагностическая
Предупредительная
Стимулирующая \мотивирующая
Обобщающая
Развивающая,воспитывающая,дисциплинирущая

Функции контроля
TESTING
Оценочная
TEACHING
Управляющая \ корректирующая
Диагностическая
Предупредительная
Стимулирующая \мотивирующая
Обобщающая
Развивающая,воспитывающая,дисциплинирующая

Teaching vs. Testing
Содержание, приемы и методика контроля должны носить обучающий характер
Синтезировать ранее усвоенный материал и приобретенный умения
Обеспечивать их повторение и закрепление
Test what you teach, not teach what you are going to test

Требования к контролю
Соответствие условиям обучения
Соответствие современным лингводидактическим принципам
Целенаправленность
Систематичность
Соответствие определенным качественным характеристикам

Качественный контроль должен быть
Объективным
Репрезентативным
Адекватным
Надежным
Экономичным
Обеспечивать простоту выявления и оценки результатов

Виды контроля
Текущий
Тематический
Промежуточный
Периодический
Итоговый

Формы контроля
Опрос (фронтальный, индивидуальный, комбинированный, взаимный)
Наблюдение
Собеседование
Анкетирование
Тестирование
Оценочные суждения
Экзамен

Формы контроля
Опрос (фронтальный, индивидуальный, комбинированный, взаимный)
Наблюдение
Собеседование
Анкетирование
Тестирование
Оценочные суждения
Экзамен

Language testing ≠ тестирование
Любые формы контроля
Всегда предполагает измерение

Контроль =
Evaluation
Assessment
Testing

Evaluation – контроль за учебным процессом
Систематический сбор надежной и адекватной информации о ходе учебного процесса, ее интерпретация с целью принятия решений об уровне обученности, о качестве учебных программ,учебного процесса в целом
Управляющая, корректирующая, обобщающая функция

Assessment
Контроль за учебным процессом, опирающийся на данные тестирования, оценки, измерения
Оценочная, обучающая, диагностическая и предупредительная функции

Assessment vs. evaluation
Summative assessment
Formative evaluation
Self-assessment
Summative evaluation
Formative assessment
Self-evaluation

Washback effect / backwash
влияние контроля на учебный процесс
Положительное
Улучшение качества
Учебных материалов
Программ обучения
Приемов обучения
Повышение мотивации учащихся
Отрицательное
Нет соответствия
проверяемым объектам и целям
Условиям и метод.принципам обучения
Натаскивание

Test types (цель)
Proficiency test – тест общих умений ->
Achievement test – тест успеваемости <-
Progress achievement test
Final achievement test
Diagnostic test – диагностический тест
Placement test – тест размещения
Aptitude test – тест определения способностей

Test types (способ)
Бланковые языковые тесты
Языковые знания
Рецептивные умения
=> задания с фиксированным ответом
Тесты продуктивных умений
Письмо и говорение
В акте коммуникации
Оцениваются экспертами
Поведение остается неуловимым

По характеру деятельности
Linguistic test
Pragmatic test
По направленности заданий
Discrete test
Integrative test / global test

Валидность и надежность тестов
Validity
Что измеряет тест и насколько хорошо он это делает
Способность сделать адекватное обобщение
(пригодность для определенной цели)
Reliability
надежность и устойчивость результатов
независимость от времени, условий проведения, экспертов и тд

Формирование образовательной компетентности
Процесс количественных и качественных изменений в ее структуре, обеспечивающих ее формирование как интегративного личностного формирования
Может быть объектом внешнего управления

Цели системы оценки и контроля качества иноязычного образования
Создание единой системы оценки и контроля качества языкового образования в школе
Получение объективной информации о состоянии качества развития образовательной компетентности каждого учащегося.
Повышение уровня информированности потребителей образовательных услуг (родителей и учащихся)
Обеспечение объективности при проведении процедур контроля качества образовательной компетентности учащихся.

Контроль продуктивных умений
Writing
Speaking
CEFR – уровневые дескрипторы
Лингвистическая компетенция
Прагматическая компетенция
Социо-культурная компетенция

ЛИНГВИСТИЧЕСКАЯ КОМПЕТЕНТНОСТЬ:
наполнение по дескрипторам CEFR
ОБЩАЯ ШКАЛА ВЛАДЕНИЯ ЯЗЫКОВЫМИ СРЕДСТВАМИ
СЛОВАРНЫЙ ЗАПАС
УПОТРЕБЛЕНИЕ СЛОВАРЯ
ГРАММАТИЧЕСКАЯ ПРАВИЛЬНОСТЬ РЕЧИ
ОРФОГРАФИЧЕСКИЙ КОНТРОЛЬ

ДИСКУРСИВНАЯ КОМПЕТЕНТНОСТЬ: наполнение по дескрипторам CEFR
ЧТЕНИЕ
ОБЩЕЕ ПОНИМАНИЕ ЧИТАЕМОГО
ЧТЕНИЕ ДЛЯ ОРИЕНТАЦИИ
ЧТЕНИЕ ДЛЯ ИЗВЛЕЧЕНИЯ ИНФОРМАЦИИ и ИЗВЛЕЧЕНИЯ АРГУМЕНТОВ
ОБРАБОТКА ТЕКСТА
ПОНИМАНИЕ КОНТЕКСТУАЛЬНЫХ ОПОР И ВЫВОД СМЫСЛА

ДИСКУРСИВНАЯ КОМПЕТЕНТНОСТЬ: наполнение по дескрипторам CEFR
АУДИРОВАНИЕ
ОБЩИЕ УМЕНИЯ АУДИРОВАНИЯ
НЕПОСРЕДСТВЕННОЕ АУДИРОВАНИЕ В КАЧЕСТВЕ УЧАСТНИКА АУДИТОРИИ (лекции, обсуждения, дискуссии)
ВЕДЕНИЕ ЗАПИСЕЙ-КОНСПЕКТОВ
ВЗАИМОДЕЙСТВИЕ

ДИСКУРСИВНАЯ КОМПЕТЕНТНОСТЬ: наполнение по дескрипторам CEFR
МОНОЛОГИЧЕСКАЯ РЕЧЬ
РАЗВЕРНУТЫЙ МОНОЛОГ (ОПИСАНИЕ)
РАЗВЕРНУТЫЙ МОНОЛОГ (ПРИВЕДЕНИЕ ДОВОДОВ)
ПУБЛИЧНОЕ СООБЩЕНИЕ

ДИСКУРСИВНАЯ КОМПЕТЕНТНОСТЬ: наполнение по дескрипторам CEFR
ПИСЬМО
ПОРОЖДЕНИЕ ПИСЬМЕННОГО ТЕКСТА
ДОКЛАДЫ И ЭССЕ

ДИСКУРСИВНАЯ КОМПЕТЕНТНОСТЬ: наполнение по дескрипторам CEFR
ПРАГМАТИЧЕСКИЕ СТРАТЕГИИ
ПЛАНИРОВАНИЕ
КОМПЕНСАЦИЯ
МОНИТОРИНГ ОШИБОК
ЦЕЛОСТНОСТЬ И СВЯЗНОСТЬ 119
РАЗВИТИЕ ТЕМЫ
БЕГЛОСТЬ УСТНОЙ РЕЧИ 123

ДИСКУРСИВНАЯ КОМПЕТЕНТНОСТЬ: наполнение по дескрипторам CEFR
СОЦИОЛИНГВИСТИЧЕСКАЯ КОМПЕТЕНТНОСТЬ
СОЦИОЛИНГВИСТИЧЕСКАЯ ПРАВИЛЬНОСТЬ

Cambridge ESOL “band”, B1
Content
Letter must include all the points in the notes.
Organisation and cohesion
• Letter format, with early reference to why the person is writing.
• Clear organisation of points.
• Suitable opening and closing formulae.
Appropriacy of register & format
• Informal (informal) letter.
Range
• Language appropriate for expressing appreciation, explaining, commenting and giving information.
Target reader
• Would be informed.

Task-specific scale for a letter
• Express appreciation of the place where the camp is held.
• Explain that/why the work is/was fun the previous year (could be implicit).
• Mention accommodation in tents.
• Comment on food.
• Explain that there was enough free time.

IELTS: Writing и Speaking
Writing
content,
organisation,
register,
format,
target reader
Speaking
Discourse management
Vocabulary range
Grammar accuracy
Pronunciation
Global impression

B2+: Writing: full realisation of the task set
• All content points included and expanded upon where the task allows.
• Controlled, natural use of language; minimal error which are minor.
• Wide range of structure and vocabulary.
• Effectively organised, with appropriate use of cohesive devices.
• Register and format consistently appropriate.
Very positive effect on the reader.

B2: Writing: good realisation of the task set.
• All content points adequately dealt with.
• Generally accurate, errors when complex language is attempted.
• Good range of structure and vocabulary.
• Generally well-organised, with attention paid to cohesion.
• Register and format on the whole appropriate.
Positive effect on the reader.

B1
Writing: reasonable achievement of the task set.
• All major content points included; some minor omissions.
• A number of errors will be present, but they do not impede communication.
• Adequate range of structure and vocabulary.
• Organisation and cohesion is satisfactory, on the whole.
• Register and format reasonable, although not entirely successful.
Satisfactory effect on the reader.

A2
Writing: inadequate attempt at the task set.
• Some major content points omitted or inadequately dealt with; some irrelevance is likely.
• Errors sometimes obscure communication, are numerous, and distract the reader.
• Limited range of structure and vocabulary.
• Content is not clearly organised or linked, causing some confusion.
• Inappropriate register and format.
Negative effect on the reader.

A1: Writing: poor attempt at the task set.
• Notable content omissions and or considerable irrelevance, possibly due to
misinterpretation of the task set.
• Serious lack of control; frequent basic errors.
• Little evidence of structure and vocabulary required by task.
• Lack of organisation, causing a breakdown in communication.
• Little attempt at appropriate register and format.
Very negative effect on the reader.

Speaking:
Grammar and vocabulary
Discourse management
Pronunciation
Interactive communication
Global Achievement

Generally effective command of the spoken language B2
• Able to handle communication in familiar situations.
• Able to organise extended discourse but occasionally produces utterances that lack coherence and some inaccuracies and inappropriate usage occur.
• Maintains a flow of language, although hesitation may occur whilst searching for language resources.
• Although pronunciation is easily understood, L1 features may be intrusive.
• Does not require major assistance or prompting by an interlocutor.

Limited but effective command of the spoken language (B1)
• Able to handle communication in most familiar situations.
• Able to construct longer utterances but is not able to use complex language except in well-rehearsed utterances.
• Has problems searching for language resources to express ideas and concepts resulting in pauses and hesitation.
• Pronunciation is generally intelligible, but Lt features may put а strain on the listener.
• Has some ability to compensate for communication difficulties using repair strategies but may require prompting and assistance by an interlocutor.

Basic command of the spoken language (A2)
• Able to convey basic meaning in very familiar or highly predictable situations.
• Produces utterances which tend to be very short — words or phrases — with frequent hesitations and pauses.
• Dependent on rehearsed or formulaic phrases with limited generative capacity.
• Only able to produce limited extended discourse.
• Pronunciation is heavily influenced by Lt features and may at times be difficult to understand.
• Requires prompting and assistance by an interlocutor to prevent communication from breaking down.

Assessing presentations
Planning
evidence of careful preparation
Objectives
clarity
appropriacy to audience / subject
CONTENT
extent
relevance
appropriacy
subject knowledge
research
Approach
message support and reinforcement
variety
humour
Organization
coherence
clarity
appropriacy
Visual Aids
appropriacy
clarity
handling
DELIVERY
pace
enthusiasm
rapport
eye-contact
audibility
intonation
confidence
body language
Language
clarity
accuracy
fluency
appropriacy
pronunciation
signaling
Overall
clarity of message
achievement of objectives
interesting?
enjoyable?
informative?
motivating

Оценивание презентаций
Content
Наличие полезной и интересной для данной аудитории информации
Очевидность отбора информации
Обоснование отбора информации
Organization
Четко сформулированные цели презентации

Оценивание презентаций
Delivery
Рассказ по заметкам- слайдам, ни в коем случае не чтение текста или зачитывание слайдов
Language
Беглая речь без ошибок, затрудняющих понимание
Отсутствие ошибок, на которых было обращено внимание ранее
Наличие клише в основных структурных частях (introduction, main part, summary, conclusion)
Transitional phrases для перехода между частями внутри main part

Writing: assessing a summary
Content (0-1-2-3)
the main idea is understood and expressed correctly (no misinterpretations)
Structure (0-1-2)
all functions presented accordingly (topic/problem)
topicality / background/ interest for
methodology / examples
conclusion
Vocabulary (0-1-2)
ambitious language used; knowledge of ESP vocabulary evident
no repetitions of structures /ideas
no “lifting” from the text
Grammar (0-1-2)
effective structures for compressing used,
complex sentence structure and appropriate linkers used
Spelling and Punctuation (0-1)
No mistakes that impede understanding

Bloom’s taxonomy
Remembering
Understanding
Analyzing
Applying
Evaluating
Creating

Bloom’s taxonomy
Remembering: Retrieving, recognizing, and recalling relevant knowledge from long-term memory.

Bloom’s taxonomy
Understanding: Constructing meaning from oral, written, and graphic messages through interpreting, exemplifying, classifying, summarizing, inferring, comparing, and explaining.

Bloom’s taxonomy
Analyzing: Breaking material into constituent parts, determining how the parts relate to one another and to an overall structure or purpose through differentiating, organizing, and attributing

Bloom’s taxonomy
Applying: Carrying out or using a procedure through executing, or implementing.

Bloom’s taxonomy
Evaluating: Making judgments based on criteria and standards through checking and critiquing.

Bloom’s taxonomy
Creating: Putting elements together to form a coherent or functional whole; reorganizing elements into a new pattern or structure through generating, planning, or producing.

Направления дальнейшего развития
Отбор \ разработка критериев согласно CEFR
Отработка форм промежуточного и итогового контроля в соответствии с компетентностным подходом