Анализ опыта СО РАН пооценке результативности научного труда по формальнымпоказателям

Основные методы реструктуризации институтов СО РАН:
Сокращение числа институтов за счет присоединения части к более крупным и превращения их в филиалы
Программно-целевое финансирование и программно-целевые методы планирования «базовых» фундаментальных исследований
Уменьшение числа проектов, по которым ведутся исследования
Определение ежегодного рейтинга институтов. Конкурсное финансирование институтов.

Определение ежегодного рейтинга институтов
Пункты, по которым производится рейтинговая оценка институтов: количество печатных работ в рецензируемых изданиях с учетом их импакт-фактора, прикладная деятельность (объем внебюджетного финансирования), учет патентов, финансирование по грантам, доля молодых сотрудников и аспирантов, защиты диссертаций.

Определение ежегодного рейтинга институтов
Очень полезный и принципиально верный подход. Определение рейтинговой оценки является одним из основных достижений СО РАН. По результатам рейтинга институтам выделяются определенные премиальные средства.
Основные подводные камни заключаются в том, что система критериев, их «вес» в рейтинговой оценке института значительно меняется год от года учеными советами СО РАН по направлениям наук.

Определение ежегодного рейтинга институтов
Оцениваются:
1) удельное количество (на научного сотрудника) и
2) качество (импакт фактор журналов) опубликованных статей,
3) публикация монографий (баллы даются комиссией на основании уровня издательства, доли авторов из института в коллективе соавторов, объема монографии),
4) количество грантов
5) объем внешнего финансирования
6) проведение международных конференций
7) наличие государственных премий
8) доля молодых сотрудников.
По каждой номинации определяют порядок мест для каждого инст. – 1, 2, 3 и т.п. Потом суммируют места у каждого и институт, набравший минимальное количество баллов получает первое место. Таким образом, оценка институтов идет по олимпийской системе.

Определение ежегодного рейтинга институтов
Выделенные по результатам рейтинга институтам средства распределяются внутри института в качестве премиальных на основании действующего законодательства и коллективных договоров. Распределение осуществляется в соответствии с разработанными в институтах схемами премирования, которые могут включать как полную «уравниловку», так и ежегодную внутреннюю рейтинговую оценку.

Определение ежегодного рейтинга институтов
В целом в СО РАН разработана хорошая система рейтинговых показателей, но есть и ряд недостатков:
1) не всегда используемые критерии строго формализуемы, очень сложно сравнивать институты по формальным показателям даже в рамках одного объединенного ученого совета по направлению наук.
Решение: Зафиксировать систему показателей после обсуждения, с выработкой четких критериев для не формальных показателей.

Определение ежегодного рейтинга институтов
1) Олимпийская система формально делает разрыв в один бал и при очень большой и при очень маленькой разнице в конкретном показателе между институтами (например: институты с количеством статей 100, 50, 49 займут 1, 2, 3 место по этому показателю).
Решение: В принципе это решается СО РАН, так как по итогам оценки присуждается несколько первых или вторых или третьих мест, если разброс баллов между институтами не существенный.

Определение ежегодного рейтинга институтов
3) Затраты по рейтингу не всегда адекватны вознаграждению – то есть для того чтобы добиться лидирующих мест в рейтинге СО РАН институт должен очень серьезно работать, однако сумма выигрыша по сравнению с последним местом не так велика. К примеру, общий объем финансирования за рейтинговую победу составляет порядка 500000-700000 в год на институт. При этом все остальные, так называемые дополнительные средства на стационары, экспедиции и оборудование делятся пропорционально численности, количеству стационаров и т.п. Таким образом, реальное количество денег, получаемое институтом сверх минимальной базы на исследования, мало зависит от его рейтинга.

Схемы распределения рейтинговых надбавок в некоторых институтах СО РАН

Принцип определения рейтинга
Основной принцип: устанавливается ряд формальных показателей, которым путем экспертной оценки присваивается определенный вес.
Формальные показатели достаточно близки во всех институтах и включают научные публикации и научно-организационную деятельность.
В то же время вес этих формальных показателей сильно отличается в различных институтах

Рейтинги лабораторий и исследователей
В некоторых институтах принципы рейтинговой оценки лабораторий и исследователей отличаются между собой, в некоторых – нет.
В настоящее время рейтинговая оценка оказывает влияние только на распределение надбавок , но не оказывает влияние на финансирование исследовательских нужд лаборатории (оборудование, расходные материалы).

Примеры систем рейтинговых оценок
ИБФ СО РАН
СИФИБР СО РАН
ИЗК СО РАН

ИБФ СО РАН
Основные принципы организации рейтинговой оценки:
В рейтинговой системе оцениваются только научные сотрудники.
Рейтинг лаборатории равен сумме рейтингов ее сотрудников.

ИБФ СО РАН
Рейтинг научного сотрудника складывается из:
Баллов, начисленных за публикации;
Баллов, начисленных за хозяйственную деятельность (гранты и хоз.договора, деньги которых проходят через бухгалтерию ИБФ и с которых взимаются накладные расходы получают 1 балл за каждые 1945 долларов США. Сумму, приходящуюся на каждого участника проставляет руководитель гранта)
Баллы за публикации и гранты суммируются друг с другом

ИБФ СО РАН
1 балл в данной системе рейтинга имеет вполне понятный "физический" смысл. Если годовой рейтинг научного сотрудника равен одному баллу, это означает, что он, например, опубликовал в этом году одну статью без соавторов в авторитетном российском журнале, с ненулевым импактом (напр., Доклады АН, Биофизика или Микробиология). Это вполне достойная эффективность работы, и все сотрудники (лаборатории) имеющие рейтинг выше единицы, считаются успешно работающими.

ИБФ СО РАН
Система рейтинга существенно облегчила процесс премирования сотрудников (распределения надбавок). Теперь выделение премиального фонда лабораториям происходит автоматически, пропорционально числу набранных рейтинговых баллов в предшествующем году. Это положение официально закреплено в коллективном договоре. Все расчеты ведутся совершенно открыто, выдаются зав. лабораториями, и каждый может проверить, какая сумма приходится на его подразделение. Рейтинги лабораторий после утверждения Ученым советом вывешиваются на всеобщее обозрение на весь год.

ИБФ СО РАН: научная продукция
Таким образом, внутренний рейтинг в ИБФ доказал свою полезность, стал неотъемлемой частью жизни научного коллектива, способствовал повышению эффективности научной работы. Последние три года по рейтингу Объединенного Ученого Совета по биологическим наукам СО РАН Институт биофизики занимает место в первой тройке.

СИФИБР СО РАН
Основные принципы организации рейтинговой оценки:
В рейтинговой системе оцениваются отдельно лаборатории и научные сотрудники.
Лаборатории оцениваются по критериям, незначительно отличающимся от критериев оценки научных сотрудников.
Рейтинг заведующего лабораторией равен рейтингу его лаборатории.

СИФИБР СО РАН : лаборатории
Рейтинг лаборатории и ее заведующего складывается из:
Баллов, начисленных за публикации;
Баллов, начисленных за научно-организационную деятельность (количество аспирантов, организация конференций, защита диссертаций)
Баллов, начисленных за хозяйственную деятельность (участие в грантах)
Сумма баллов делится на число научных сотрудников и вычисляется среднее за пять лет

СИФИБР СО РАН: лаборатории

СИФИБР СО РАН: лаборатории
Анализ рейтинга лабораторий показал, что данному критерию в институте соответствует 70% лабораторий.

СИФИБР СО РАН: сотрудники
Рейтинг научного сотрудника складывается из:
Баллов, начисленных за публикации;
Баллов, начисленных за научно-организационную деятельность (руководство студентами и аспирантами, защита диссертаций, чтение лекций)
Баллов, начисленных за хозяйственную деятельность (участие в грантах)
Вычисляется средняя сумма баллов за пять лет

СИФИБР СО РАН: сотрудники

СИФИБР СО РАН: сотрудники
Путем экспертной оценки было установлено, что пороговое значение соответствия критериям эффективной работы соответствует 70 баллов у докторов, 30 баллов у кандидатов и 20 баллов у научных сотрудников без степени.
Анализ показал, что критериям соответствует 90% докторов наук, 70% кандидатов наук и 60% научных сотрудников без степени.

СИФИБР СО РАН: публикации
Таким образом, так же, как и в в ИБФ СО РАН внутренний рейтинг в СИФИБР СО РАН доказал свою полезность и способствовал повышению эффективности научной работы.

ИЗК СО РАН: сотрудники
Рейтинг научных сотрудников проводится независимо от занимаемой ими должности.
Рейтинг проводится отдельно по трем позициям:
Импакт-фактор журналов, в которых опубликованы статьи;
Общая научная продукция (все статьи, включая и те, что уже учитываются в предыдущем пункте, монографии, труды конференций и т.д.)
Научно-организационная деятельность (чтение лекций, количество дополнительно заработанных денег и т.д.)
Рейтинг проводится по результатам 5-ти последних лет научной деятельности сотрудника.

ИЗК СО РАН: сотрудники
Импакт-факторы.
Используются рекомендованные значения СО РАН: импакт-фактор отечественных журналов помножается на 10, иностранных – на 5. Для учета «личного вклада» первым 3 авторам статей начисляется полный импакт фактор, всем последующим с понижающим коэффициентом – четвертому 0.9, пятому 0.8 и т.д., до 0.5.

ИЗК СО РАН: сотрудники
Общая научная продукция
Разному типу научной продукции присваиваются различные баллы, в зависимости от «веса» публикации: статьям в отечественных переводных журналах, и международных журналах - 15 баллов, в не переводных журналах – 10 баллов, материалах совещаний (свыше 3-х страниц текста) – 5 баллов, тезисам – 1 балл и т.д. Личный вклад научного сотрудника учитывается в зависимости от его места в списке авторов, так же как и для графы импакт-факторов.

ИЗК СО РАН: сотрудники
Научно-организационная деятельность
Различным видам деятельности присваиваются различные баллы, вес которых определен на основе экспертной оценки.

ИЗК СО РАН: сотрудники
Окончательный рейтинг научного сотрудника рассчитывается, как сумма мест по первым двум, категориям +половина суммы мест по третей категории. Таким образом, наибольший вес оказывается у импакт-факторов (статьи с импакт-факторами учитываются дважды в первой и второй категории), а наименьший у научно-организационной деятельности.

ИЗК СО РАН: сотрудники
Контроль и распределение средств
Каждый научный сотрудник заполняет анкету, указывая все показатели, используемые в рейтинге. К анкете прилагается список публикаций и справка из бухгалтерии о количестве дополнительно заработанных средств. Анкета заверяется завлабом, несущим ответственность за достоверность информации. Все данные передаются в рейтинговую комиссию, где вся информация пересчитывается заново.
Таблица со всеми сводными параметрами доступна каждому сотруднику института.
Выделяются три категории надбавок при 110-115 научных сотрудников: за первые 10 мест, за последующие 20 и за последующие 20-30 (в зависимости от ожидаемой суммы дополнительного финансирования).
Суммы надбавок устанавливаются дирекцией.

ИЗК СО РАН: сотрудники

ИЗК СО РАН: сотрудники
Принципы рейтинговой оценки и результаты утверждаются ученым советом
Могут корректироваться от года к году, однако, как показывает практика, в не зависимости от этого после нескольких лет рейтинговой оценки первые, середина и последние остаются практически без изменений от года к году, за редкими исключениями.

ИЗК СО РАН: сотрудники

ИЗК СО РАН: сотрудники
Система рейтинга требует модификации, и должна включать в себя индекс-цитирования работ, за последние пять лет.

ИЗК СО РАН: лаборатории
Оценка лабораторий проводится за один год по той же системе, что СО РАН оценивает институты.
В зависимости от рейтинга, лабораториям выделяются средства для надбавок инженерному составу.
Распределение надбавок инженерам осуществляется завлабом в рамках выделенных средств.

Выводы
Рейтинговая система внутри институтов привела к тому, что активные сотрудники получили дополнительный стимул для научной работы.
Отчетливо выявляются группы сотрудников: сильные, середняки, слабые.