ОЦЕНКА ЭФФЕКТИВНОСТИ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

Лекция 10.
ОЦЕНКА ЭФФЕКТИВНОСТИ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ
ПЛАН
Показатели и критерии эффективности
Подходы к о определению социальной эффективности
Подходы к определению экономической эффективности
Подходы к определению качества информационных продуктов и услуг

Литература
Пилко, И.С. Информационные и библиотечные технологии . – СПб, 2008. – С. 215–226.
!

Альтернативные парадигмы развития БИБЛИОТЕКИ как социального института:
ресурсно-ориентированная;
сервисно-ориентированная (ориентированная на результат)

Информационные институты общества призваны обеспечивать эффективное использование накопленных документных ресурсов путем предоставления потребителям разнообразного ассортимента информационных продуктов и услуг в оптимальные для пользователей сроки и желаемого качества
Суть сервисной парадигмы

Библиотека 2.0 —
получившее широкое распространение в библиотечной среде определение модернизированных видов библиотечных услуг для читателей. Основная идея заключается в возможности пользователей участвовать в создании и изменении контента и сообществ. Концепция библиотеки 2.0 заимствована от Web 2.0 и имеет схожую философию.

Сам термин «Библиотека 2.0», предложенный Майклом Кейси (Michael Casey), библиотекарем публичной библиотеки графства Гвинет штата Джоджиа, воплотил пользовательско-ориентированное представление об обслуживании, которое обеспечивает пользователям возможность получать информацию из библиотеки всякий раз и везде, где они нуждаются в этом, а также гибко реагирует на меняющиеся потребности пользователей.

Требования ИФЛА:
предоставление адекватных потребностям услуг на максимально возможном высоком уровне;
измерение эффективности работы и ее сопоставление с поставленными целями;
создание условий для постоянного повышения эффективности работы;
создание атмосферы внимания к потребностям и запросам пользователя и обеспечение высокого качества обслуживания
(Международное руководство по измерению эффективности работы университетских и других научных библиотек)

Показатели и критерии эффективности

Показатель – некоторое измеряемое свойство объекта, используемое для количественной характеристики другого, непосредственно не измеряемого свойства

Качество
Затраты
Производительность
Гибкость
Время
Показатели измерения
!

Виды мер показателей
прямые – количественные, то что можно померить непосредственно (время доставки документа);
косвенные - качественные, менее осязаемые – то, что напрямую померить сложно (удовлетворенность потребителей);
финансовые – используют денежные значения (себестоимость);
нефинансовые - показатель измерения - не деньги (доля отказов).
!

Критерий – это оценочный показатель, величина которого принимается как соотношение «лучше» - «хуже» при выработке управляющих решений

Методы измерения и расчета показателей:
статистические - учет результатов деятельности (количество посещений сайта; количество выданных документов);
экспертные - учет оценочных суждений ведущих специалистов (обоснованность стратегии поиска; глубина анализа проблемы);
органолептические - анализ признаков, выявляемых с помощью органов чувств (качество копирования изображений и текстов; художественная выразительность оформления);
социологические - сбор и анализ мнений реальных и потенциальных пользователей (культура обслуживания; комфортность информационной среды);
экспериментальные - создание искусственных учитываемых и контролируемых условий (экономия времени пользователя, эффективность эксплуатации информационных ресурсов)

Требования к показателям и критериям:
ясность толкования;
простота использования;
возможность однозначных оценочных решений, базирующихся на принципиальных основаниях;
надежность, исключение субъективных и двусмысленных суждений.

Суть проблемы:
поиск адекватных измерителей
(показателей и критериев) эффективности и качества

Принцип многокритериальности функционирования технологических систем:
каждая технологическая подсистема (ресурсная, процессная, управленческая) имеет свой набор показателей и критериев эффективности

ТЕХНОЛОГИЧЕСКАЯ МОДЕЛЬ ИНФОРМАЦИОННОЙ СИСТЕМЫ

Сложность проблемы:
множественность объектов оценки

Принцип многономенклатурности информационного производства:
разнообразие ассортимента
производимых продуктов и услуг
требует дифференцированного
подхода к оценке их
производства

2. Подходы к о определению социальной эффективности

Эффективность
(в общесистемном смысле) – отношение полученного в результате деятельности системы эффекта, соответствующего ее целям,
к затратам на функционирование.
Р
З,
где Э - эффективность,
Р - результаты,
З - затраты на них.
Э =

Социальная эффективность –
степень удовлетворения запросов пользователей. Проявляется опосредованно через конечные цели удовлетворения информационных потребностей пользователей в различных сферах учебной, научной, производственной, самообразовательной, досуговой и другой деятельности человека

Эффективность работы – это уровень достижения библиотекой поставленных целей с учетом потребностей пользователей
(Оценка эффективности и качества работы
публичной библиотеки : метод. материалы / РБА. – М., 2008)
!

Варианты оценки социальной эффективности:
Поддается лишь качественной оценке.
Оценивается показателями полноты, точности, оперативности удовлетворения запросов пользователей.
Выражает мнение пользователей, выявляемое социологическими методами.
Оценивается показателями статистики.

Статистические показатели социальной эффективности деятельности библиотек:
количество пользователей библиотек (чел.) и изменение их численности по сравнению с прошлым годом (%);
количество книговыдач (экз.) и изменение их численности по сравнению с прошлым годом (%);
количество посещений (чел.) и изменение их численности по сравнению с прошлым годом (%);
охват населения услугами библиотек (% посетителей библиотек от общей численности жителей обслуживаемой территории);
!

Статистические показатели социальной эффективности деятельности библиотек:
число мероприятий, проведенных библиотекой за год (ед.) и их средняя посещаемость;
доля мероприятий, рассчитанных на обслуживание социально менее защищенных возрастных групп: детей и подростков, пенсионеров, людей с ограничениями жизнедеятельности и т.п. (% от общего числа проводимых мероприятий);
доля новых форм библиотечно-информационного обслуживания пользователей в общем количестве предоставляемых библиотекой профильных услуг
(Оценка эффективности и качества работы
публичной библиотеки : метод. материалы / РБА. – М., 2008)
!

Удовлетворенность пользователей
!

Удовлетворенность пользователей
Оценка дается по пятибалльной шкале:
1 – очень доволен,
2 – доволен,
3 – нейтрален,
4 – недоволен,
5 – очень недоволен
Вычисляется среднее значение оценок:
S ср = сумма всех оценок / количество опрошенных
!

Степень известности библиотеки
Метод: телефонный опрос.
Показатель степени известности =
количество жителей, знающих адрес библиотеки / количество жителей, не знающих адрес библиотеки
!

3. Подходы к определению экономической эффективности

Экономическая
эффективность –
затратность функционирования: 1) эффект выполнения информационным учреждением своих функций;
2) соотношение результата, выраженного абсолютными показателями обслуживания, с проектными характеристиками

Эффективное функционирование информационной системы определяется
а) достижением максимального результата при фиксированных затратах всех видов ресурсов или
б) оптимизацией (снижением) затрат на достижение планируемого уровня удовлетворения информационных потребностей

Подходы к определению экономической эффективности:
определение затрат на единицу продукции;
сопоставление затрат на информационное обслуживание с характеристикой эффекта от использования информации, предоставленной информационной службой;
сопоставление фактических затрат на производство продукции и услуг с общественно необходимыми (нормативными) затратами

ПРОБЛЕМНАЯ СИТУАЦИЯ
!

ОПРЕДЕЛЕНИЕ ЗАТРАТ НА ЕДИНИЦУ ПРОДУКЦИИ
какие результаты библиотечной деятельности учитывать?
какие ресурсные затраты брать в расчет ?
какие показатели (натуральные, стоимостные) использовать ?
!

Совокупный бюджет текущего года включает расходы:
на комплектование (включая переплет, лицензирование и стоимость просмотра БД);
на персонал (включая персонал, вовлеченный в проекты, студентов и т.д.);
на поддержку работы ВТ и сети, стоимость лицензий на ПО и телекоммуникации;
на ремонт и замену существующего оборудования;
на каталогизацию, копирование, отправку по почте, продвижение услуг, страховку, транспорт, консультационные услуги и т.п.
Не включаются затраты на коммунальные услуги, амортизацию основных фондов и капитальные расходы.
!

Показатели затрат на единицу продукции
стоимость обслуживания одного пользователя;
расходы на одно посещение;
расходы на одну книговыдачу библиотечных документов;
расходы на обработку одного документа;
средние затраты на хранение одного экземпляра из библиотечного фонда
!

CОПОСТАВЛЕНИЕ ЗАТРАТ НА ИНФОРМАЦИОННОЕ ОБСЛУЖИВАНИЕ С ХАРАКТЕРИСТИКОЙ ЭФФЕКТА ОТ ИСПОЛЬЗОВАНИЯ ИНФОРМАЦИИ, ПРЕДОСТАВЛЕННОЙ БИБЛИОТЕКОЙ
как оценить эффект от использования информации?

СОПОСТАВЛЕНИЕ ФАКТИЧЕСКИХ ЗАТРАТ НА ПРОИЗВОДСТВО ПРОДУКЦИИ И УСЛУГ С ОБЩЕСТВЕННО НЕОБХОДИМЫМИ ЗАТРАТАМИ где найти научно обоснованные нормы и нормативы ?

Показатели экономической эффективности
доходы от уставной и предпринимательской деятельности из расчета на одного библиотечного специалиста (тыс. руб.);
доходы от уставной и предпринимательской деятельности из расчета на кв.м площади (тыс. руб.);
себестоимость одного посещения библиотеки (в руб.) и его изменение (рост, снижение) по сравнению с прошлым годом (%);
себестоимость одной книговыдачи библиотеки (в руб.) и ее изменение (рост, снижение) по сравнению с прошлым годом (%);

Показатели экономической эффективности
удельный вес расходов на комплектование библиотечных фондов от общих расходов (%);
удельный вес бюджетного финансирования в себестоимости посещений библиотеки за год (%);
удельный вес бюджетного финансирования в себестоимости книговыдачи библиотеки за год (%);
средняя зарплата работника библиотеки (руб./мес.) и ее уровень по сравнению со среднемесячной заработной платой в регионе (%).
(Оценка эффективности и качества работы
публичной библиотеки : метод. материалы / РБА. – М., 2008)

4. Подходы к определению качества информационных продуктов и услуг

Качество информационных продуктов и услуг – совокупность характеристик продуктов и услуг, определяющих их способность удовлетворять установленные или предполагаемые потребности пользователей.

Качество - полный набор свойств и характеристик продукта или услуги, которые имеют отношение к способности удовлетворять зафиксированные или подразумеваемые потребности
(Оценка эффективности и качества работы
публичной библиотеки : метод. материалы / РБА. – М., 2008
!

Характеристики качества услуг:
надежность – способность персонала точно и оперативно удовлетворить запрос, предоставить обещанную услугу;
предупредительность – готовность помочь клиенту, предоставить услугу без дополнительных обращений и напоминаний;
доверительность – умение персонала вызвать расположение;
доступность – отсутствие препятствий на пути получения услуги;
коммуникативность – взаимопонимание между персоналом и потребителями;
внимательное отношение – учет индивидуальных особенностей каждого клиента.

ВИДЫ
ПОКАЗАТЕЛЕЙ КАЧЕСТВА
ИНФОРМАЦИОННЫХ ПРОДУКТОВ И УСЛУГ

характеризуют основные свойства, состав, структуру, полезный эффект от использования продуктов или услуг и определяют область их применения (видовое распределение документов в библиографическом источнике, коэффициент свертывания информации, количество поисковых «входов» в информационный массив)
Показатели назначения

характеризуют информационную ценность подготовленных библиотекой продуктов и предоставляемых услуг (полнота, точность, оперативность информационного обслуживания)
Показатели надежности

характеризуют степень использования в информационном производстве готовых методических и технологических решений, разработанных информационно-поисковых языков, централизованно подготовленной библиографической, аналитической, справочной информации (удельный вес заимствованных записей в процессе каталогизации)
Показатели стандартизации и унификации

характеризуют эффективность технологических решений, обеспечивающих высокую производительность труда квалифицированных специалистов и вспомогательного персонала, снижение себестоимости производимых продуктов и услуг (технологическая себестоимость, удельный расход материалов)
Показатели технологичности

характеризуют комфортность информационной среды, выражают затраты труда потребителя на информационные процессы (сроки удовлетворения запросов; коэффициент информационного шума; доля библиографических записей, обеспеченных адресами хранения документов; процент отказа в получении первичных документов по результатам библиографического обслуживания; физический объем информации, предложенной пользователю)
Эргономические показатели

характеризуют выразительность, оригинальность подачи информации, соответствие времени и стилю (???)
Эстетические показатели

характеризуют затраты на создание, поиск и доведение информации до потребителей и экономическую эффективность ее использования (трудоемкость, себестоимость, расход материалов, эффект от внедрения более совершенных технологий, экономия производительного времени пользователя за счет надежного информационного обеспечения его потребностей)
Экономические показатели