Перечень биомедицинских журналов ВАК: качество публикаций и экспертизы

Содержание

Слайд 2

Сайт ВАК – версия от ноября 2010

Часто недоступен (напр., 19/12/10)
Отсутствует информация о

Сайт ВАК – версия от ноября 2010 Часто недоступен (напр., 19/12/10) Отсутствует
составе экспертных советов
Отсутствует информация о деятельности экспертных советов

Слайд 3

Формирование Перечня журналов ВАК в 2010 г.

Объявлены формальные требования к журналу, среди

Формирование Перечня журналов ВАК в 2010 г. Объявлены формальные требования к журналу,
них
Достаточное условие – включение издания в одну из «систем цитирования» (… PubMed …- это не система цитирования, а базы данных!!!)
Наличие у издания института рецензирования для экспертной оценки рукописей – декларация?
(о статистическом рецензировании не упоминается)
оценка журнала экспертной комиссией ВАК,
по словам Г. Фомина, начальника отдела организационно-методической работы Управления организации и государственного контроля в сфере аттестации научных и научно-педагогических работников Рособрнадзора
(процедура не объявлена)

Слайд 4

Отставание отечественных журналов

Web of Science: среди российских журналов самый высокий импакт-фактор —

Отставание отечественных журналов Web of Science: среди российских журналов самый высокий импакт-фактор
1,5 — имеет журнал «Биохимия»
Занимающие верхние строчки рейтинга базы зарубежные журналы Annual Review of Biochemistry, Physiological Reviews и Nature Genetics имеют импакт-факторы соответственно 31,6, 30,1 и 29,6, т.е. в 20 раз выше, чем наши

Слайд 5

«Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты»

В.П. Леонов
доцент Томского государственного университета,

«Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты» В.П. Леонов доцент Томского

редактор сайта БИОМЕТРИКА

Слайд 6

Исследование В.П. Леонова опубликовано:

http://www.biometrica.tomsk.ru/kuzbass1.htm
Анализ качества представления процедуры и результатов статистического анализа в 600

Исследование В.П. Леонова опубликовано: http://www.biometrica.tomsk.ru/kuzbass1.htm Анализ качества представления процедуры и результатов статистического
публикациях
статьи
диссертации
тезисы конференций
173 страницы

Слайд 7

Доказательная медицина

это технология сбора, обобщения и анализа медицинской информации, которая позволяет формулировать

Доказательная медицина это технология сбора, обобщения и анализа медицинской информации, которая позволяет
научно обоснованные решения в медицине

Слайд 8

Доказательная медицина и статистика
Одним из важнейших инструментов доброкачественных исследований для ДМ является

Доказательная медицина и статистика Одним из важнейших инструментов доброкачественных исследований для ДМ
статистика.
Отношение медиков к статистике нередко выступает в качестве лакмусовой бумажки их отношения к ДМ в целом.

Слайд 9

Отношение к статистике в среде медиков
Группы медиков:
1. Понимают важность и полезность статистики как

Отношение к статистике в среде медиков Группы медиков: 1. Понимают важность и
одного из основных инструментов ДМ. Овладевают на идейном уровне основными методами биостатистики, статистическими пакетами, в пределах своих возможностей.
2. Относятся к статистике как неизбежному элементу исследования, призванному придать результатам «глянец научности», и в силу этого воспроизводят как наиболее популярные правильные решения, так и ошибки и заблуждения, присущие их коллегам.
3. Считают статистику, как инструмент, вообще непознаваемой.

Слайд 10

Цель исследования В.П. Леонова


Оценка надёжности авторских выводов в области медицинских технологий, базирующихся

Цель исследования В.П. Леонова Оценка надёжности авторских выводов в области медицинских технологий,
на результатах использования статистических методов, а также классификация типичных ошибок и заблуждений при использовании методов статистики для анализа биомедицинских данных.

Слайд 11

Материалы исследования
В течение 2010 г. были проанализированы статьи из электронных версий журналов,

Материалы исследования В течение 2010 г. были проанализированы статьи из электронных версий
входящих в список журналов, рекомендованных ВАК для публикации результатов кандидатских и докторских диссертаций.
«Мать и дитя в Кузбассе» (39 выпусков) http://www.medpressa.kuzdrav.ru/ID_download_MiD.htm
«Медицина в Кузбассе» (83 выпуска) http://www.medpressa.kuzdrav.ru/ID_download_MK.htm
«Политравма» (16 выпусков)
http://www.mine-med.ru/catalog/main.php?id=249
Эти журналы есть и в последней версии Перечня от 22.10.10
Были также проанализированы 74 диссертации и материалы научно-практических конференций, проведенных в Кемерово.
Всего было проанализировано порядка 1000 публикаций.

Слайд 12

География публикаций


Авторская география проанализированных публикаций не ограничена только Кузбассом: Кемерово, Новокузнецк, Прокопьевск,

География публикаций Авторская география проанализированных публикаций не ограничена только Кузбассом: Кемерово, Новокузнецк,
Ленинск-Кузнецкий, Красноярск, Томск, Омск, Новосибирск, Тюмень, Уфа, Абакан, Барнаул, Санкт-Петербург, Москва, Чита, Ставрополь, Ижевск, Смоленск, Казань, Екатеринбург, Владивосток, Ярославль, Пермь, Челябинск, Хабаровск и т.д.
Но:
Журналы учреждены и издаются именно в Кузбассе.
Редакционная коллегия медицинских журналов представлена в основном учёными Кузбасса.
Анализируемые диссертации были либо выполнены в организациях Кузбасса, либо в них защищены.
Медицинская наука Кузбасса

Слайд 13

Полученный материал обрабатывали статистически
Статистическую обработку проводили стандартными (общепринятыми, общепризнанными) методами
Нет общепринятых методов

Полученный материал обрабатывали статистически Статистическую обработку проводили стандартными (общепринятыми, общепризнанными) методами Нет
статистики
Статистическую обработку проводили критерием Стьюдента (вариант: СтЪюдента).
Статистическая обработка полученных данных осуществлялась качественным методом группой экспертов.
нонсенс

Описания статистических аспектов исследований, встречающиеся во многих публикациях

Слайд 14

Статистическую обработку проводили с использованием метода (методов) вариационной статистики
Нет невариационной статистики
Обработку результатов

Статистическую обработку проводили с использованием метода (методов) вариационной статистики Нет невариационной статистики
проводили с использованием метода (методов) математической статистики
Больных лечили медицинскими методами
Зубы пациентов лечили стоматологическими методами
Полученные цифровые данные обрабатывали статистически с применением критерия достоверности
Все расчёты осуществлены с использованием стандартного программного пакета Word
!!!

Описания статистических аспектов исследований, встречающиеся во многих публикациях

Слайд 15

КРАТКОСТЬ – СЕСТРА ТАЛАНТА? ИЛИ ПРИЗНАК НЕЗНАНИЯ?

Диссертация на соискание учёной степени к.м.н.

КРАТКОСТЬ – СЕСТРА ТАЛАНТА? ИЛИ ПРИЗНАК НЕЗНАНИЯ? Диссертация на соискание учёной степени
Красновой Н.В. «Медико-социальные и ультразвуковые аспекты скрининговых исследований гиперпластических процессов эндометрия» Научные руководители: зам. директора по научной работе Кузбасского кардиологического центра, д.м.н., проф. Артамонова Г.В.; главный врач МУЗ «Клинический консультативно-диагностический центр», д.м.н., проф. Колпинский Г.И. Кемерово – 2004.

Слайд 16

КРАТКОСТЬ – СЕСТРА ТАЛАНТА? ИЛИ ПРИЗНАК НЕЗНАНИЯ?

Проверка какой статистической гипотезы проводилась, в

КРАТКОСТЬ – СЕСТРА ТАЛАНТА? ИЛИ ПРИЗНАК НЕЗНАНИЯ? Проверка какой статистической гипотезы проводилась,
результате которой был получен для использованного (неизвестного) статистического критерия уровень Р≤0,05?

Слайд 17

КРАТКОСТЬ – СЕСТРА ТАЛАНТА? ИЛИ ПРИЗНАК НЕЗНАНИЯ?

К.Е. Казакова, Е.И. Кондратьева, А.А. Терентьева,

КРАТКОСТЬ – СЕСТРА ТАЛАНТА? ИЛИ ПРИЗНАК НЕЗНАНИЯ? К.Е. Казакова, Е.И. Кондратьева, А.А.
Г.А. Суханова, Р.В. Чусова, М.В. Лепехина, Л.К. Обликова, Л.П. Рихванов. Влияние экологических факторов на распространенность мочевого синдрома среди детей г. Томска. Мать и Дитя в Кузбассе №1 (28) 2007, стр. 27-30.
Цитируем: «Статистический анализ проведен с использованием пакета прикладных программ Statistica 6.0 для непараметрических исследований». Полагаем, что комментарии излишни…

Слайд 18

ПРОЦЕНТЫ – ПРИМИТИВНО? ЗАТО ДОСТУПНО!

Аккерт Е.М., Бушмакина О.А. Гигиенические знания по уходу

ПРОЦЕНТЫ – ПРИМИТИВНО? ЗАТО ДОСТУПНО! Аккерт Е.М., Бушмакина О.А. Гигиенические знания по
за полостью рта у студентов разных высших учебных заведений г. Кемерово. Кафедра детской стоматологии Кемеровской государственной медицинской академии, г. Кемерово. Научный руководитель – д.м.н., проф. Г.Ф. Киселев. Проблемы медицины и биологии: мат. Межрег. науч.-практ. конф. молодых ученых и студентов, посвященной 55-летию КемГМА (Кемерово, 15–16 апр. 2010 г.) / Под общ. ред. В. И. Подолужного; отв. ред. Д. Ю. Кувшинов. – Кемерово: КемГМА, 2010. – 242 с. (URL: http://www.kemsma.ru/rio/store/2010031701.pdf )
Цитируем: «Проанкетировано 514 человек обоего пола (18–24 лет), обучающихся в различных высших учебных заведениях г. Кемерово. … Полученные результаты статистически обработаны. … Отмечено, что около 63 % студенческого населения пользуются зубными щетками средней жесткости, 12,2 % – мягкими зубными щетками, 12,2 % покупают зубные щетки случайно и не знают степень ее жесткости, 10,2 % студентов используют жесткие зубные щетки, 2,2 % – очень жесткие, а 0,2 % студентов предпочитают очень мягкие зубные щетки».
С полным основанием утверждение «Полученные результаты статистически обработаны» можно заменить утверждением «Полученные результаты арифметически обработаны». Ведь процентные отношения изучаются в школе в рамках арифметики.

Слайд 19

Упоминание в диссертациях и статьях критерия Стьюдента

«Данные обработаны статистически с использованием параметрического

Упоминание в диссертациях и статьях критерия Стьюдента «Данные обработаны статистически с использованием
t-критерия Стьюдента»
«Полученные цифровые данные подвергали математико-статистической обработке по Стьюденту»
«Достоверность различий между средними величинами параметров определяли с помощью критерия Стьюдента»

Слайд 20

Использование критерия Стьюдента

Цюрюпа В.Н., Визило Т.Л., Власова И.В., Одинцева О.В. Неврологические аспекты

Использование критерия Стьюдента Цюрюпа В.Н., Визило Т.Л., Власова И.В., Одинцева О.В. Неврологические

бронхиальной астмы. Медицина в Кузбассе. №4, 2005, стр. 223-225. ФГЛПУ Научно-клинический центр охраны здоровья шахтеров, г. Ленинск-Кузнецкий.
Обратим внимание на то, что авторы практически постулируют, что все признаки в группах сравнения имеют нормальное распределение. На чём основана такая уверенность? И почему не упоминается второе обязательное условие применимости этого критерия – равенство дисперсий?

Слайд 21

Т-критерий Стьюдента

Анализ 1540 отечественных и 392 зарубежных журнальных статей, а также 160

Т-критерий Стьюдента Анализ 1540 отечественных и 392 зарубежных журнальных статей, а также
отечественных диссертаций биомедицинской тематики:
Т-критерий Стьюдента используется в 58% отечественных публикаций
В зарубежных публикациях этот метод используется лишь в 11% публикаций
Популярность Т-критерия Стьюдента объясняется исторически – он прост для ручных вычислений, что было решающим в до-компьютерную эпоху

Слайд 22

Проблема и решение

С. Гланц: Ошибочное использование критерия Стьюдента увеличивает вероятность «выявить» несуществующие

Проблема и решение С. Гланц: Ошибочное использование критерия Стьюдента увеличивает вероятность «выявить»
различия
Условием публикации в JAMA является согласие авторов со следующим положением: «В случае необходимости я предоставлю данные, на которых основана рукопись, на проверку редакторам или их уполномоченным»

Слайд 23

Пример незнания и непонимания основных понятий статистики

Статья Н.А. Барбараш, О.Л. Барбараш. Некоторые

Пример незнания и непонимания основных понятий статистики Статья Н.А. Барбараш, О.Л. Барбараш.
аспекты взаимосвязи образования и здоровья. Медицина в Кузбассе. №1, 2007, стр. 12-17. Кемеровская государственная медицинская академия, г. Кемерово.

Слайд 24

Описания статистических аспектов исследования

Урошникова Н.А., Аникина Е.В., Никулин А.В. Влияние дефектов зубных

Описания статистических аспектов исследования Урошникова Н.А., Аникина Е.В., Никулин А.В. Влияние дефектов
рядов на качество жизни больных сахарным диабетом. Медицина в Кузбассе. Спецвыпуск № 2 2009, стр. 192-193. Ижевская государственная медицинская академия, Республиканская стоматологическая поликлиника, г. Ижевск.
Цитируем: «Построение гистограмм производили с использованием статистического пакета Microsoft Excel методами параметрической статистики».
В таких случаях уместно спросить:
Уважаемые! Вы сами-то поняли, что написали? Как можно использовать «методы параметрической статистики» в «построении гистограмм»? А если можно, то где об этом написано в вашей статье?

Слайд 25

Описания статистических аспектов исследования

Диссертация Мун Стеллы Андреевны: Оценка канцерогенного воздействия окружающей среды

Описания статистических аспектов исследования Диссертация Мун Стеллы Андреевны: Оценка канцерогенного воздействия окружающей
на население крупного центра углеперерабатывающей промышленности Западной Сибири. Диссертация на соискание учёной степени кандидата медицинских наук. Научный руководитель: доктор медицинских наук, профессор, заместитель председателя диссертационного совета Д 208.035.01 по защите диссертаций на соискание ученой степени доктора медицинских наук по специальностям: 14.00.07 - гигиена (медицинские науки); 14.00.30 - эпидемиология (медицинские науки). 14.00.33 - общественное здоровье и здравоохранение (медицинские науки) Громов Константин Георгиевич. Официальные оппоненты: доктор медицинских наук Куркатов Сергей Васильевич, кандидат медицинских наук, доцент Чухров Юрий Семенович. Ведущая организация: ГУ НИИ комплексных проблем гигиены и профессиональных заболеваний СО РАМН. Кемерово – 2006.
Т. е. диссертант, например, брала два, (или более?) непараметрических критерия (каких конкретно?), сравнивала их между собой (непонятно только зачем и как?), и для того, чтобы установить, различаются ли они между собой значимо, использовала Хи-квадрат. При этом критический уровень значимости для Хи-квадрат принимала равным 0,05.

Слайд 26

Почему же статистика столь сложна для понимания врачами?

С точки зрения профессионального медика:
Многие

Почему же статистика столь сложна для понимания врачами? С точки зрения профессионального
статистические термины создают ощущение ложного узнавания, поскольку были заимствованы из обыденного языка, например "значимый", "ошибка", "нормальный". Многие авторы статей не осознают различий между терминологическим и обыденным смыслом этих слов.
Понимание статистических принципов требует развитого абстрактного мышления, занятие же медициной не располагает к увлечению абстракциями. Врачам непривычно мыслить такими категориями, как популяция, вероятность распределения, нулевая гипотеза.
Врачи испытывают почти мистический трепет перед математическим аппаратом, лежащим в основе статистических расчетов, полагая, что точная наука не может ошибаться. Это приводит к наивной вере во всемогущество статистических методов, без понимания их роли и особенностей применения.

Слайд 27

Внимание!
Авторами проанализированных публикаций являются не случайные в науке люди, уровня медицинского персонала

Внимание! Авторами проанализированных публикаций являются не случайные в науке люди, уровня медицинского
из сельских ФАП, а известные врачи, работающие в больших организациях, таких как медицинские академии и университеты, НИИ РАМН и т.д.
Эти организации представлены в «Перечне учреждений здравоохранения, имеющих право проводить клинические исследования лекарственных средств», утверждённому приказом Федеральной службы по надзору в сфере здравоохранения и социального развития от 09.03.2010 № 1762-Пр/10.
А согласно «Правилам аккредитации медицинских организаций на право проведения клинических исследований лекарственных препаратов для медицинского применения» эти медицинские организации должны «иметь в штате специалистов, получивших дополнительное профессиональное образование в области проведения клинических исследований лекарственных препаратов».
Поскольку такие исследования невозможно проводить без использования методов статистики, то это требование означает наличие в таких организациях специалистов, получивших дополнительное профессиональное образование по статистике.

Слайд 28

Документ

«Правила проведения качественных клинических испытаний в Российской Федерации» ОСТ 42-511-99:
п. 2.38: «Отчёт

Документ «Правила проведения качественных клинических испытаний в Российской Федерации» ОСТ 42-511-99: п.
включает в себя описание клинических и статистических методов, а также представленные в наглядной форме результаты анализа данных исследования».
п. 7.9 «Статистика»: в отчёте требуется приводить описание всех методов статистической обработки данных, а также применяемый уровень значимости.
п. 6.4.1. «Спонсор должен привлекать квалифицированных сотрудников (биостатистиков, клинических фармакологов, врачей) на всех этапах проведения исследования, начиная со стадии создания протокола, карт испытуемых, статистики и заканчивая обработкой данных и подготовкой промежуточного и окончательного отчетов».

Слайд 29

Документ

«НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ГОСТР 52379-2005. НАДЛЕЖАЩАЯ КЛИНИЧЕСКАЯ ПРАКТИКА»
(ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО

Документ «НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ ГОСТР 52379-2005. НАДЛЕЖАЩАЯ КЛИНИЧЕСКАЯ ПРАКТИКА» (ФЕДЕРАЛЬНОЕ АГЕНТСТВО
ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ. Москва, 2005)
«Надлежащая клиническая практика (Good Clinical Practice; GCP) представляет собой международный этический и научный стандарт планирования и проведения исследований с участием человека в качестве субъекта, а также документального оформления и представления результатов таких исследований. Соблюдение указанного стандарта служит для общества гарантией того, что права, безопасность и благополучие субъектов исследования защищены, согласуются с принципами, заложенными Хельсинкской декларацией Всемирной медицинской ассоциации (ВМА), и что данные клинического исследования достоверны».
Последнее надо понимать так, что несоблюдение требований указанного стандарта не гарантирует достоверность клинического исследования. В п. 5.5.1 сказано: «Спонсор обязан привлекать обладающих соответствующей квалификацией лиц для общего руководства исследованием, работы с данными, верификации данных, проведения статистического анализа и подготовки отчётов об исследовании».
В п. 6.9 «Статистика» также говорится о необходимости описания статистических методов и уровня значимости.

Слайд 30

Деформация целей и причин появления публикаций

Количество публикаций, а не их качество, является

Деформация целей и причин появления публикаций Количество публикаций, а не их качество,
одним из основных доказательств успешности деятельности сотрудника, кафедры, факультета, вуза, НИИ и т.п.
Этому же способствует и политика ВАК, штампующей некачественные диссертации, в которых в массовом порядке присутствуют «статистический шлак».
К этому приводит и непрофессионализм журнальных редколлегий.
Если в таких всемирно известных журналах, как Lancet, BMJ и JAMA, печатаются лишь 4-5% поступающих рукописей, то в
отечественных журналах, особенно в небольших региональных, практически все 100%.

Слайд 31

ЗАЧЕМ НАМ КУЗНЕЦ? НАМ КУЗНЕЦ НЕ НУЖЕН

Чем же объяснить отсутствие статистического сервиса

ЗАЧЕМ НАМ КУЗНЕЦ? НАМ КУЗНЕЦ НЕ НУЖЕН Чем же объяснить отсутствие статистического
в отечественных медицинских вузах и НИИ?
Причины:
требования в области корректности использования и описания статистики в биомедицине со стороны ВАК и отечественных медицинских журналов, в том числе журналов, включённых в так называемый «Перечень ведущих периодических изданий» ВАК, практически отсутствуют
руководители многих НИИ не заинтересованы в высоком качестве научно-исследовательских работ

Слайд 32

Истинная причина

Введение статистического рецензирования диссертаций, которое по замыслу должно привести к повышению

Истинная причина Введение статистического рецензирования диссертаций, которое по замыслу должно привести к
их качества, неизбежно приведёт к снижению их количества.

Слайд 33

Кто виноват? Что делать?

Необходимые меры для повышения
качества публикаций
Организация целевых семинаров для

Кто виноват? Что делать? Необходимые меры для повышения качества публикаций Организация целевых
аспирантов и докторантов по статистической тематике
Формулирование редакционными коллегиями медицинских научных журналов ясных и понятных требований к использованию и описанию в публикациях статистических методов
Введение института статистического рецензирования в журналах

Слайд 34

Кто виноват? Что делать?
Обширная география авторов проанализированных публикаций
Межрегиональный статус журналов и диссертационных

Кто виноват? Что делать? Обширная география авторов проанализированных публикаций Межрегиональный статус журналов
советов
Современный уровень требований к статистическим аспектам в рукописях статей и диссертациях
Получение более объективной оценки уровня статистических аспектов в поступающих рукописях и диссертациях
Привлечение специалистов в области статистики
Изменение отношения исследователей к биостатистике

Слайд 35

Цифры

С 1996 по 2006 г., по данным ВАК, число защищённых кандидатских диссертаций

Цифры С 1996 по 2006 г., по данным ВАК, число защищённых кандидатских
в России выросло в 2,6 раза, причем по Центральному федеральному округу — всего на 70%.
По данным Рособрнадзора, в 2005 г. защищено было 30 116 диссертаций.
Имеет место трёхкратный рост числа кандидатов и докторов по медицинским и сельскохозяйственным наукам.
Отклоняются, по данным ВАК, всего лишь 3% представленных работ.
Такой рост числа диссертаций приводит к тому, что ВАК РФ физически не в состоянии контролировать качество этих диссертаций.
Тенденция передачи полномочий по окончательным решениям по диссертациям в диссертационные советы.

Слайд 36

Диссертации в Интернет!
Президент Российской Федерации Д.А. Медведев: «…особое внимание должно быть уделено

Диссертации в Интернет! Президент Российской Федерации Д.А. Медведев: «…особое внимание должно быть
формированию единой базы научных диссертаций в электронном виде и обеспечению прозрачности процедуры их защиты. Все диссертации, все авторефераты по-хорошему должны быть выложены в электронной форме, чтобы были видны те, кто у нас реально наукой занимается, и те диссертации, за которые просто стыдно иногда бывает».

Слайд 37

Меры для повышения качества публикаций

Одно лишь размещение полных текстов диссертаций в Интернет

Меры для повышения качества публикаций Одно лишь размещение полных текстов диссертаций в
не решит основных проблем повышения их качества.
Радикальные меры:
Электронные тексты всех диссертаций, кроме имеющих гриф ограниченного доступа, необходимо предъявлять в диссертационный совет и в ВАК, который бы размещал их на своём сайте. Причём формат этих текстов должен обеспечивать свободное копирование как всего текста, так и отдельных его фрагментов.
Кроме того, на сайте должна быть предусмотрена возможность обсуждения каждой работы.

Слайд 38

Меры для повышения качества публикаций

Почему столь важно обеспечение свободного доступа к полному

Меры для повышения качества публикаций Почему столь важно обеспечение свободного доступа к
тексту диссертации?
расширение экспертной аудитории, следовательно более объективная оценка качества исследования
проверка текста диссертации на наличие в нём плагиата. Это возможно с использованием обычных поисковых систем
Представление электронных отзывов на сайте ВАК, что даст диссертационному совету возможность более объективной оценки представленных диссертаций
В чём же ещё практическая польза от размещения полных текстов диссертаций в Интернет?
реальная возможность оценки достигнутых результатов научного исследования будущими потребителями

Слайд 39

www.biometrica.tomsk.ru [email protected] В.П. Леонов
Благодарю за внимание

www.biometrica.tomsk.ru leo.biostat@gmail.com В.П. Леонов Благодарю за внимание
Имя файла: Перечень-биомедицинских-журналов-ВАК:-качество-публикаций-и-экспертизы.pptx
Количество просмотров: 124
Количество скачиваний: 0