Сравнение точности пайплайнов обработки NGS

Зачем это всё?
Для использования NGS в клинической практике нужны точные и воспроизводимые результаты
Новые или старые программы?
Как их сравнивать?
Кто круче?
Пайплайнов много, а правда одна

Есть ли стандартный пайплайн?
?

Нельзя просто так взять и получить vcf файл!

Что мы измеряем?
Ожидание
Реальность

Что мы измеряем?

Что мы измеряем?
Точность (Precision) = TP / (TP + FP) – как много найденных вариантов на самом деле есть;
Чувствительность (Sensitivity) = TP / (TP + FN) – как много найденных вариантов подтвердилось с учетом не найденных вариантов;
Специфичность (Specificity) = TN / (TN + FP) – как много не найденных вариантов действительно нет

«Золотой» образец NIST
Семья из Юты: NA12878 Genome in a Bottle
ОЧЕНЬ хорошо охарактеризован

«Золотой» образец NIST

http://bcb.io/2013/02/06/an-automated-ensemble-method-for-combining-and-evaluating-genomic-variants-from-multiple-callers/

Low concordance of multiple variant-calling pipelines: practical implications for exome and genome sequencing (1) - SNP
Genome Medicine 2013 5:28
DOI: 10.1186/gm432

Low concordance of multiple variant-calling pipelines: practical implications for exome and genome sequencing (2) - SNP
Genome Medicine 2013 5:28
DOI: 10.1186/gm432

Low concordance of multiple variant-calling pipelines: practical implications for exome and genome sequencing (3) - InDels
Genome Medicine 2013 5:28
DOI: 10.1186/gm432

Low concordance of multiple variant-calling pipelines: practical implications for exome and genome sequencing (4) - InDels
Genome Medicine 2013 5:28
DOI: 10.1186/gm432

Что мы решили проверить?
Bowtie 2 (version 2.1.0, http://bowtie-bio.sourceforge.net/bowtie2/index.shtml)
BWA-MEM (version 0.7.8, http://bio-bwa.sourceforge.net/)
Novoalign (version 3, http://www.novocraft.com/products/novoalign/)
GATK Haplotype Caller (https://www.broadinstitute.org/gatk/)
SAMtools (version 0.2.0, http://samtools.sourceforge.net/)
FreeBayes (version v0.9.21, https://github.com/ekg/freebayes/)
Platypus (http://www.well.ox.ac.uk/platypus)

Результаты исследования iBinom NA12878 (экзом)
Чувствительность (Sensitivity), %
Точность (Precision), %

Результаты исследования iBinom NA12877 (симулированный экзом)
Чувствительность (Sensitivity), %
Точность (Precision), %

Результаты исследования iBinom – образец NA12878, общие SNP

Пара слов о важности настроек
bwa_samtools_new2 -- "call -c" (без специальных опций)
bwa_samtools_new3 -- "call -p 0.2 -c --output-type v -v -"
bwa_samtools_new4 -- "call -p 0.5e-2 -c --output-type v -v -"

Выводы исследования iBinom
Не всегда 2 хороших тула хорошо работают вместе (пример: BWA-MEM + GATK HC)
Нравящиеся нам пайплайны:
BWA-MEM+Samtools 2 и Novoalign+Samtools

Почему разные пайплайны дают столь отличающиеся результаты?
Потому что входящие в пайплайны блоки варьируются, меняя условия для принятия конечного решения о мутации
До 30% SNP и InDels лежат как раз в этой области неопределённости.
Если немного пошевелить исходные условия (покрытие, качество нуклеотидов), изменяется результат коллинга.

Как проверить свои результаты
http://www.bioplanet.com/gcat

PrecisionFDA Challenge

Тестовые файлы
Внимание! Размер каждого сжатого файла около 50 Гб

Проблемы
Невоспроизводимость результатов одного и того же пайплайна!
Многие коллеры используют вероятностные модели
В силу вероятностной природы результаты 2 запусков одного и того же пайплайна РАЗЛИЧАЮТСЯ
Проблемы с референсом (даже PrecisionFDA Challenge рекомендует GRCh37)