Методы обработки данныхв пакете CRW-DAQ

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
О чем эта презентация
Пакет CRW-DAQ активно используется для автоматизации исследовательских физических установок в
Саров (ВНИИЭФ; Бинар)
Дубна (ЛЯР,ОИЯИ,ACCULINA; ЛЯП,ОИЯИ,ТРИТОН)
Ст.Петербург(Университет, институт Бонч-Бруевича)
Geneve, Switzerland (CERN,ALICE,PHOS)
Москва(Университет)
Екатеринбург
Череповец…
Есть документация и обширный опыт эксплуатации конкретных измерительных систем
Однако есть большой недостаток документации по встроенным в CRW-DAQ методам обработки данных
Данная презентация – попытка частично восполнить этот пробел

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Назначение пакета CRW-DAQ
Сбор данных и управление в реальном времени
Сбор экспериментальных данных в реальном времени
Управление физическими установками в реальном времени
Визуализация - отображение измеряемых данных в режиме online
Архивация - накопление измеренных данных для последующего анализа
Предварительный анализ экспериментальных данных
Сохранение \ загрузка накопленных экспериментальных данных
Визуализация – отображение измеренных данных в режиме offline
Манипуляции с кривыми: удаление фрагментов, фона, арифметические операции над кривыми, сглаживание, сортировка, интерполяция и т.д.
Передача данных в специализированные пакеты обработки данных
Пакет CRW-DAQ не ставит целью заменить собой специализированные пакеты обработки данных (Excel, MatLab, MatCad и т.д.)
Методы обработки CRW-DAQ ориентированы на предварительную обработку “сырых” экспериментальных данных для использования в публикациях, либо последующего анализа в специализированных пакетах

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Какие бывают окна в CRW-DAQ
Аббревиатуру CRW-DAQ можно перевести как CuRves,Windows and Data AcQuisition. Нельзя эффективно работать с CRW-DAQ, пока не научился работать с окнами. Потому начнем с окон.
Виды окон:
Консоль ввода-вывода
График кривых
График поверхности
Текстовый редактор
Мнемосхема
Таблица

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Кривые и окна
Для обработки данных основной интерес представляют окна с кривыми (другие окна чаще используются в системах сбора данных).
Если Excel, Origin и т.д. являются таблично-ориентированными программами (электронные таблицы),
То CRW-DAQ является графически–ориентированной программой. Т.е. работа в CRW-DAQ идет обычно непосредственно с графиками кривых и окнами, а не с таблицами. Таблицы носят вспомогательный характер.
Кривая – упорядоченный массив точек (x,y) длины N, обычно x-время, y – измеряемая величина. На кривые лучше смотреть не как на таблицы, а как на дискретное представление функции y(x). Кривая также имеет РОИ (РегиОн Интереса), паспорт (сопроводительный текст), цвет, толщину и другие атрибуты.
Окно – контейнер для хранения и отображения кривых. Оно содержит список кривых, имеет также пределы (границы отображения), палитру (набор цветов), заголовок и другие атрибуты.

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Свойства кривых и окон
Выбор пределов графика, Ctrl-F8
Функции окна доступны в меню “Кривая\Вызвать”
Автоматическое
масштабирование, F8
Данные - в кривых
Кривые - в окнах
А окна - в списке
Список окон
программы F6
Список кривых
в окне Ctrl-F
Выбор пределов РОИ

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Свойства кривых и окон
Можно менять внешний вид кривых, меню “Правка\Стиль кривой”
(Ctrl-Y)
Можно менять внешний вид окон, меню “Правка\Стиль окна”
(Ctrl-W)
Можно копировать или переносить кривые из одного окна в другое
Зацепить мышью и копировать
Зацепить мышью и перетащить
Вырезать
в буфер обмена Ctrl-X
Копировать
в буфер обмена Ctrl-C
Вставить
из буфера обмена Ctrl-V

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Форматы данных CRW-DAQ
*.crw - файлы “быстрых” (однократных) серий данных
Время локальное (от начала измерений)
Серии данных независимы (не сшиваются)
Один файл может содержать много серий данных
Данные хранятся как кривые в окнах (“фотоснимок” окна с кривыми)
*.dat – файлы “длительных” (круглосуточных) данных
Время астрономическое (календарное)
Каждый файл содержит одну серию данных за сутки
Файлы данных одной серии сшиваются (разбиты на суточные файлы)
Серия (группа кривых) идентифицируется префиксом файлов: QMS_20060418.dat
Данные хранятся в специальном сжатом формате (для сокращения объема)
*.txt – файлы текстовых таблиц для обмена
Данные в виде текстовой таблицы ASCII
Таблицы служат в основном для передачи данных в другие программы
Clipboard – текстовые таблицы для обмена
Данные в виде текстовой таблицы ASCII для копирования в другие программы

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как загрузить файлы *.crw
Вызвать меню “Файл\Открыть” или Ctrl-O
Тип файлов “Архив CRW-DAQ”
Выбор файла в диалоге “Файл\Открыть”
Выбор серии данных в файле
Результат – окно с кривыми

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как загрузить файлы *.dat
Меню “Daq\Склеить файлы *.dat” или кнопка в окне “DAQ-СИСТЕМА”
Тип файлов “Файлы данных *.dat”
Выбор СПИСКА файлов “Прочитать *.dat файлы”
Выбор списка кривых, начала и единиц времени, параметров сортировки
Результат – окно с кривыми

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как скопировать данные в Excel
(в электронную таблицу)
Выбрать окно с кривыми - меню “Окно\Выбрать” или F6
Выбрать кривую в окне (или отменить выбор, если нужны ВСЕ кривые) – меню “Кривая\Выбрать” или Ctrl-F
Меню “Файл\Печать” или Ctrl-P
Выбрать “Скопировать как текстовую таблицу в буфер обмена”
Перейти в окно Excel
Меню “Правка\Вставить” или Ctrl-V
Результат – таблица (время, значение)

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как скопировать данные в Word
(вставить картинку в отчет)
Выбрать окно с кривыми - меню “Окно\Выбрать” или F6
Выбрать кривую в окне– меню “Кривая\Выбрать” или Ctrl-F
Меню “Файл\Печать” или Ctrl-P
Выбрать “Скопировать изображение в буфер обмена (цвет)”
Перейти в окно Word
Меню “Правка\Вставить” или Ctrl-V
Результат – картинка в отчете

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как записать данные в таблицу
Способ №1
Выбрать окно с кривыми - меню “Окно\Выбрать” или F6
Выбрать кривую в окне– меню “Кривая\Выбрать” или Ctrl-F
Меню “Файл\Печать” или Ctrl-P
Выбрать “Скопировать как текстовую таблицу в буфер обмена”
Меню “Файл\Создать\Текстовое окно” или Ctrl-N
Меню “Файл\Вставить” или Ctrl-V
Результат – текст с таблицей

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как записать данные в таблицу
Способ №2
Выбрать окно с кривыми - меню “Окно\Выбрать” или F6
Выбрать кривую в окне– меню “Кривая\Выбрать” или Ctrl-F
Меню “Кривая\Таблица” или Ctrl-T
Задать формат таблицы
Результат – текст с таблицей
+ Таблица может быть форматированной
- Ограничение на число столбцов <= 16

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как прочитать таблицу данных
(импорт из других программ)
Открыть текстовое окно с таблицей, можно через меню “Файл\Открыть” (Ctrl-O), можно через меню “Файл\Создать” (Ctrl-N) и затем “Правка\Вставить” (Ctrl-V)
Выделить текст, содержащий таблицу (“Правка\Выделить все” = Ctrl-A)
Меню “Правка\Таблица” или Ctrl-T
Задать формат таблицы, т.е. указать, из каких столбцов брать данные
Результат – окно с кривой

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как выполнить простые расчеты
(калькулятор)
Способ 1
Меню “Инструменты\Калькулятор” или Ctrl-F10
Ввести формулу в окне “Калькулятор”
Результат – в окне
Способ 2
Меню “Окна\Главная консоль” или Ctrl-Alt-C
Ввести формулу в окне “Главная консоль\Input”
Результат – в окне

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как построить график функции
(по заданной формуле)
Меню “Инструменты\График 2D” или Alt-F10
Задать программу (формулу функции); функция задается в параметрическом виде x(t), y(t), объем программы не ограничен, язык – как в консоли и калькуляторе
Результат – окно с графиком функции

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как обработать кривую
(арифметика)
Выбрать окно с кривыми, кривую в окне
Меню “Кривая\Утилита анализа данных” или Ctrl+U
Выбрать утилиту “_CURVE_FORMULATOR”
Набрать формулу обработки
Нажать “Пуск”
Результат – новое окно с кривыми
К каждой точке кривой применяется указанная пользователем формула

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как интерполировать
(изменить “сетку”)
Выбрать окно с кривыми, кривую в окне
Меню “Кривая\Утилита анализа данных” или Ctrl+U
Выбрать “_CURVE_FIT_TO_NEW_GRID”
Выбрать параметры сетки – интервал (a,b), число точек n…
Нажать “Пуск”
Результат – новое окно с кривыми

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как найти определенный интеграл
(площадь под пиком)
Выбрать окно с кривыми, кривую в окне
Выбрать РегиОн Интереса РОИ, меню “Вид\Мышь\Выбрать левый РОИ” и “Вид\Мышь\Выбрать правый РОИ”
Меню “Daq\Интеграл” или кнопка в окне “DAQ-СИСТЕМА”
Результат – интеграл кривой в РОИ, печатается в окне “Главная консоль”
Исходные данные не меняются

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как найти первообразную
(неопределенный интеграл)
Выбрать окно с кривыми, кривую в окне
Меню “Кривая\Утилита анализа данных” или Ctrl+U
Выбрать “_CURVE_INTEGRAL”
Нажать “Пуск”
Результат – новое окно с кривыми

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как найти производную
(численное дифференцирование)
Выбрать окно с кривыми, кривую в окне
Меню “Кривая\Утилита анализа данных” или Ctrl+U
Выбрать “_CURVE_DERIVATIVE”
Нажать “Пуск”
Результат – новое окно с кривыми

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как сгладить данные
Способ №1
Выбрать окно с кривыми, кривую в окне
Меню “Кривая\Утилита анализа данных” или Ctrl+U
Выбрать утилиту “_CURVE_SMOOTH”
Выбрать параметры сглаживания Абс.Окно, Отн.Окно и т.д.
Нажать “Пуск”
Результат – новое окно с кривыми

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как сгладить данные
Способ №2
Выбрать окно с кривыми, кривую в окне
Выбрать РегиОн Интереса РОИ, меню “Вид\Мышь\Выбрать левый РОИ” и “Вид\Мышь\Выбрать правый РОИ”
Меню “Daq\Сглаживание” или кнопка в окне “DAQ-СИСТЕМА”
Задать рычажком параметр “Гладкость”
Результат – кусок кривой в РОИ сглажен
Результат находится в том же окне (исходные данные затираются!)

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как отфильтровать “выбросы”
Способ №1
Выбрать окно с кривыми, кривую в окне
Меню “Кривая\Утилита анализа данных” или Ctrl+U
Выбрать “_CURVE_MEDIAN_FILTER_WT”
Выбрать параметры фильтрации – Полуширину, Абс.Триггер, Отн.Триггер …
Нажать “Пуск”
Результат – новое окно с кривыми

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как отфильтровать “выбросы”
Способ №2
Выбрать окно с кривыми, кривую в окне
Выбрать РегиОн Интереса РОИ, меню “Вид\Мышь\Выбрать левый РОИ” и “Вид\Мышь\Выбрать правый РОИ”
Меню “Daq\Медианный фильтр” или кнопка в окне “DAQ-СИСТЕМА”
Задать параметры “Медианный фильтр”
Результат – кусок кривой в РОИ отфильтрован
Результат находится в том же окне
(исходные данные затираются!)

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как “откусить” кусок кривой
Способ №1
Выбрать окно с кривыми, кривую в окне
Выбрать РегиОн Интереса РОИ, чтобы “плохие” данные попали в прямоугольник
Меню “Кривая\Утилита анализа данных” или Ctrl+U
Выбрать “_CURVE_ERASE_ROI”
Результат – кусок кривой в РОИ отрезан
Результат находится в новом окне

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как “откусить” кусок кривой
Способ №2
Выбрать окно с кривыми, кривую в окне
Выбрать РегиОн Интереса РОИ, чтобы “плохие” данные попали в прямоугольник
Меню “Daq\Вырезать” или кнопка в окне “DAQ-СИСТЕМА”
Результат – кусок кривой в РОИ отрезан
Результат находится в том же окне
(исходные данные затираются!)

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как “удалить” фон кривой
(коррекция “смещения нуля”)
Выбрать окно с кривыми, кривую в окне
Выбрать РегиОн Интереса РОИ, чтобы “фон” попал в прямоугольник
Меню “Кривая\Макрос анализа данных” или Ctrl+M
Выбрать “Удаление фона”
Результат – кривая с вычтенным фоном, посчитанным по данным из РОИ.
Результат находится в новом окне

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Как вычесть кривую из кривой
(арифметика двух кривых)
Выбрать вторую (вычитаемую) кривую
Скопировать ее в буфер обмена, меню “Правка\Копировать” или Ctrl+C
Выбрать первую кривую (из которой вычитать)
Меню “Кривая\Утилита анализа данных” или Ctrl+U
Выбрать “_CURVE_ARITHMETICS”
Ввести формулу для обработки, в данном случае это будет “x=x”, “y=y1–y2”
Нажать “Пуск”
Результат – новое окно с кривыми
Заметьте, что сетка x копируется из кривой 1, а кривая 2 при необходимости интерполируется

08/13/2023
http://crw-daq.ru, mailto:[e-mail]
Набор утилит достаточно велик, все утилиты работают аналогично описанным выше.
Краткое описание утилит имеется в диалогах вызова.
Набор утилит для обработки и анализа данных является расширяемым, причем средства разработки этих утилит входят в пакет CRW-DAQ. Есть два способа добавить утилиту обработки:
Написать макрос (сценарий) на встроенном интерпретаторе языка Daq Script. По синтаксису язык – что-то среднее между C и Basic, он используется также в калькуляторе и консоли.
Написать DLL программу на встроенном компиляторе Object Pascal (используется свободный компилятор командной строки Delphi 5.0 из Free Command Line Tools).
Создание новой утилиты обработки данных - сравнительно несложная задача, она может быть сделана достаточно быстро, не требует дополнительных средств кроме CRW-DAQ. При создании утилиты не требуется также перезагрузка самой программы или системы, а созданная утилита доступна для запуска сразу после создания. В качестве прототипа можно взять уже имеющиеся утилиты, их исходный программный код открыт.
И кое-что еще