Основою планування порівняльного експерименту є контроль однієї змінної, що охоплює основні сценарії та кількісне визначення відмінностей у результатах. Повний і здійсненний процес проектування виглядає наступним чином:
I. Підготовка до експерименту: уточнення групування та контролю змінних
1. Дизайн групування (забезпечення чіткого контролю)
Необхідно створити базову контрольну групу та тестову групу. За потреби можна додати додаткові контрольні групи:
|
Групування |
Опис групування |
призначення |
|
Базова контрольна група |
Використовує поточні традиційні алгоритми (наприклад, метод порівняння з фіксованим порогом) |
Забезпечує контроль продуктивності для порівняння ефектів оптимізації |
|
Тестова група |
Використовує новий алгоритм, який ви хочете перевірити (наприклад, поетапний динамічний + 3σ + комбінований алгоритм EWMA) |
Тестує фактичну продуктивність нового алгоритму |
|
Додатково: Проміжна контрольна група |
Використовує алгоритм лише з частковою оптимізацією (наприклад, лише поетапне динамічне порогове значення, без адаптивного оновлення) |
Декомпонує та перевіряє окремий коефіцієнт посилення кожного модуля оптимізації |
2. Суворо контролюйте нерелевантні змінні (для забезпечення справедливості)
Усі групи мають дотримуватися наведених нижче умов, щоб усунути перешкоди від не-факторів алгоритму:
Повністю ідентичне апаратне забезпечення: та сама пара датчиків, те саме місце встановлення, той самий ПЛК для збору даних; без апаратних змін.
Повністю ідентичні умови роботи: та сама виробнича лінія, той самий продукт, однакові параметри процесу; відсутність коригування процесу під час тестування.
Повністю ідентичні цикли тестування: обидві групи повинні мати однакову тривалість тестування (рекомендується безперервно тестувати щонайменше 2 тижні, щоб охопити достатню кількість виробничих циклів).
II. Розробка трьох основних сценаріїв тестування (що охоплюють усі параметри продуктивності)
Спеціально розроблені сценарії для комплексної перевірки помилкових тривог, пропущених тривог і довгострокової-стабільності алгоритму:
1. Звичайне виробниче випробування на-перешкоди (перевірка основної частоти помилкових тривог)
Метод випробування: нормальне безперервне виробництво; сигнали тривоги, викликані алгоритмом, записуються, і справжність кожного сигналу тривоги перевіряється вручну.
Статистична мета: отримати частоту помилкових тривог у двох групах і порівняти зниження після оптимізації.
Критерії оцінки: Зниження частоти помилкових тривог більше або дорівнює 60% порівняно з базовою контрольною групою вказує на ефективну оптимізацію.
2. Тест на симуляцію штучної несправності (перевірка частоти помилкових негативних результатів і швидкості відповіді)
Штучно моделюються три типові несправності промислових датчиків, кожна з яких перевіряється тричі:
|
Тип несправності |
Метод моделювання |
Індикатор перевірки |
Критерії прийняття |
|
Миттєвий дрейф перешкод |
Застосуйте миттєве зміщення 0,1% повної шкали до одного датчика, відновлюючись через 1 секунду |
Помилкова тривога |
Відсутність сигналізації є прийнятною |
|
Постійне повільне старіння |
Щодня застосовуйте зміщення 0,01% повної шкали до одного датчика, накопичуючи до 0,1% повної шкали |
Помилково негативний коефіцієнт і своєчасність сигналізації |
100% виявлення, помилкові тривоги не допускаються |
|
Крок-як Раптовий дрейф |
Застосуйте безперервне зміщення 0,2% FS до одного датчика |
Затримка спрацьовування тривоги |
Середня затримка не перевищує 10 секунд |
3. Тест на адаптивність до тривалого-старіння (перевірка-тривалої стабільності)
Метод випробування: безперервна робота протягом 3 місяців без ручного регулювання параметрів; частота помилкових тривог, що розраховується щомісяця.
Статистична мета: розрахувати швидкість зміни частоти помилкової тривоги від початкової стадії до 3 місяців.
Критерій проходження: Частота зміни частоти помилкових тривог нового алгоритму, менша або дорівнює 2%, значно нижча, ніж у базовій контрольній групі, вважається прийнятною.
III. Статистика даних і оцінка результатів
Статистичні дані збираються відповідно до стандартизованих процедур, щоб зробити чіткі висновки:
Повний запис необроблених даних: усі сигнали тривоги записуються у фіксовану таблицю, включаючи час, стадію процесу, значення відхилення та те, чи спрацьовував сигнал тривоги. Справжність сигналізації позначається вручну.
Розрахунок основних показників: помилкові тривоги розраховуються за стандартною формулою. Швидкість зміни частоти помилкових тривог, частоти помилкових негативних сигналів, середньої затримки відповіді та частоти помилкових тривог
Визначення значущості: якщо частота помилкових тривог нового алгоритму зменшується на 60% або більше порівняно з базовою лінією, а частота помилкових негативних сигналів менше або дорівнює 1%, можна безпосередньо визначити, що продуктивність є кращою (технічний сценарій достатньо строгий).
Якщо різниця невелика, використовуйте для перевірки тест хі-квадрат: стор<0.05 indicates that the difference is real and effective, and not a random fluctuation.
IV. Експериментальні запобіжні заходи
Не модифікуйте апаратне забезпечення та алгоритм одночасно. Треба лише змінити алгоритм; інакше результати не будуть остаточними.
Період тестування не повинен бути менше одного тижня; занадто малий розмір вибірки призведе до статистичних помилок.
Усі сигнали тривоги необхідно перевіряти вручну. Не використовуйте безпосередньо результати класифікації, виведені алгоритмом, щоб уникнути статистичних зміщень.
