Поширені проблеми в експериментах із порівнянням надлишковості подвійних{0}}датчиків головним чином зосереджуються на трьох аспектах: контроль змінних, статистика даних і оцінка результатів. Ось 8 найпоширеніших проблем і способи їх вирішення:
I. Проблеми контролю змінних (найбільш схильні до пасток, що безпосередньо впливають на дійсність результатів)
Проблема: одночасні зміни апаратного забезпечення та алгоритму, змінні не є унікальними. Багато людей під час експериментів змінюють і датчик, і алгоритм одночасно, і коли результати покращуються, вони не знають, чи винен датчик, чи алгоритм.
Рішення: використовуйте ту саму пару датчиків у тому самому місці встановлення, лише змініть алгоритм і перевірте один набір перед переходом на інший.
Проблема: Невідповідні умови тестування, параметри процесу налаштовані. Контрольна група використовує продукт A, тоді як експериментальна група використовує продукт B. Коливання процесу двох продуктів різні, що робить результати непорівнянними.
Рішення: підтримуйте фіксоване виробництво того самого продукту протягом усього випробування без коригування параметрів процесу, таких як температура, тиск і швидкість. Якщо необхідні коригування, запишіть зміни та перерахуйте.
Проблема: недостатній період тестування, недостатній розмір вибірки. Висновки лише після 3-5 днів тестування допускають випадкове втручання, що призводить до статистичних зміщень і недостовірних результатів.
II. Статистика даних (легко призводить до помилок обчислень)
Проблема: обчислення частоти хибних тривог неправильне, не-випадки з помилками вважаються правильними. Враховуються лише помилкові тривоги, ігноруються фактичні, але невиявлені несправності, що призводить до заниженої частоти помилкових тривог.
Рішення: помилкові тривоги слід зараховувати лише для «підтверджених фактичних несправностей». Безпосередньо підрахувати кількість разів, коли алгоритм не запускав тривогу для відомих несправностей; не включати звичайні випадки-без помилок.
Проблема: знаменник для розрахунку частоти помилкових тривог неправильний, використовуючи загальний виробничий цикл як знаменник. Неправильна формула: Частота помилкових тривог=Кількість помилкових тривог / Загальний виробничий цикл. Правильна формула: «Кількість помилкових тривог / Загальна кількість тривог», що призводить до значно заниженого рівня помилкових тривог.
Рішення: суворо дотримуйтеся стандартної формули розрахунку. У статистику слід включати лише тривожні сигнали, які спрацьовують; звичайне виробництво без сигналізації не повинно включатися в знаменник.
Проблема: немає ручного маркування автентичності сигналу; алгоритм безпосередньо виводить класифікацію. Алгоритм сам визначає власні тривоги як істинні, що призводить до значно нижчої частоти помилкових тривог, ніж фактичної, що призводить до фальсифікованих результатів.
Рішення: усі сигналізатори потрібно розібрати вручну, а датчики замінити для перевірки, щоб підтвердити, чи це справжня несправність чи перешкода, і кожен сигналізатор має бути позначений і класифікований.
III. Категорія оцінки результатів (легко зробити неправильні висновки)
Проблема: дивлячись лише на короткострокові-результати, ігноруючи довгострокову-стабільність. Якщо частота помилкових тривог відповідає стандарту після одного тижня тестування, алгоритм безпосередньо вважається кваліфікованим. Після трьох місяців використання частота помилкових тривог стрімко зростає, оскільки перевірка старіння та адаптації не проводилась.
Рішення: для офіційного завершення продукту необхідно додати 90-денний довгостроковий тест для статистичного аналізу швидкості зміни частоти помилкових тривог; для верифікації модифікації також повинні бути виконані випробування на старіння для підтвердження.
Проблема: невеликі відмінності не підлягають перевірці значущості; висновки робляться безпосередньо. Різниця в кілька процентних пунктів між двома групами показників помилкової тривоги використовується для висновку, що новий алгоритм кращий, коли це може бути пов’язано з випадковими коливаннями.
Рішення: якщо частота помилкових тривог зменшується менше ніж на 60%, виконайте тест хі-квадрат; ap-value < 0,05 потрібне для визначення дійсності різниці. Якщо зниження більше або дорівнює 60%, висновок можна зробити безпосередньо.
