Загальна тривалість експерименту залежить від мети перевірки, як правило, від 14 до 90 днів. Конкретний розклад можна знайти нижче:
1. Базова перевірка продуктивності (лише перевірка того, що новий алгоритм кращий за старий): Загальна тривалість 14-21 день. Звичайне випробування на -перешкоди виробництва: проводити безперервно протягом 14 днів, охоплюючи принаймні 5000 виробничих циклів. Розмір вибірки достатній для усунення випадкових коливань і отримання стабільних даних про частоту помилкових тривог. Тестування симуляції несправності: можна вставляти в планове тестування, що вимагає додаткових 2-3 днів для завершення; це не потребує надто багато додаткового часу. Відповідні сценарії: інженерна трансформація на малих і середніх підприємствах, модернізація та перевірка існуючих рішень. Цієї тривалості достатньо для отримання надійних висновків.
2. Розробка алгоритму/декомпозиція модуля та перевірка: Загальна тривалість 30-45 днів. Кожна експериментальна група вимагає щонайменше 10-14 днів тестування. З 2-3 експериментальними групами для перевірки модуля плюс базовою контрольною групою загальна тривалість перевищує 30 днів. Загальну тривалість можна скоротити за допомогою «послідовного тестування»: запускати різні групи послідовно на тому самому апаратному забезпеченні, 10 днів для кожної групи, загалом 30 днів для 3 груп. Це економить витрати на обладнання порівняно з паралельним тестуванням.
3. -Перевірка довгострокової стабільності (перевірка здатності до адаптивного старіння): додаткові 90 днів. Якщо необхідно перевірити адаптацію алгоритму до старіння датчика, після базового тестування він повинен працювати безперервно без коригувань протягом 90 днів. Частоту помилкових тривог слід обчислювати щомісяця, а швидкість зміни частоти помилкових тривог слід вимірювати, щоб перевірити -тривалу стабільність.
Якщо необхідна лише перевірка здійсненності, а дані-довгострокової стабільності не потрібні, цей крок можна пропустити, а замість нього можна використати імітаційні тести на старіння. Загальна тривалість має бути в межах одного місяця.
Довідник швидкого вибору:
Мета перевірки таблиці Рекомендована загальна тривалість
Інженерна модифікація, яка підтверджує, що новий алгоритм кращий за старий 14 днів
Розробка алгоритму, аналіз ефектів модуля 30 днів
Офіційне завершення продукту, перевірка довгострокової-надійності 14 днів базового тестування + 90 днів тривалого-строкового тестування=104 днів
Тривалість тестування не повинна бути менше 14 днів. Недостатній розмір вибірки призведе до статистичних помилок і недостовірних результатів. Для галузей із повільними-змінними процесами рекомендується подовжити тривалість тестування для кожної групи на 3-5 днів, щоб забезпечити достатнє охоплення робочих циклів.
