Как писать или генерировать тест - кейсы(векторы) для автоматического тестирования встроенной электроники и ПО? Опции

[syoma]

Собственно вопрос такой - допустим у вас есть разработанное управляющее встроенное устройство, работающее по определенной программе. Как упрощенный пример - управляющий блок автомобильной сигнализации: входы для датчиков, выходы на блокировку зажигания, управления центральным замком, сиреной, поворотниками, брелок для дистанционной блокировки/разблокировки (допустим в целях тестирования эти сигналы тоже электрически доступны). Внутри есть программа, обычная для сигнализации - режим охраны/тревоги/снятой с охраны, помигать поворотниками три раза, снятие/постановка/блокировка и т.д.

Допустим у вас есть автоматический испытательный стенд, к которому подключается данный блок и который может сгенерировать любую комбинацию входных сигналов и прочитать то, что выдает тестируемый блок в ответ. При этом, ессно, следующая комбинация может зависеть от того, что выдал блок. Можно играться питанием блока, например менять питающее напряжение программно.
Ну то есть фактически стенд может имитировать все, что угодно, даже реальный автомобиль, что и используется при разработке и отладке ПО, но больше интересует, как можно применить данный стенд для автоматического разностороннего тестирования производимых блоков на этапе производства, чтобы выявить возможные дефекты сборки, компонентов или ПО.
То есть должно быть возможным написание тестовых векторов, которые бы в итоге покрыли 100% ПО и электроники тестами. Вопрос - как это сделать, чтобы количество таких тестов было более-менее оптимальным? Возможно ли автоматизировать написание таких тестов, если их надо будет достаточно много?

Спецификаций на ПО или функциональность изделия, как таковых, нет, а точнее функциональность ушла от них далеко вперед.
Спасибо.

[mantech]

Собственно вопрос такой

Честно не понял в чем вопрос, вам нужно проверять сами блоки (аппаратную часть) или тестить программу?

[syoma]

Честно не понял в чем вопрос, вам нужно проверять сами блоки (аппаратную часть) или тестить программу?

И то и другое. Я так понимаю, что вы предлагаете прошивать тестовые программки в сам контроллер устройства и по ним проверять только железо, рассчитывая, что однажды отлаженная программа не может сбоить?

А для отладки и тестирования программы использовать unit-тесты, созданные на основе анализа исходников? Или что-то другое?

[mantech]

И то и другое. Я так понимаю, что вы предлагаете прошивать тестовые программки в сам контроллер устройства и по ним проверять только железо, рассчитывая, что однажды отлаженная программа не может сбоить?

А для отладки и тестирования программы использовать unit-тесты, созданные на основе анализа исходников? Или что-то другое?

Отладка железа - это самое простое, закидываем тестовую прогу, подключаем железку к стенду, лампочкам с кнопками или все это ввиде автомата, эмулирующего работу входных\выходных каналов, и запускаем тест.

С программой все намного сложнее, составляем план тестовых испытаний того функционала, который должна выполнять программа, и пошагово тестируем все это N раз.
Затем стресс-тестирование, проверяем исключительные ситуации (внезапное включение\выключение питания, изятие носителей информации, если есть усб и пр. хотплаг порты - проверяем на подкл\отключение) имитация "дурака" - защита от всяких непонятных поведений клиента, нажатие кучи кнопок в разных режимах и т.п.
По результатам пишется отчет(а 100% работоспособности после таких тестов никогда с первого раза не бывает) и устраняем... Потом снова, и так до полного работоспособного устройства