Тестирование встроенного ПО, Кто как тестирует? Опции

[lamerok]

Вопрос возник вот почему. Ездили у нас товарищи на стажировку в америку. Так вот, там тестирование ПО, происходит следующим образом:
1. С помощью скриптового языка создается программная модель перефириии с которым работает контроллер, т.е. все интерфейсы (SPI, I2C, CAN, HARTи т.д) и нижнего и верхнего уровня, всей переферии (индикатора, управляющих портов, кнопок и т.д)
2. Подсоединяется некое устройство которое передает всю иноформацию с выводов контроллера в компьютер на котором запущена программная модель
3. И вся эта бодяга в разных условиях тестируется.. Т.е эмулируется нажатие клавиш, работа и сбои флеша, озу, ацп и т.д. Причем модель поведения тоже задается с помощью скриптов
4. Выводится отчет об ошибках в каких местах, и что надо сделать чтобы устранить.
Все про все занимает не более 8 часов.

Понятно, что такое быстро не сделать, поэтому возникает вопрос, как кто тестирует ПО????
Я вот например, только человечку (Тестеру) даю, передаю документ с алгоритмом работы и он тестирует, т.е. всякие режимы задает, коротит, отказы делает и т.д. Но на это уходит как минимум неделя.

[-Tумблер-]

1. С помощью скриптового языка создается программная модель перефириии ..

Вааау !
Идея отличная. Только кто и как протестирует и наладит
эту программную модель.. А вдруг ошибки и несовершенство
этой модели пропустят критические ошибки тестируемого устройства ?

[lamerok]

Вааау !
Идея отличная. Только кто и как протестирует и наладит
эту программную модель..  А вдруг ошибки и несовершенство
этой модели пропустят критические ошибки тестируемого устройства ? 

Дело в том, что этот скриптовый язык практически описывет Техническое задание.
Т.е. например пишем "Нажать На кнопку 1. На индикаторе дожно быть Hello world"
И так далее, и этот алгоритм очень легко проверить.
Так как сам алгоритм есть в описании работы устройства.

Т.е мы по сути задаем последовательность действий.
Скажем по каманде "Нажать на кнопку1 .Прочитать данные из флеша. Проверить правильность. Вывести на индикатор"

У нас запускается модуль считывания инофрмации с клавиатуры, потом модуль считывания и преобразования информации обмена по SPI для Флеша(точнее он запущен всегда), потом модуль считывания и проверки информации с Выводов индикатора.
Я полагаю, что модули эти уже написаны и проверены.. Скажем есть модель эмуляции Flash, Индикатора. А по командам они просто запускаются и выводят отчет.

[-Tумблер-]

....легко проверить.

И как это проверить ? Ставить видеокамеру с системой
распознавания образов ?!!

Если надо проверить нажатие на "КН 1",
то это и вручную можно, и системой контроля можно.
Еще неизвестно что дешевле, если нанять русского .
А если речь идет, например, о системе
автомотизации промышленной установки (или всего предприятия вцелом)?
Такая система контроля может быть сложнее и много дороже самой тестируемой системы.

Теоретически идея наверное подойдет для массового производства примитивной бытовой электроники. Но это все равно уже делают
китайцы и делают быстрее и дешевле всех в мире.

[lamerok]

  Если надо проверить нажатие на "КН 1",
то это и вручную можно, и системой контроля можно.
Еще неизвестно что дешевле, если нанять русского .
А если речь идет, например, о системе
автомотизации промышленной установки (или всего предприятия вцелом)?
Такая система контроля может быть сложнее и много дороже самой тестируемой системы.

Теоретически идея наверное подойдет для массового производства примитивной бытовой электроники. Но это все равно уже делают
китайцы и делают быстрее и дешевле всех в мире.

Речь не идет об автоматизации производства, а об проверки правильности работы встроенного ПО (т.е проверке самой программы).
Насчет русского, может оно так и есть, но только проверка ПО даже небольшой проги занимает не менее недели.
Это же надо все режимы задать, все отказы проверить и т.д.
Понятно, что если разработка одна и больше нету, то китаец этот окупается, а если разработок много, то приходится нанимать уже 2, 3 китайца.

Вообще да у на насчет этого, все просто взял челочка и все, Вот например у нас на предприятии, над калибровкой нескольких тысяч датчиков в месяц работают порядка 50 человек. А в Америке над калибровкой того же каличества 3 человека, потому-что все автоматизировано, а у нас полуавтоматизировано, т.е например операции запихивания в термокамеру и выставления калибровочного значения делаются в ручную с копьютера, а у америкосов все автоматом. Калибровка одного датчика и у них и у нас занимает 2 дня. Себестоимость примерно одникова (ПОКА).

Вобщем-то я так понимаю, что все делают сами??? т.е. просто проверя.т как программа работает в разных режимах.

[-Tумблер-]

Речь не идет об автоматизации производства, а об проверки правильности работы встроенного ПО (т.е проверке самой программы).

Речь идет именно об автоматизации производства.
Производства программ. Тестирование - часть этого процесса.

И действительно - калибровку чего либо как правило
заавтомотизировать можно. Если мало параметров
и измеряемых величин. Именно поэтому и можно.

Подадим на вход датчика "правильный" сигнал и снимем c выхода
реальный результат. Получим индивидуальную калибровочную
характеристику. Запишем ее в EEPROM. И может быть выведем на принтер
для отчета.
Но это - не производство программ.


А теперь попробуйте автомотизировать тестирование ПО
мобильных телефонов..
Нужно смоделировать именно человеческое поведение - нажатие
на клавиши и кнопки, контролировать правильность вывода
на дисплей с соответствие звучашей мелодии назначенной СМС-у..