Наша контора разработала прибор, который управляется с помощью компа. Для него уже написана верхушка, ну и мне подкинули тестировать ее. Опишу, что я делал:
1) По РЭ прогнал программу, вылезли ошибки, баги, глюки как в РЭ так и в самой программе.
2) Вводил прибор в нестандартные режимы работы, есть ошибки.
3) Попытался войти в роль простого пользователя, который в первый раз видит эту программу, но не читал РЭ, опять повылазили ошибки.
Теперь сижу голову ломаю, как бы еще чего сделать, чтобы количество возможных ошибок уменьшилось.
Может, кто подскажет методики тестирования программ.

Но это же не Ваша задача, как я понял, а как раз наоборот - найти как можно больше ошибок, после чего решать, кого пинать?
Я бы разделил на две задачи. Зная протокол обмена устройства с ПК (не знаете - выведайте. Без него ох как трудно), поуправлять им альтернативным образом (например, хорошо себя зарекомендовавшей терминальной программой). Тем самым отделяем "хомуты" во встроенном ПО от таковых в управляющей программе. Пинаем эмбеддеров , пока не сотворят что-то более пристойное (новые ошибки при этом отнюдь не исключены!) Дальше уже переходим к софту на ПК, не забыв запустить какого-нибудь COM-"шпиона", пишем логи, суем их программистам ПК... Процесс носит характер последовательных приближений, в зависимости от сложности логики работы устройства и квалификации программистов количество итераций может исчисляться даже сотнями - проходил и такое. Самое трудное - обеспечить "сходимость" процесса.

P.S. Но... это все касается скорее альфа-тестирования в пределах фирмы. Бета - это уже пробная эксплуатация. Составляем как можно более подробный багрепорт и отправляем разработчикам, пусть думают

Кого пинать я знаю , программиста долбаю по нескольку раз на дню.


Я не в курсе кто такой эмбеддер?


Пожалуйста поясните.


Этот этап уже пройден, связь с прибором налажена, отлажена. Глюки прибора, связанные с измерениями и передаваемыми данными, были выявлены на этапе предварительных испытаний прибора.
Я повторюсь, моя задача протестировать верхушку.

Morbid_KIEP
Эмбеддер - разработчик "встраиваемого" оборудования и/или программного обеспечения. Например, тот, кто писал встроенное ПО для микроконтроллера Вашего прибора, которым Вы управляете с компьютера.
Про терминальную программу - это Вам предлагали, зная протокол обмена, посылать на управляемый прибор команды и принимать с него ответы не Вашей программой, которую Вы тестируете, а "врукопашную", используя какую-либо готовую программу, позволяющую засылать данные в коммуникационный порт, принимать данные из него и все отображать на экране для контроля правильности принятых/переданных данных. Из Вашего предыдущего ответа - это уже пройденный этап.

Для дальнейших проверок могу порекомендовать подсунуть Вашей программе неправильные входные данные (например, запустить ее при неработающем/неправильно работающем приборе, или вместо него подключить прибор не того типа). Попробуйте ввести неправильные настройки коммуникационного порта (как программа на них прореагирует, и как даст возможность вернуться к правильным). Попробуйте запустить одновременно 2 копии программы.
Нормально разработанная программа как минимум не должна впасть в ступор и испортить ранее принятые данные. Как максимум - должна сказать, что ей не нравится то, что ей подсовывают, и по какой причине не нравится. Но это уже доп.сервис.
Если программа пишет какой-то протокол - полезно попереводить системное время компьютера вперед/назад (время в компьютере сбиться может?) и посмотреть на реакцию программы по отношению к накопленным данным. Попытайте своего программиста (и программу) насчет устойчивости к порче этих накопленных данных. Попытайтесь определить, существуют ли какие-то граничные условия для данных, и попытаться их смоделировать.

K_AV
Спасибо, за пояснения.

При неработающем/неправильно работающем приборе, программа выдаст ошибку: "Нет ответа от устройства". Весь прикол в том, что программа написана именно под тот прибор, с которым я сейчас работаю. С настройкам тоже все просто, программа автоматически определяет подключен ли прибор или нет.

Да уже все это пробовал, про 2 копии сразу первый раз когда запустил проверил, программа работает стабильно не зависает. Про системное время тоже самое. База данных куда заносятся данные защищена паролем. Насчет граничных условий они были проверены на этапе предварительных испытаний самого прибора.