Испытания надёжности программы, Как он происхожит и есть ли спец. ПО для ... Опции

[Дон Амброзио]

Интересует как происходят испытания программ на надёжность (именно программ, а не "железа", которым эта программа управляет) и есть ли какой-то спец софт для испытания программ.

Я, например, слышал, что СИ исходники можно "испытать" какой-то программой не помню как называется, вроде LIM...Не помню точно.. Т.е. даёшь этому LIM-у свой исходник и он начинает его тестить...

Существуют ли какие-то ГОСТ-ы или другие регламентирующие документы о том, как должны происходить испытания программног обеспечения на надёжность и по каким критериям ставят заключение надёжна программа или нет

А то передо мной скоро встанет задача сравнить два исходника, разработанные разными людьми, и выбрать более надёжный. Такую задачу мне поставило руководство. А я не знаю с какого конца её решать

Сообщение отредактировал Дон Амброзио - Mar 13 2008, 21:09

[Ильдус]

Интересует как происходят испытания программ на надёжность (именно программ, а не "железа", которым эта программа управляет) и есть ли какой-то спец софт для испытания программ.

Показателя (численного) надёжности ПО не существует. Ошибка в ПО просто может быть. Для систем, отказ которых приводит к катастрофической ситуации , требуется резервирование (в гражданской авиации). При этом ПО резервов должны быть написаны независимыми группами программистов. Это требования квалификационных требований КТ178В (аутентичный перевод забугорного DO178B).

[asonika]

Показателя (численного) надёжности ПО не существует.

Ну, это не совсем так (вернее, совсем не ТАК!) Посмотрите ГОСТы Р серии 51901: «Менеджмент риска» (практически полный аналог стандартов МЭК начала 90-х годов прошлого века), а именно ГОСТ Р 51901.5-2005 (МЭК 60300-3-1:2003): «Менеджмент риска. Руководство по применению методов анализа надежности».

Сообщение отредактировал asonika - Mar 25 2008, 10:39

[Ильдус]

Ну, это не совсем так (вернее, совсем не ТАК!) Посмотрите ГОСТы Р серии 51901: «Менеджмент риска» ...

Можно определить к чему приведёт ошибка в ПО: катастрофической ситуации, аварийной ...
Но показателя (ЧИСЛЕННОГО) надёжности ПО не существует, т.е. невозможно ПРЕДсказать, например, что на миллион часов работы системы ошибка ПО проявится столько то раз. Или на сто страниц кода будет столько то ошибок.
Кстати, это справедливо вообще к ошибкам в проектировании.
Если я не прав, то подскажите Справочник, аналогичный Справочнику "Надёжность ЭРИ", для ПО.

[Oldring]

Но показателя (ЧИСЛЕННОГО) надёжности ПО не существует, т.е. невозможно ПРЕДсказать, например, что на миллион часов работы системы ошибка ПО проявится столько то раз. Или на сто страниц кода будет столько то ошибок.

Можно, имея достаточную статистику исправленных ошибок и обнаруженных, но не исправленных.
Но тяжело: проект должен быть большим, чтобы выборка ошибок была представительная.

[Ильдус]

Можно, имея достаточную статистику исправленных ошибок и обнаруженных, но не исправленных.
Но тяжело: проект должен быть большим, чтобы выборка ошибок была представительная.

Не возможно. Ошибка в ПО может быть, и это не зависимо от количества обнаруженных ошибок, точно также, как может быть ошибка врача, шахматиста, сапёра... - и на старуху бывает проруха.

За бугром существует стандарт на создание ПО для гражданских самолётов DO-178B. У нас есть гармонизированный КТ-178В - Квалификационные требования. Эти документы определяют, как создавать и контролировать создание ПО с тем, что бы иметь удовлетворительную степень доверия к ПО. При этом оценку (не численную) делают эксперты EASA (Европейское Агенство по Авиационной Безопасности), у нас - АР МАК (Авиационный Регистр Межгосударственного Авиационного Комитета)

Для гражданских самолётов критические системы (способные привести к катастрофе) должны быть резервированы на разной элементной базе. Резервы разработаны независимыми разработчиками - схемная ошибка ни чем не отличается от ошибки в ПО. ПО должно быть разработано также независимыми разработчиками.

В авиации эти требования давно не обсуждаются, а выполняются.

Сообщение отредактировал Ильдус - May 5 2011, 13:39