Я не спец, но для крипто-алгоритма стойкость доказывают, например используя слабые и сильные математические утверждения.
Потому что вероятности в алгоритмах очень малы.
Проверяют (дают сертификат) реализацию алгоритмов и комплекс мер в целом (какой тол от системы с огромными воротами на заднем дворике).
Странно что вы задаете такой вопрос, занимаясь модификацией крипто-алгоритма (если это не xor).
Вот здесь может быть полезное для вас:
http://csrc.nist.gov/groups/STM/cavp/И если не читали, то просмотрите популярные и специальные статьи Брюса Шнайера.