Когда-то давно натыкался на подобную проблему (причем не только с chm). Оказалось, что оркад как-то неправильно регистрирует типы файлов при инсталляции.
Если отказаться от перерегистрации расширений в конце инсталляции, то все нормально.
Но если все уже проинсталлировано ... Увы решения не знаю