в хелпе было написано что в скатере надо определять, попробуйте вместо ARM_LIB_HEAP 0xD0000000 EMPTY 0x800000 { };Heap region growing up
ответ на второй вопрос в том что malloc определен как
void *malloc(size_t size)
а не int
вот кстати ваш вопрос и ответ
http://www.lpcware.com/zh-hans/node/1108143