Его нужно полностью снять. И для изоляции нужно использовать рулонный материал, из стеклохолста. Он будет намного прочнее рубероида. И он намного тоньше, гибче. Если оставите рубероид, то слоеный пирог обязательно пойдет буграми и в скором времени придется делать ремонт кровли.