Утеплять на Ваш выбор, хоть минватой, хоть пенопластом. Мыши могут жить и там, и там. Но, очень неохотно. По какому-то мышиному разумению, они не любят.
Какие-то мышеопасные места советую просыпать битым стеклом. Только уж очень осторожно.. Или проливать цементным раствором.
Гидроизоляция нужна прежде всего по полу, под бетонную стяжку я бы уложил сваренный по швам гидростеклоизол.