Стыки лучше всего, утеплять так – сначала как можно плотнее уплотнить, любой минеральной ватой, и поверх заменит обычной монтажной пеной. Излишки пены убрать, когда она высохнет, и скрыть это все любым эстетическим способом, какой только придет в голову. Окна таким способом можно обрабтат, только со стороны окно-проем. Если неувязочки с самим окном, то потребуются методы более изощренные.