Если у вас старые окна (наверное деревянные), то они скорее всего уже рассохлись и поэтому образовались щели. Конечно самым лучшим вариантом будет просто сменить окна на стеклопакеты, при качественной установке у вас не будет ни одной щели в окнах и осенью и зимой вам будет очень тепло. Однако если на данный момент вы это делать не планируете, то надо утеплить окна, причем лучше сделать это дважды (внутреннюю раму и внешнюю). Для утепления можно использовать современный утеплитель для окон (продается в небольших рулонах, узкая лента, которая как раз готова к утеплению, вам останется только наклеить её). Для лучшей теплоизоляции вы можете дополнительно наклеить сверху скотч.