Жучкам и паучкам как раз и будет удобно, это как бы мы сами специально для них и делаем домик в виде сайдинга.
А вот насчет плесени и грибка, это уже как повезет, то есть, все будет зависеть от того какая этому будет способствовать атмосфера (влажность под сайдингом и так далее).