Конечно нужно уничтожать сорняки на своем участке и з его пределами, вдоль вашего участка. Иначе они будут цвести, рассеивать семена и прорастать все гуще и гуще, в том числе и на вашем участке, куда их семена будет разносить ветер.