Se non li becchi in flagrante a fare qualcosa per cui non hai dato alcun permesso, con qualcosa che possa provare il fatto tipo una registrazione video, non puoi fare nulla.
E sì, "stavo solo passeggiando, non pensavo" vale come motivo per passarla liscia, soprattutto se sei sfortunato e hai il terreno che confina con qualcosa che appartiene al comune, tipo un argine di un fiume o cose così, visto che uno può dire "ma no, ero fuori, è lui che si è sbagliato".
Se non vuoi che entri nessuno devi essere te a tue spese a mettere qualcosa che impedisca l'accesso tipo una rete tutto intorno al perimetro. A quel punto, essendo tutto chiuso, chiunque entri anche senza fare nulla e viene beccato, passa dalla parte del torto e tu puoi agire entro certi limiti che non conosco.
Immagine scorrelata, stavo scorrendo l'archivio e a rivederla mi ha fatto ridere.