Jak ograniczyć wizyty obcych osób w domu

Wyjaśnienie sytuacji

Mój tata odpisał na mnie dom, mieszkam tam z żoną, dziećmi, moim tatą i dziadkiem (czyli teściem dla mojego taty) który ma w tym domu nieodpłatna dożywotnią służebność osobistą, polegająca na prawie korzystania z pokoju, kuchni i łazienki znajdujących się na parterze domu mieszkalnego. I tu moje pytanie odnośnie gości u dziadka Czy ma prawo przyjmować gości bez mojej wiedzy? Licząc się z tym że nie zawsze jestem w domu a nie mam jak zamknąć swojego domu na pietrze ponieważ mam otwartą przestrzeń i w sumie inne pomieszczenia na parterze budynku tez nie są na klucz Nie chce obcych osób w moim domu ponieważ już nie raz przez mega głośne rozmowy i krzyki zostały obudzone moje małe dzieci (chodzi o drzemki w dzień) Czy mogę jakoś załatwić ograniczone widzenie ? Np w wyznaczone dni i godziny ? Zaznaczę tylko że ta osoba odwiedzająca to syn dziadka, który dla mnie jest obca osoba ze względu na brak kontaktu i dawne spory rodzinne. Dodam jeszcze że porozumienie przez normalną rozmowę nie wchodzi w grę. Najchętniej ograniczyłbym ich kontakt do minimum ponieważ jeszcze nastawia dziadka przeciwko mnie i mojej żonie.