Das mit dem Zurückrufen musst du einfach noch über, er ist noch jung und impulsiv.
Ich würde versuchen, ist aber ein Projekt für ein paar Wochen oder gar Monate, dass es den Garten bei euch nicht einfach verlässt.
D.h. bis zu einer bestimmten Grenze, die du festlegst, darf er einfach hin, weiter nur wenn du ihm die Erlaubnis gibst. Ist natürlich nicht ganz einfach, aber er kann lernen, dass er nur zb. bis zu dem Busch darf und nicht weiter. Einfacher wäre es natürlich mit einer optischen. Grenze, einem kleinen Zaun oder einem Blumenbeet, das er nicht ungefragt überqueren darf. Aber ich denke das wird bei euch nicht so einfach durchsetzbar sein.
Angst haben, dass er dich weniger mag, als den Opa (ich bin da realistisch, da bringt wohl alles nichts) musst du nicht. Fressen und rumalbern ist zwar immer toll, aber auf Dauer ist's bei dir spannender.