Hm, letztlich müsst ihr auf euer Gefühl hören und wenn der Bauch aus tiefster Überzeugung sagt "JA" - dann macht es! 
Ich will trotzdem kurz paar Punkte zu bedenken geben, was sein kann, aber nicht muss:
- es kommt ganz darauf an, WIE ängstlich er ist. Kann sein, dass er sich in paar Wochen gut einlegt und sich streicheln, anleinen lässt und den Alltag gut mitmacht. Sprich wie du sagst, dass Geduld reicht. Kann aber auch sein, dass er seine Ängste nur ganz schwer oder nie ablebt und das Alltagsleben für ihn und mit ihm sehr schwierig ist. Er könnte Angst vor fremden Menschen haben, vor Autos, vor Geräuschen - vor fast allem.
- Kastration ist jetzt kein Drama, vor allem kannst du's eh nicht mehr ändern. Allerdings würde ich es nicht wollen. Es kann aber sein, dass er für andere Hunde sein Leben lang Mobbingopfer bleibt. Auch kann es sein, dass er durch die Kastra generell, nicht nur im Bezug auf andere Hunde, sich schwerer tut, sicher und souverän durchs Leben zu schreiten
- dass er noch keine Kinder kennt, kann neutral sein, kann aber auch negativ sein. Ein Hund sollte möglichst Vieles (positiv) in den ersten Lebensmonaten kennenlernen. Grad der Mix agiler, aufmerksamer aber gleichzeitig ängstlicher Hütehund klingt im Bezug darauf eher ungut.
Also... ich würde es eher nicht tun und mir für den Anfang einen unkomplizierten Hund suchen, der frei von Ängsten und Aggressionen ist. Grad als Familie mit kleinem Kind denke ich, dass das einfach viel besser zu händeln ist und man sich so viel Stress, Frust und Ärger erspart.
Aber wie gesagt, überleg es dir einfach. Und viele Kennenlernspaziergänge sind natürlich super!