Ich versuchs mal nach besten Wissen und Gewissen (ich hab zwar eigendlich Schafe, aber zumindest die bürokratische Seite ist dieselbe):
1. Formularitäten: Du mußt Deine Ziegenhaltung sowohl beim zuständigen Veterinäramt als auch bei der Tiersuchenkasse melden (Vorteil Ziege gegenüber Schaf in Hessen: man braucht keine Beiträge zu zahlen, sondern muß nur einmal jährlich den Bestand melden). Wenn Du Nachwuchs haben möchtest, brauchst Du noch Ohrmarken für die Lämmer (ebenfalls Kostenlos). Die bekommt man beim HVL, braucht aber erstmal eine Anmeldung bei der Seuchenkassen (sitzen im selben Haus, teilweise dieselben Sachbearbeiter

), bzw eine Betriebsnummer. Wie genau das allerdings von statten geht, weiß ich auch nicht, unsere Bestände sind ja schon seit Einführung der Kasse registriert.
2. Weideland, tja, da wirds nun eng, dank neuer EU- Subventionsregelung. Die wird nämlich nun pro ha Land bezahlt und somit rückt kaum noch ein Vollerwerbler auch nur einen m² raus. Wenn Pferde in der Nähe sind, wirds eh eng, weil dann Pachtpreise auch noch durch die Decke gehen

. Also größere Wiesenstücke kannst Du ws erstmal vergessen.
Aber nicht verzagen, es gibt da ja noch Trick 17. Guckt einfach wo kleinere, verwilderte Gärten, Streuobstwiesen, ehemalige Obstplantagen usw sind, die für Bauern und Schäfer zu klein sind. Finde heraus, wem die Flächen sind und frage nach, ob Du sie abweiden darfst. Meistens sind die Leute froh, dass sich wer drum kümmert und man bekommt die Wiesen für umsonst. Was Heu angeht, dass kauft man sich bis zu einer bestimmten Größe besser zu (ist billiger). Du kannst übrigens auch den zuständigen Ortslandwirt (erfährt man auf dem LDW- Amt, wers im betreffenden Ortsteil ist) fragen, ob er was weiß, wer Land abzugeben hat.
Und versuch gleich, eine wiese mit Stall/unterstand für den winter zu finden. Das Bauen für Hobbytierhalter im Aussenbereich ist in einigen Gegenden auch nicht mehr so einfach wie früher.
3. Kosten, naja, da dürfts wohl ähnlich wie bei den Schafen schwanken. Man braucht je nach Fläche und Empfindlichkeit 2-3 Wurmkuren pro Jahr, halt Heu, evtl. Pacht, auf jeden Fall ne Haftpflicht für die Tiere und halt nochmal evtl noch etwas Kraftfutter. Berufsgenossenschaft fällt bis zu einer gewissen Größe weg (vorsicht, ist von der Flächengröße abhängig). Und dann halt noch die einmaligen Anfangskosten für die Tiere, Zaun und Stromgerät. Im ersten Jahr denke ich mal kannst Du mit 500- 1000€ rechnen. Danach schätze ich jetzt mal zwischen 100- 200€ je Tier (je mehr Tiere, desto kleiner die Kosten).
4. Auch auf die Gefahr nieder gemacht zu werden, zur Not (und wenn ausreichend Wasser sicher gestellt ist) lasse ich meine Schäfchen auch mal ein zwei Tage ohne Aufsicht. Länger auf keinen Fall. Aber im Normalfall ist immer wer da, der mal nach danach schauen kann. wenn nicht gerade Lammzeit ist, kann man das auch von Freunden erledigen lassen.
Gruß Christian
PS: Kleiner Tipp noch von mir: Du wohnst ja relativ Großstadt nah und da laufen halt auch etwas hypersensible Menschen rum. Kauf Dir noch nen billigen Viehhänger als Weideunterstand. Erspart Dir (und dem Vet- Amt) ne Menge nerven, ausserdem gestaltet sich dann das Umtreiben besser.