Häufig wurde das Jagdverhalten (nagelt mich nicht fest... fixieren - anpirschen - hetzen - packen - töten... ungefähr so) abgewandelt züchterisch.
Alle Hunde bringen Jagdverhalten mit, und dann hat man sich zu seinem Zwecke die Hunde heraus selektiert, die bestimmte Sequenzen davon ganz besonders toll zeigen, und manche gar nicht.
Vorstehhunde sind die Hunde, die aus Hunden entstanden sind, die ganz besonders lange ihre Beute fixiert haben. Dann haben sich die Jäger damals gedacht "wow, das ist cool, der Hund taugt zwar nicht zur Sau-Hatz, weil er viel zu lange fixiert, aber er könnte mir anzeigen, wo das Wild ist" und weil sich das wohl gelohnt hat und eine Hilfe war, wurden zu diesem Zweck Hunde selektiert und besonders versorgt, etc., die eben besonders lange vorstehen. Der Rest wurde gemerzt oder anderweitig verwendet.
Das selbe gilt für die Hüte- und Treibhunde und jede andere Gruppe an Hunden, die zu bestimmten Zwecken erfunden wurden.
Auf der Alm fanden die Bauern vielleicht schwarz-braun-weiße Hunde cool, die so viel Mut hatten, Kühen in die Haxen zu zwicken. Sie sollten nicht besonders groß sein, weil sie sonst zu viel fressen und zu viel Geld kosten, aber sie dürfen die Jagdsequenzen bis zum Packen ("Hackenkneifen") zeigen. Töten bitte nicht. Hunde, die getötet haben, wurden gemerzt.
Border Collies sollen bitte vor allem Pirschen. Da stand ein Mensch mal rum mit seinen Schafen und hatte einen Hund dabei, der nur gucken musste, und die Schafe sind vor ihm gekuscht. Der Hund fand das gut, und wann immer er ihn abgeleint hat, ist er um die Schafe herum gepirscht. Fixieren und Pirschen konnte der super, nen guten Gehorsam hatte er außerdem, sodass er schnell einige Begriffe lernen und anwenden konnte. Im Notfall sollte er mal "hetzen" und im Notnotfall auch mal packen, aber nicht zu feste und ohne beschädigen und vor allem ohne Töten. Wer beschädigt oder getötet hat, wurde gemerzt, oder eben zumindest aus der weiteren Vermehrung und häufig auch aus der Versorgung ausgeschlossen.
usw usw
Es wurden also sozusagen bestimmte Talente erkannt und entsprechend verpaart in der hoffnung, dass die Kinder die Talente mitbringen, evtl die Talente beider Eltern vereinen und sich somit verbessern.
Der Mensch hatte schon früh raus, was er da machen muss und über viele Tausend Jahre hatte man ja auch Zeit, sich entsprechende Nutz-Hunde-Schläge (keine Rassehunde!) zu formen.
Selbstverständlich steckt die Information dazu in den Genen. Ist natürlich sehr sehr komplex, es gibt kein alleiniges "Fixier-Gen" oder ein "Hacken kneif Gen"; aber genau so, wie man auf kleine Ohren, langes Fell oder kurze Beine selektieren kann, kann man auch auf Eigenschaften selektieren. Wie stark diese vererbt werden hängt von der Heritabilität der einzelnen Eigenschaften ab.
Wenn Du magst googel mal nach dem Wort "Heritabilität", vielleicht ist das ja auch interessant für Dich.