Fils de Raimond de Vissec, Giraud nait en 1165 au château de son père Raimond. Son frère ainé meurt en 1185, et, alors qu'il a été élevé jusqu'ici pour entrer dans les ordres, il abandonne le séminaire pour apprendre son métier de seigneur.
Situé en aval d’une confluence de vallées (celles de la Vis et de la Virenque), qui seprentent en contrebas du causse désertique, le village de Vissec est remarquable par sa situation en zone de lit sec, au fond d'un cirque naturel là où l'eau de la rivière de la Vis « disparaît » au sortir d’Alzon, précisément au Moulin de Larcy, et la Virenque en fait de même au sein de sa propre vallée. Ce n’est que de manière épisodique, lors de grosses pluies en amont, que la rivière resurgit au sein de son lit. Quelques kilomètres en aval, le cirque de Navacelles est quant à lui situé au-delà de la résurgence naturelle de la Vis.
Des puits alimentent cependant le château et permettent d'arroser les cultures du village et les seigneurs de Vissec, attestés dans les chartes de St-Guilhem du Désert sont réputés pour leur puissance et leur vaillance.