Situé en pleine campagne, le château de Palmes a un gros défaut quand on veut le visiter : Il est interdit d'accès ! C'est assez récent, mais la fédération de chasse a construit une immense clôture infranchissable sur tout une partie de la colline, englobant le château lui-même. Et ce n'est pas de la rigolade, la clôture est réellement infranchissable, sauf à vraiment insister, ce que je vous déconseille : Quand une association de chasse met en place une telle barrière, 'vaut mieux pas aller voir dedans pourquoi, à mon avis, il y a quelques sangliers peu amicaux...
Plaisanteries mises à part, n'y aller surtout pas, c'est réellement dangereux.
Pour parler du château lui-même, il s'agit d'une maison-forte relativement grande aujourd'hui en grande partie effondrée, dont les murs de plan rectangulaire conservent encore quelques traces du chemin de ronde. Le donjon est une tour carrée qui a été refaite il y a quelques années. A l'extérieur de l'enceinte il y a énormément de gravas qui proviennent des maisons qui étaient adossées au château. Les restes sont en suffisamment bon état pour comprendre la forme de chacune de ces maisons, mais l'ensemble est toutefois complètement par terre. A l'époque où l'on pouvait encore se promener sur les lieux la végétation avait pris le dessus, les ronces avaient envahies une grande partie des vestiges du château.
A noter qu'à quelques centaines de mètres de là se trouvent la chapelle St Just, assez simple mais bien entretenue.