Casefabre est un village qui se mérite, clairement. Son emplacement géographique est l'un des plus étrange du département des Pyrénées-Orientales, puisqu'il se trouve au sommet d'une colline des Aspres, mais pas sur le plus haut sommet des environs, ce qui est déjà étrange. Mais c'est surtout qu'il ne se trouve pas sur un chemin naturel comme c'est le cas habituellement : Le long d'une rivière, à flanc de vallée ou sur le chemin d'un lieu important. Pour y aller il faut vraiment le voir, impossible d'arriver à Casefabre par hasard. La route unique relie la département D618 qui passe à Bouleternère à Saint-Michel-de-Llotes, en serpentant le long du flanc de la vallée du Boulès. Une fois au village, la route serpente encore sur plusieurs kilomètres, passant à flanc de la vallée opposant, croisant des torrents de montagne au milieu de la végétation typique des Aspres.
L'habitat de Casefabre est concentré dans le village, avec peu d'éparpillement sur des hameaux. Il faut dire que le territoire de Casefabre est assez petit par comparaison avec ses voisins. Et vu que le village lui-même est petit, on a peu d'habitants ici. Les maisons sont regroupées autour de l'église pour les plus anciennes, mais quelques maisons relativement récentes ont été construites près du centre.
La vie sociale est très réduite dans le village, au sens où il n'y a pas vraiment besoin d'associations parce que les liens sociaux sont fréquents entre les habitants. Il faut dire que dans un endroit aussi isolé, les habitants s'entraide naturellement, inutile d'avoir des supports pour ça. Le village possède quelques maisons qui ne sont pas habités à l'année.