Dressé sur un éperon rocheux il domine la haute vallée de l’Isle sur la route Richard Coeur de Lion. Ce repaire noble du XIIème siècle, agrandi au XIVème siècle puis transformé au XVIIème et XVIIIème siècles posséde des toitures Renaissance armées de faîtières allégoriques (symbolismes seigneuriales et alchimiques).
La chambre de la Fileuse fait l’objet d’une légende, celle de Louise de Hautefort. Dame de Jumilhac elle fut enfermée ici pendant plus de vingt ans par son mari jaloux, Antoine de Jumilhac, fils d’Antoine Chapelle. Durant ses longues journées, Louise filait la laine et cachait de doux messages dans son fuseau, destinés à son amant, devenu par amour pour sa belle, berger du château…