Dès 1569, le sire d'Audou lance la construction d'un château sur les hauteurs dominant le village de Bélesta. C'est un quadrilatère de 45 mètres de côté, ceinturé par de hauts remparts d'1,70 mètre d'épaisseur renforcé aux angles par 4 tours carrées massives. Une 5 ème tour, en saillie du rempart Est, défend l'entrée de la forteresse. Des bâtiments sont adossés aux remparts tout autour de la cour. La tour Sud devait abriter le logis seigneurial. Le site est alimenté en eau courante grâce à un captage du ruisseau situé en amont du château. Un inventaire de 1584 décrit en détail le logis seigneurial.
Le site, capable de résister à un assaut en règle, était en outre défendu par deux canons, armement rare pour l'époque. Il ne fut jamais sérieusement attaqué.
