El castillo de Pelegrina se emplaza en lo alto del largo y estrecho promontorio rocoso rodeado por la hoz del río Dulce, dominando y cerrando el valle. Ocupa una pequeña plataforma en lo más alto del risco. Por el norte y noreste desciende mediante una pronunciada pendiente al pueblo y valle. Por el oeste es un despeñadero y por el sur baja más suavemente hasta la hoz del río.

La fortaleza está rodeada de un pequeño muro exterior, relativamente amplio por el noreste y sur, pero por el norte y en especial por el oeste es un estrecho camino de ronda. De sus muros quedan pocos restos, excepto la puerta de acceso al recinto exterior.

El castillo es alargado de norte a sur, de planta poligonal y con cuarenta y cinco metros de longitud. Los muros son de sillarejo, de metro y medio de espesor y altura aproximada de ocho, con almenas que disponían de saetera. La defensa se hacía desde el adarve, ya que dada su ubicación imposibilitaba la aproximación de máquinas de guerra para batir el muro.

La puerta está situada en el lado sur, entre dos torres cilíndricas macizas, con un matacán con objeto de defender la puerta desde arriba. Dispone de cubos a modo de contrafuertes de las cortinas, una gran torre maciza en la esquina noroeste y los vestigios de una torre habitable que hubo en el nordeste, derribada por los franceses, así como la cortina inmediata, en la que también había cubos contrafuertes.

La torre noroeste disponía de una habitación en su porción más alta. La torre del homenaje estaba adosada al muro norte, de planta cuadrilátera con estancias en dos pisos, comunicadas con el interior.

El interior del castillo de Pelegrina, disponía de un patio con aljibe para recoger las aguas pluviales, y circundando aquel había habitaciones ordenadas en dos pisos.