La primera noticia que hay de Pelegrina se remonta al Siglo XVI, que pertenecía al obispado de Sigüenza y contaba con cincuenta vecinos, teniendo en el año 1862 aproximadamente 300 habitantes y aumentando rápidamente en 1885 a 484 habitantes con 202 edificios. En la actualidad apenas llega a la decena, pero con una población adicional de fin de semana y un elevado número de turistas.

Se encuentra situado a 1.000 metros de altitud, en el promontorio de la sinuosa garganta horadada por el río Dulce en el punto donde éste se abre al valle. El promontorio peñascoso del castillo se une por un istmo a la meseta. En la ladera del istmo se fundó el pueblo, con calles muy estrechas, teniendo dos barrios: el del Sol, en la ladera sur que mira a la garganta del río, y el del Frío, que mira al valle.

Las márgenes del río en esta zona están rodeadas con álamos blancos, sauces llorones, choperas, nogales y huertas, mientras que la vega de Pelegrina es un vergel, rodeado de un monte poblado de robles y extensas zonas de romeros y matorrales diversos.

Pelegrina dispone solamente de una iglesia, de estilo románica, erigida en el siglo XII bajo la advocación de la Santísima Trinidad y con el patrocinio de los obispos seguntinos. Dispone de un coro elevado a sus pies y de pila bautismal. Está emplazada en el centro del pueblo, aproximadamente en la mitad del camino de subida al castillo.

Tanto las vistas del pueblo desde la hoz del río Dulce como las de la hoz desde el castillo son maravillosas, con mención especial a las buitreras, que plasmó en sus documentales de animales el famoso Félix Rodríguez de Lafuente, al cuál se le erigió un Mirador como recordatorio.

Como curiosidad, el acceso propio del castillo no eran las calles del lugar, sino un camino empedrado en cuesta que nacía en la hoz del Dulce, subiendo por la ladera del promontorio y cruzando bajo el antiguo recinto exterior. De éste todavía quedan trozos de su viejo empedrado.