En el siglo XII, Valderrobres formaba parte de la Peña de Aznar Lagaya, territorios reconquistados en 1169 y donados en 1175 por el rey al obispado de Zaragoza, que casi inmediatamente los cedió a Fortún Roberto. En el año 1183 es cuando se le concede a este territorio su carta de población. Los descendientes de Fortún Roberto retuvieron el señorío de Valderrobres a lo largo de todo el siglo XIII, hasta la muerte de Don Pedro de Oteyza en el año 1305. En ese momento se extinguió esta casa y se produjo un litigio entre el monarca y el obispo de Zaragoza, que se saldó en 1307 con la enfeudación definitiva de Valderrobres y sus territorios en favor del arzobispo de Zaragoza, quien conservó sus derechos hasta el siglo XIX.