Il castello di Raby venne costruito fra il 1367 e il 1390 da John Neville, III barone Neville di Raby e qui nacque sua nipote Cecily Neville, futura madre di Edoardo IV d'Inghilterra e di Riccardo III d'Inghilterra, il 3 maggio 1415. Dopo la fallita Rivolta dei papisti a vantaggio di Maria Stuarda nel 1569 cui prese parte anche Charles Neville, VI conte di Westmorland il castello finì sotto la custodia reale.
Nel 1626 Henry Vane il Giovane acquistò il castello di Raby insieme al vicino Castello di Barnard dalla corona aggiungendo un ingresso in stile gotico ed una sala per ricevimenti ottagonale. Altri cambiamenti evidenti furono portati avanti nel XVII e XVIII secolo, attualmente il castello è l'abitazione di John Vane, XI barone Barnard . Il castello è noto sia per la sua ampiezza che per le opere d'arte, infatti vi sono ospitati lavori di molti artisti famosi. Il castello è un Monumento classificato ed è aperto secondo un calendario stagionale.
