Der Bishop's Palace ist eine aus dem 12. Jahrhundert stammende Anlage, bestehend aus einer großen Haupthalle, an die Privaträume angebaut wurden. Der runde Wohnturm wurde zwischen 1541 und 1548 ergänzt. Zwischen 1600 und 1607 wurde der benachbarte Earl's Palace gebaut.