Το κάστρο υπήρξε ο αρχικός πυρήνας της πόλης. Από τη βυζαντινή πόλη, που είχε 18 μοναστήρια και πλήθος εκκλησιών, σώζονται σήμερα μόνο τα ερείπια ενός βυζαντινού λουτρού του 13ου αι. στην αυλή του Δημοτικού σχολείου. Απέναντι από το λιθόκτιστο αυτό κτίριο βρίσκεται το Σουφαρί Σεράι, η σχολή ιππικού του Αλή-πασά.Μέσα στο κάστρο βρίσκεται επίσης και η Εβραϊκή Συναγωγή, το μοναδικό μνημείο που σώζεται από την άλλοτε ισχυρή εβραϊκή κοινότητα των Ιωαννίνων.
Αξιόλογα είναι επίσης τα παλαιά αρχοντικά της πόλης, όπως το σπίτι του Δεσπότη, το αρχοντικό Μίσιου και το σπίτι του πασά Καλού στα τείχη του κάστρου.
