Το κάστρο όπως σώζεται σήμερα είναι αποτέλεσμα τριών αρχιτεκτονικών φάσεων. Της Φράγκικης, της Βυζαντινής και τέλος της Τούρκικης. Έχει μακρόστενη κάτοψη και εκτείνεται σε μήκος 170 μ. Περικλείει δύο περιβόλους, τον εσωτερικό με την οικία του διοικητή με πύργο-βίγλα και τον εξωτερικό με κυκλικό πύργο. Η ΝΑ πλευρά του κάστρου προς τον Ταϋγετο είναι βραχώδης και απρόσιτη, ενώ η συνέχεια της τείχισης του κάστρου προς τα κάτω οχύρωνε και προστάτευε την Άνω Χώρα, τα παλάτια και άλλα αρχοντικά και πάνω από την Παντάνασσα κατέληγε σε γκρεμό. Η δυτική πλευρά των τειχών φυλαγόταν από μία σειρά πύργων ενώ με ασφάλεια προστατεύονταν και οι πύλες αυτής της πλευράς. Ο δεύτερος οχυρωματικός περίβολος βρισκόταν λίγο χαμηλότερα και προστάτευε τον κυρίως οικισμό.