Ο πύργος κτίστηκε στις αρχές του 17ου αιώνα και ανήκε στην ενετική οικογένεια Barozzi. Όπως οι περισσότεροι αρχοντικοί πύργοι της Νάξου αυτού του τύπου, χτίστηκε μετά την επικράτηση των Οθωμανών στις Κυκλάδες.
Μνημονεύεται για πρώτη φορά σε έγγραφο που περιγράφει πειρατική επιδρομή το 1678. Σύμφωνα με ένα από τα οικόσημα: «1742 Νοεμβρίου 4 Βερνάρδος Μπαρότζι ετελείωσε τον Πύργο», που δείχνει ότι τότε ο Πύργος έλαβε τη σημερινή του μορφή. Στη συνέχεια περιήλθε στη Δόμνα κυρία Μαριόρα Μαυρογένη (χήρα Φαναριώτη ηγεμόνα της Βλαχίας), η οποία με τη σειρά της τον πούλησε στον «Αγά» Γεωργάκη Φραγκόπουλο το 1795 μαζί με το λιοτρίβι του και τον περιβάλλοντα χώρο. Τελευταίος ιδιοκτήτης ο Ιωάννης Γ. Γρατσίας.
Ο πύργος είναι τριώροφος με ισχυρά τείχη, καγκελόφραχτα παράθυρα, βαριές ξύλινες πόρτες, κρεμαστή ξύλινη γέφυρα, ζεματίστρα και οικόσημα που μαρτυρούν τους εκάστοτε κτήτορες του και τις διαδοχικές επισκευές. Μεταξύ των οικοσήμων είναι και αυτό του Γ. Φραγκόπουλου, πάνω από την εξώπορτα.
Σήμερα είναι ανακαινισμένος και κατοικείται.
Προφορικές μαρτυρίες Γυμνασίου Τραγαίας: Συνέντευξη Σταμάτη Γρατσία στον εγγονό του
Ο κύριος Σταμάτης Γρατσίας, γεννηθείς το 1935, από το Φιλώτι της Νάξου, μάς μιλάει για τα μαθητικά του χρόνια. Τη συνέντευξη έχει πάρει ο εγγονός του, Αλέξανδρος Κρασσάς, μαθητής του Α1 τμήματος Γυμνασίου Τραγαίας Νάξου.
Κάστρο Χώρας Νάξου / Castle Naxos Greece
Το κάστρο της χώρας της Νάξου κατασκευάστηκε από τον Ενετό Μάρκο Σανούντο (εξελλ. Σανούδος) ο οποίος το 1207 μ.Χ. κατέλαβε μαζί με τους συντρόφους του 17 νησιά του Αιγαίου, ανακηρύχθηκε δούκας και όρισε ως έδρα του δουκάτου τη Νάξο. Η φυσική ακρόπολη που σχηματίζει ο χαμηλός λόφος δίπλα στο λιμάνι της Νάξου θεωρήθηκε από τον Σανούδο το κατάλληλο μέρος για την ίδρυση της μεσαιωνικής πόλης της Νάξου. Για την οχύρωση της πόλης έκτισε το κάστρο χρησιμοποιώντας υλικά από την αρχαία ακρόπολη που βρισκόταν στο ίδιο ακριβώς σημείο και η οποία είχε καταστραφεί από πειρατικές επιδρομές.
Βασική ιδιαιτερότητα του κάστρου είναι ότι το τείχος του αποτελείται από τους τοίχους των περιμετρικών σπίτιών της ίδιας της πόλης. Ο μεσαιωνικός οικισμός του κάστρου δεν ήταν μόνο τόπος κατοικίας αλλά και διοικητικό, εκπαιδευτικό και θρησκευτικό κέντρο των Ενετών κατακτητών. Στο κέντρο της τειχισμένης πόλης βρίσκεται η κεντρική πλατεία με την καθολική μητρόπολη και τα ερείπια του κεντρικού πύργου που η παράδοση θέλει να είναι το παλάτι του Σανούδου. Ακριβώς δίπλα βρίσκεται η σχολή των Ουρσουλίνων, η Καπέλλα Καζάτζα και η Εμπορική σχολή όπου φοίτησε για ένα χρόνο και ο Νίκος Καζαντζάκης και στην οποία σήμερα στεγάζεται το Αρχαιολογικό Μουσείο της Νάξου.
Στο Κάστρο βρίσκεται και ο ιστορικός Ναός Υπαπαντής Νάξου που αποτελεί την Καθολική Μητρόπολη. Κτίστηκε στις αρχές του 13ου αιώνα, ως τρίκλιτος με θόλο. Το 1536 προστέθηκαν άλλα δύο κλίτη και έγινε πεντάκλιτος με τρείς θόλους. Στον ναό φυλάσσεται η αμφιπρόσωπη εικόνα της Παναγίας της Ελεούσας που χρονολογείται στον 11ο αιώνα και προέρχεται από τη Νικομήδεια της Μικράς Ασίας.
Το Κάστρο σήμερα, αποτελούμενο ως επί το πλείστον από αρχοντικά σπίτια, κατοικείται στη πλειοψηφία του από καθολικούς, απόγονους των Ενετών ενώ τα σοκάκια του είναι διάσπαρτα από καταστήματα κάθε είδους, καφενεδάκια και ταβέρνες.