Το φρούριο στη βορειοδυτική άκρη του λιμανιού, που διατηρεί το τουρκικό όνομα Φιρκά (Firka=στρατώνας), κατασκευάσθηκε για να προστατεύει την είσοδο του λιμανιού. Μια αλυσίδα από το Φιρκά μέχρι τη βάση του φάρου έκλεινε το λιμάνι σε περίπτωση πολιορκίας. Στο φρούριο ήταν η έδρα του Στρατιωτικού Διοικητή της πόλης. Εσωτερικά ο χώρος ήταν διαμορφωμένος σε στρατώνες και αποθήκες πολεμικού υλικού. Σε θύρωμα του πρώτου ορόφου υπάρχει η επιγραφή “ALOYSIUS BRACADEUS PROVISOR CYDONIAE M.DCXX” . Τα κτίρια της δυτικής πτέρυγας είναι διαμορφωμένα σε δύο ορόφους με θολοσκέπαστα δωμάτια. Στο μέσο περίπου της αυλής υπάρχει μεγάλη δεξαμενή που συγκέντρωνε τα νερά από τις στέγες. Στα χρόνια της Τουρκοκρατίας και μέχρι σχετικά πρόσφατα, ο Φιρκάς χρησιμοποιήθηκε ως στρατώνας αλλά και ως φυλακή. Στο γωνιακό πυργίσκο – σκοπιά του φρουρίου υψώθηκε την 1η Δεκεμβρίου 1913 σε επίσημη τελετή η Ελληνική σημαία της Ένωσης της Κρήτης με την Ελλάδα. Παρόντες ήταν ο τότε βασιλιάς της Ελλάδας Κωνσταντίνος, ο Πρωθυπουργός Ελευθέριος Βενιζέλος, ο Ναύαρχος Κουντουριώτης, οι επιζώντες αγωνιστές οπλαρχηγοί των Κρητικών Επανστάσεων και πλήθη κόσμου. Στην εποχή μας, τιμάται κάθε χρόνο η επέτειος αυτή, με τη διοργάνωση ανάλογης επίσημης τελετής και αναρτάται συμβολικά και πάλι η Ελληνική σημαία στον ιστό του φρουρίου.