Η ιστορία της Άσσου περιστρέφεται σχεδόν αποκλειστικά γύρω από το επιβλητικό της κάστρο. Η κατασκευή του ξεκίνησε από τους Ενετούς στα τέλη του 16ου αιώνα (1593), με ένα φιλόδοξο όραμα: να αποτελέσει τη νέα πρωτεύουσα της Κεφαλονιάς και ένα ισχυρό οχυρό ενάντια στις πειρατικές επιδρομές. Πράγματι, για πολλά χρόνια λειτούργησε ως έδρα του Ενετού Προβλεπτή (Κυβερνήτη) της βόρειας πλευράς του νησιού. Παρόλο που ήταν ένα από τα μεγαλύτερα κάστρα στην Ελλάδα, δεν κατοικήθηκε ποτέ πυκνά. Η χρήση του άλλαξε δραστικά μετά την Ένωση των Επτανήσων, όταν μετατράπηκε σε αγροτικές φυλακές για πολλές δεκαετίες. Η οριστική εγκατάλειψή του ήρθε μετά τους καταστροφικούς σεισμούς του 1953, οπότε και έφυγαν οι τελευταίοι κάτοικοί του. Σήμερα, παρόλο που παραμένει σε ερείπια, μπορεί κανείς να θαυμάσει την καλοδιατηρημένη θολωτή είσοδο, τμήματα των τειχών και διάφορα κτίσματα, όπως την εκκλησία του Προφήτη Ηλία.