Το Πυργί είναι ένα από τα μεγαλύτερα χωριά της Νότιας Χίου που ξεχωρίζει για την εντυπωσιακή διακόσμηση των σπιτιών του, διατηρεί τον μεσαιωνικό του χαρακτήρα και έχει ανακηρυχθεί διατηρητέο μνημείο. Το χαρακτηριστικό στοιχείο του χωριού είναι τα περίφημα «ξυστά» που δημιουργούν ιδιαίτερα γεωμετρικά σχήματα μαύρα μοτίβα πάνω σε άσπρο φόντο, στις προσόψεις των κτιρίων.
Η ονομασία του οφείλεται στον μεγάλο και ψηλό πύργο του, γύρω από τον οποίο χτίστηκε το σημερινό χωριό όταν συνενώθηκαν πολλοί μικροί και μεγάλοι οικισμοί. Η συγκέντρωση των συνοικισμών έγινε πιθανότατα πριν τον 13ο αιώνα προκειμένου οι κάτοικοι να προφυλαχθούν από εχθρικές επιδρομές. Ο πύργος του χωριού χτίστηκε την εποχή των Γενουατών και περιβαλλόταν από ισχυρότατο τετραγωνικό τείχος που στις τέσσερις γωνίες του έφερε από έναν ψηλό πυργίσκο. Οι δύο από αυτούς τους πυργίσκους υπάρχουν μέχρι σήμερα. Το εσωτερικό του πύργου, ο χώρος που περικλείεται από το τετράγωνο του τείχους και οι δύο κυκλικοί πυργίσκοι πουλήθηκαν πριν από πολλά χρόνια σε ιδιώτες οι οποίοι έχτισαν σπίτια. Εξωτερικά το χωριό περιβαλλόταν από ψηλό τείχος με δύο μόνο εξόδους που έκλειναν με σιδερένιες πόρτες και είναι οι κύριες έξοδοι από το χωριό μέχρι σήμερα. Η έκταση του χωριού πριν από το 1821 περιοριζόταν μόνο εντός των τειχών. Πολύ αργότερα επεκτάθηκε και έξω από αυτά προς την ανατολική και δυτική κατεύθυνση.
Τα σπίτια είναι κολλητά το ένα με το άλλο και συνδέονται με τα απέναντι με εντυπωσιακές αψίδες, ενώ ο εξωτερικός τοίχος των πιο «απομακρυσμένων» κτισμάτων είναι μεσαιωνική περίβολος. Τα σπίτια της πλατείας και κάποια άλλα μέσα στο χωριό έχουν εξωτερικά ασβεστώδες επίχρισμα με διάφορα γραμμικά εγχάρακτα σχέδια που οι ντόπιοι ονομάζουν «ξυστά». Τα σχέδιά τους αποτελούνται από τετράγωνα, ρόμβους, τρίγωνα, πολλά απ’ αυτά έχουν μπουκέτα σε βάζο, πελαργούς, κλαδιά δέντρων, φύλλα στενόμακρα και διάφορα άλλα. Τα σκαλίσματα γίνονται με το χέρι με μαύρη άμμο που ασπρίζεται και στη συνέχεια ξύνεται.
Ο ναός των Αγίων Αποστόλων, αντίγραφο του καθολικού της Νέας Μονής, αποτελεί ένα άριστα διατηρημένο βυζαντινό μνημείο, με πλούσιο κεραμικό διάκοσμο, οδοντωτές ταινίες στον τρούλο, με διπλούς μαρμάρινους κιονίσκους και πολύχρωμα φιαλοστόμια στην τοιχοποιία. Η ανέγερσή του τοποθετείται στον 13ο με 14ο αιώνα και οι τοιχογραφίες του, έργο του Αντωνίου Δομεστίχου του Κρητός, χρονολογούνται στα 1665 και χαρακτηρίζονται από έντονο λαϊκό ύφος, στο οποίο διατηρούνται στοιχεία από την τεχνοτροπία της Κρητικής Σχολής. Ενδιαφέρον παρουσιάζουν επίσης ο ναός της Κοίμησης της Θεοτόκου, χτισμένος το 1694, ο ναός του Ταξιάρχη που χρονολογείται το 1680 και το μοναστήρι του Αγίου Γεωργίου του 19ου αιώνα, όλα σε πολύ καλή κατάσταση.
Στη μεγάλη τετραγωνική πλατεία του Πυργίου, το Λιβάδι, γίνεται το πανηγύρι του χωριού στη γιορτή της Κοίμησης της Θεοτόκου, στις 15 Αυγούστου, οπότε πάρα πολλοί επισκέπτες έρχονται για να θαυμάσουν τον Πυργούσικο χορό. Ο τοπικός παραδοσιακός χορός είναι ιδιόμορφος, γρήγορος και ορμητικός, αποτελούμενος από βηματισμούς μικρούς και γρήγορους προς τα εμπρός, προς τα πίσω και προς τα πλάγια. Χορεύεται από τρεις χορευτές, δύο άντρες και μια γυναίκα στη μέση, η οποία κρατιέται «αγκαζέ» από τους δύο καβαλιέρους από τη μια και την άλλη πλευρά.
Αξίζει να σημειωθεί ότι κάποιες ηλικιωμένες γυναίκες του χωριού διατηρούν την παλιά τοπική φορεσιά που αποτελείται από φόρεμα πτυχωτό που ονομάζεται πρηστίδα με περιστήθιο επίσης πτυχωτό, από τα μπουστομάνικα (μανίκια τα οποία έχουν ιδιόμορφα κεντήματα) και από το επίσης κεντητό στηθόπανο (γεμενί) και τον ιδιότυπο κεφαλόδεσμο (σαρίκι ή μαντήλι) με διάφορα κεντήματα και κοσμήματα (καρκαβελόνους). Ελάχιστοι άνδρες έχουν απομείνει να φορούν την παραδοσιακή ανδρική φορεσιά που αποτελείται από μακρύ λευκό ένδυμα (ποδιά) ανοικτό στα πλάγια από τη μέση και κάτω, και παντελόνι πτυχούμενο στους αστραγάλους σαν φυσαρμόνικα. Τις φορεσιές, ανδρικές και γυναικείες, ύφαιναν οι γυναίκες του χωριού.