Το Καστανοχώρι είναι ένα μικρό ορεινό χωριό του Δήμου Μεγαλόπολης, χτισμένο σε υψόμετρο 700 μέτρων στις πλαγιές του Λύκαιου όρους, με υπέροχη θέα στο λεκανοπέδιο της Μεγαλόπολης.
Παλαιότερα το χωριό ονομαζόταν Κραμποβός. Η σημερινή του ονομασία οφείλεται στο πυκνό καστανόδασος που υπάρχει στην περιοχή.
Στο χωριό υπάρχουν αρκετές πηγές, ένας ξενώνας και η παλιά εκκλησία της Παναγίας. Λίγο πιο έξω βρίσκεται ένα παλιό πετρόχτιστο αλώνι με θέα την πεδιάδα. Απέναντι διαγράφεται ο βραχώδης λόφος με τα ερείπια του κάστρου του Αγίου Γεωργίου των Σκορτών που ιδρύθηκε στα χρόνια της Φραγκοκρατίας. Τα Σκορτά (Escorta για τους Φράγκους) ήταν η ονομασία που χρησιμοποιήθηκε τον 13ο και 14ο αιώνα για το ορεινό δυτικό τμήμα της Αρκαδίας, το οποίο είχε στρατηγική σημασία για το Πριγκιπάτο της Αχαΐας καθώς έλεγχε τις διαβάσεις προς τις εύφορες πεδιάδες της Ηλείας και της Μεσσηνίας. Σήμερα σώζεται τμήμα του τείχους κοντά στο ξωκλήσι ου Αγίου Γεωργίου. Στην περιοχή υπάρχουν διάσπαρτα λείψανα και άλλων φρουρίων και βιγλών που αποτελούσαν ένα σύστημα προστασίας τον δρόμων προς τη Σπάρτη και την Καλαμάτα. Ο λόφος και το κάστρο προσφέρουν μοναδική θέα σε όλο το λεκανοπέδιο της Μεγαλόπολης.
Κοντά στο χωριό οι Έλληνες αγωνιστές απέκρουσαν στις 20 Ιουλίου του 1825 τμήμα του Τουρκοαιγυπτιακού στρατού του Ιμπραήμ. Την επόμενη μέρα επανήλθαν 1.000 Τουρκοαιγύπτιοι κι έκαψαν το χωριό. Συγκρούστηκαν όμως μαζί τους Καρυώτες και Τριπολιτσιώτες και κατά τη σύγκρουση φονεύτηκαν 150 Τούρκοι και αιχμαλωτίστηκαν αρκετοί.
Σε μικρή απόσταση από το Καστανοχώρι βρίσκεται και η ερημωμένη Μονή του Κραμποβού, χτισμένη τον 12ο αιώνα.