Το Πυργάκι είναι χτισμένο στις πλαγιές του Μαινάλου σε υψόμετρο 1.063 μέτρων και αποτελεί έναν από τους πιο ορεινούς οικισμούς της Αρκαδίας. Σήμερα είναι εγκαταλελειμμένο και πολλά από τα πέτρινα σπίτια του με τις κεραμιδένιες στέγες στέκουν ερειπωμένα μέσα σε ένα τοπίο κατάφυτο από έλατα.
Το χωριουδάκι που έχει χαρακτηριστεί παραδοσιακός οικισμός εγκαταλείφθηκε από τους κατοίκους του εξαιτίας των κατολισθήσεων του εδάφους. Αρκετοί μετακινήθηκαν στον Πύργο Τριφυλλίας στη Μεσσηνία και στα Πυργιώτικα Ναυπλίου στην Αργολίδα και κάποιοι από τους τελευταίες που το εγκατέλειψαν στη Βυτίνα.
Το χωριό ιδρύθηκε πριν από την Επανάσταση του 1821 και καταγράφεται με το ίδιο όνομα ως ένα από τα χωριά που υπάγονταν στην τότε επαρχία Καρύταινας – τμήμα Βουνών.
Ανάμεσα στα παλιά σπίτια διατηρείται η πετρόκτιστη εκκλησία του Αγίου Ιωάννη και μια παλιά βρύση με πέτρινες καμάρες