Σύμφωνα με την παράδοση, πρώτη φορά στο χωριό για τον Άη-Γιάννη μίλησε ένας βοσκός, που είδε πάνω στο λόφο τη μορφή του Αγίου φωτεινή. Το είπε στους χωρικούς κι αυτοί τον πίστεψαν, γιατί ήταν καλός χριστιανός. Έτσι, έκτισαν εκεί ένα πάρα πολύ μεγάλο και ωραίο μοναστήρι, το οποίο έπιανε σχεδόν όλο το βουνό. Σύμφωνα πάντα με την παράδοση, ένα μέρος του καταστράφηκε από έναν ισχυρό σεισμό και το υπόλοιπο καταστράφηκε επί τουρκοκρατίας.

Σύμφωνα με μαρτυρίες γερόντων της περιοχής, όταν οι Τούρκοι κυρίευσαν την πόλη, χρησιμοποίησαν το ερειπωμένο μοναστήρι ως φρούριο, για να παρακολουθούν την περιοχή αλλά και για να στέλνουν σήματα, σ’ άλλα φρούρια, τη νύχτα, με φωτιές που άναβαν.

Στο διάβα των αιώνων, το μοναστήρι το χρησιμοποιούσαν και οι κάτοικοι της περιοχής, ως μέσω προστασίας τους, από τις επιθέσεις βαρβάρων κατακτητών.

Οι πρόσφυγες που εγκαταστάθηκαν στην Αδριανή, έτρεφαν ιδιαίτερη λατρεία προς τον Αη Γιάννη, γι’ αυτό και αποφάσισαν, μετά την πάροδο αρκετών χρόνων, εκεί που υπήρχε κάποτε το μεγάλο μοναστήρι, να χτίσουν μια μικρή εκκλησία, αφιερωμένη στον αγαπητό του Άγιο, τον Άη Γιάννη. Σκάβοντας μέσα στα ερείπια βρήκαν δύο παμπάλαιες εικόνες, τις οποίες και μετέφεραν για ασφάλεια στον Ναό του Αγίου Νικολάου στην Αδριανή.