Legenda pasakoja, kad labai seniai po Alytuje siautusio maro prasidėjo didelis badas. Klebonas, negalėdamas žiūrėti, kaip iš bado miršta žmonės, iš likusių gyvųjų surinko pinigus ir išplaukė Nemunu pirkti grūdų. Klebonas ilgai negrįžo. Gyventojai ir toliau vienas po kito mirė iš bado, keikdami kleboną, kad šis veikiausiai juos apgavo. Kai klebono laivas su grūdais priartėjo prie Alytaus, pakilo didelis viesulas ir trenkė į jį prakeiksmų žaibas. Taip laivas akmeniu pavirto. Vėliau šį akmenį žmonės Klebono akmeniu praminė.