Harput'ta Alaca mescidin sol tarafından bir iki metre aşağı indikten sonra kayalar üzerinde küçük bir kapı görülür. Bu Arap Baba türbesinin kapısıdır. Türbe dikdörtgen şeklindedir. Zeminin tam ortasında yeşil kumaşla örtülü tahtadan bir sanduka içerisinde Arap Baba'nın cesedi bulunur. Cesedin başı yoktur. Sonradan buraya kesik bir baş konmuşsa da kesik başın cesetle hiç bir ilgisinin olmadığı görülür. Bütün uzuvlarıyla olduğu gibi varlığını sürdüren cesedin göğüs ve karnı nispeten çökmüş, özellikle el ve ayakları tırnaklarına varıncaya kadar şaşılacak bir biçimde sağlamdır. Cesedin uzun zaman mumyalanmış olduğu ifade edilmişse de bu konuda yapılan çalışmalarda sağlıklı bir sonuca varılamamıştır.
Arap Baba hakkında pek çok efsane anlatılmaktadır. Bunlardan en fazla söyleneni şöyledir.
Harput ve yöresine bir yıl yağmur yağmaz. Kuraklık ardından kıtlık kapıya dayanır. Halk perişandır. Alacalı mescidin yakınlarındaki bir evde Selvi adlı yaşlı bir kadın rüyasında Arap Baba'nın başı kesilipte bir dereye atılırsa yağmur yağacağını görür. Yaşlı kadın önceleri buna pek bir anlam veremez. Ancak aynı rüyayı üç gece üst üste görünce karar verir ve bir gece Arap Baba'nın cesedinin başını gövdesinden ayırır. Kesik başı dereye atar. Gerçekten de yağmur yağmaya başlar. Ama ne yağmur... Yağmur değil adeta tufan. Dereler coşar, her yanı sel basar ve bir türlü dinmek binmez. Yağmuru dört gözle bekleyen insanlar bu sefer de bu felaket karşısında muzdarip olurlar. Selvi kadın rüyasında Arap Baba'nın kesilen başı yerine konulursa yağmurun dineceğini görür. Arar, bir kesik baş bulur, yerine koyar yağmur durur.
Harputlular bu olay üzerine Selvi kadının korkunç bir hastalığa yakalanarak günlerce ızdırap çektiğini sonra da öldüğünü söylerler.
Arap Baba hakkında başka rivayetler de vardır. Bu rivayetlerin bazılarına göre bu zat bir Selçuklu komutanıdır. Kimilerine göre ise Arabistan'dan Harput'a gelerek orada çobanlık yapan ermiş bir kişidir.
Arap Baba türbesi, bugün halkın ziyaretine açıktır. Yurdumuzun dört bir tarafından ve yurt dışından gelen misafirler mutlaka bu türbeye uğrar, ziyaret ederler.
