Židovský hřbitov, stojící tehdy zcela osamoceně na severní straně Hrádku, nebyl v dřívějších dobách křesťanům přístupný, a tak není divu, že se o něm mezi Třebíčany povídaly hrůzostrašné historky. Pověst, která se k třebíčskému židovskému hřbitovu váže, je také trochu strašidelná. Pojednává o židovském starci Rafaelovi, který se dobrovolně obětoval, aby od svých souvěrců odvrátil morovou nákazu, jež postihla židovskou obec.
Když ani přes rabínovy prosby smrtelná nemoc neustupovala, utvrdil se Rafael, že jedině lidská oběť utiší Boží hněv. Jednoho dne se proto stařec odebral na hřbitov, vykopal si hrob a kolem navršil kameny tak, aby se mohly sesypat. Sotva si Rafael lehl do jámy, kameny se sesuly a starce pochovaly. Mor prý rázem ustal. Místní Židé údajně velmi dlouho Rafaela uctívali jako svatého člověka a přicházeli se poklonit k jeho hrobu. Ten se prý nachází v horní části hřbitova na osamělém místě a náhrobní kámen má být vzadu označen číslem 8.