O, Hz. Peygamber’in “Gök kubbenin altında Ebû Zer’den daha doğru kimse yoktur.” (Tirmizî, “Menakıb”, 35) şeklindeki övgüsüne nail olmuştur.
Hz. Osman onun açık sözlü olmasından dolayı daha fazla yıpranmaması için Medine’ye yakın yerdeki Rebeze’de ikâmet etmesini istemiştir. Onun dünyevî ve uhrevî hâli “yalnız yaşayacak, yalnız ölecek ve yalnız haşrolacak” şeklinde anlatılmaktadır.
İşte Ebû Zer el-Gıfâri, Rebeze’de ailesiyle münzevi bir hayatı yaşarken orada vefat etmiştir. Sözüyle özü bir olan Ebû Zer’in evinde kendine yetecek kadar kefen bezi bulunmadığı, kafiledeki bir gencin belindeki kuşakla kefelenip ondan sonra cenaze namazı kıldırıldığı nakledilir.