در عصر علی(ع) صدای ابوهریره رو به خفگی گذارد. اندکی مانده بود که به اوضاع اولش برگردد. لکن وی منافقانه از یاری حضرت دست شسته و جانب دشمن را گرفت. معاویه ضمن یک نقشه سیاسی او را به همراهی «نعمان بن بشیر» به نزد علی(ع) فرستاد تا قاتلان عثمان را از آن حضرت(ع) خواستار شوند. با شروع جنگ صفین، ابوهریره که به دلهره افتاده بود با سخنان خود، مردم را از یاری حضرت منع می کرد. پس از آن معاویه او را حاکم مدینه کرد و ابوهریره حاکم مدینه بود تا آنکه «جاریه سعدی» از جانب حضرت علی(ع) به مدینه آمد و او فرار کرد.