هارون در ابتداي حكومت خود نسبت به امام كاظم(ع) سختگیری چنداني نشان نمی داد؛ ولی به مرور زمان، حضرت را تحت فشار قرار داد تا جائي كه امام(ع) را دو بار به زندان انداخت و در مرتبه دوم چهار سال طول كشيد. هارون از اين كه شیعیان به امامت امام كاظم(ع) اعتقاد داشتند هراس داشت و سعايت برخی از نزدیکان امام(ع) نزد او و كينه شخصی «یحیی بن خالد برمکی» نسبت به امام(ع) همه دست به دست هم دادند تا هارون دستور قتل امام كاظم(ع) را در زندان صادر كرد.

خطیب بغدادى نقل مى کند: ابوالحسن موسى بن جعفر نزد «سندى» محبوس شد. خواهر سندی از او خواست تا زندانبان آن حضرت باشد؛ سندى اجازه داد آن زن متولى خدمت به حضرت شود. او وضعیت حضرت را چنین تعریف مى کند: "هنگامى که حضرت نماز عشاء را به جاى مى آورد حمد و ثناى خدا کرده و دعا مى نمود و این چنین بود تا این که شب پایان مى پذیرفت. و از آن هنگام در نماز بود تا صبح شده و بعد کمى ذکر مى گفت تا خورشید طلوع کند،...". خطیب همچنین نقل کرده که حضرت را به جهت عبادت و کوشش بسیار، «عبد صالح» می خواندند.