Kitāb al-Ghayba
Hadith 396ومنها أنه لا خلاف أنه لم يكن معصوما، وقد بينا أن من شرط الإمام أن يكون معصوما، وما ظهر من أفعاله ينافي العصمة.
Another reason is that there is no disagreement that Ja’far was not infallible, while it is proved that an Imam has to be infallible. His actions contradict his being infallible.