تناقل بعض كبار الحنابلة والمحدّثين، كابن عقيل وأبي فارس وابن الجوزي والذهبي، الكلام عن أن زنادقة الإسلام ثلاثة: الراوندي والتوحيدي وأبو العلاء المعري، وقالوا: «إن أشدهم على الإسلام أبو حيان، لأنه مجمج ولم يصرح». ومما قالوا عنه أيضا: «كان أبو حيان كذابا قليل الدين والورع عن القذف والمجاهرة بالبهتان […]. تعرض لأمور جسام من القدح في الشريعة والقول بالتعطيل. ولقد وقف سيدنا الصاحب ابن عباد [الوزير] كافي الكفاة على بعض ما كان يداخله ويخفيه من سوء الاعتقاد، فطلبه ليقتله، فهرب والتجأ إلى أعدائه»، إلخ. ونفجع لمثل هذه الأحكام العنيفة الجائرة في حق التوحيدي الذي سطر في «الإمتاع والمؤانسة»، حتى قبل تحفته الصوفية «الإشارات الإلهية» : «أنا أعوذ بالله من صناعة لا تحقق التوحيد، ولا تدلّ على الواحد، ولا تدعو إلى عبادته»…
ولا نعثر على ترجمة وافية لحياته، إلّا بعض القصص القصيرة المبعثرة هنا وهناك، فقد عجب ياقوت الحموي في أنّ مؤرخي الرجال لم يترجموا له، مع أنّه فيلسوف الأدباء وأديب الفلاسفة، وكل ما تخبرنا عنه الكتب أنّه عاش نيفا وثمانين عامًا في شظف من العيش ومرارة الحرمان، وأنّه على نباهة شأنه ونبوغ علمه كان سيء الحظ في حياته، فقد عاش مضطهدًا محدود الرزق، فخدم الوزير ابن العميد الملقب بذي الكفايتين ويعنون بذلك كفاية السيف وكفاية القلم، وقد قام مقام أبيه العميد واستوزر لركن الدولة البويهي، ثمّ لمّا تولّى عضد الدولة نكبه وقتله سنة 366هـ، قام الوزير الصاحب بن عباد حينا آخر، وهو الصاحب أبو القاسم اسماعيل بن أبي الحسن عباد، كان وزيرًا لمؤيد الدولة أبي منصور بن بويه الديملي ثمّ وزيرًا لأخيه فخر الدولة أبي الحسن علي، وهو أول من لقب بالصاحب من الوزراء؛ لأنّه صحب مؤيد الدولة بن بويه منذ الصبا، ولم يلق من أيّ منهما إلّا كل إهمال واحتقار. قال البعض أنّ الاحتقار الذي نزل في أبي حيّان كان يعود إلى خلل في نفسه وعدوه مسؤولًا بعض الشيء عن ذلك، فقد عرف عنه أنّه كان حقير الملبس، قبيح الهيئة، سيء العادة، تنقصه المرونة والتكيف مع محيطه، شأنه في ذلك شأن أمثاله من الأدباء والشعراء في ذلك العصر، أمثال أبي الفرج الأصفهاني صاحب الأغاني، وابن الرومي الشاعر المتطير، ودليل ذلك ما جاء في كتاب الامتاع والمؤانسة على لسان صديقه أبي الوفاء المهندس عندما طلب الأخير من أبي حيّان أن يقص عليه كل ما دار بينه وبين الوزير أبي عبد الله الحسين بن أحمد بن سعدان وزير صمصام الدولة البويهي، من حديث وذكره بنعمته عليه في وصله بالوزير، حيث يقول أبو حيّان على لسان صديقه أبي الوفاء: «قلت لي أدام الله تعالى توفيقك في كل قول وفعل، وفي كل رأي ونظر، إنّك تعلم يا أبا حيّان أنّك انكفأت من الري، إلى بغداد في آخر سنة سبعين بعد فوات مأمولك من ذي الكفايتين عابسًا على ابن عباد مغيضًا منه مقروح الكبد».
وقد وصفه ياقوت الحموي في كتابه «معجم الأدباء» بأنه متفنناً في جميع انواع العلوم من النحو واللغة والشعر والأدب والفقه والكلام على رأي المعتزلة، وكان جاحظياً يسلك في تصانيفه مسلكه ويشتهي أن ينتظم في سلكه، فهو شيخ في الصوفية، وفيلسوف في الأدباء وأديب في الفلاسفة، ومحقق الكلام ومتكلم المحققين، وإمام البلغاء، وعمدة لبني ساسان، سخيف اللسان، قليل الرضا عند الإساءة إليه والإحسان، والذم شأنه، والثلب دكانه، وهو مع ذلك فرد الدنيا الذي لانظير له ذكاء وفطنة، وفصاحة ومكنة، كثير التحصيل للعلوم في كل فن حفظه، واسع الدراية والرواية، وكان مع ذلك محدوداً محارقاً يتشكى زمانه، ويبكي في تصانيفه على حرمانه.
لقد اتهم التوحيدي بالزندقة، واعتبر من أخطر الزنادقة الذين تمردوا على الشريعة الإسلامية. فقد أورد السبكي رأي شيخه الذهبي في تمرد التوحيدي على الدين فقال:»كان أي التوحيدي عدو الله خبيثا سيء الاعتقاد ثم نقل قول ابن فارس في الفريدة فقال:»كان أبو حيان كذّابا، قليل الدين والورع مجاهرا بالبهت تعرض لأمور جسام من القدح في  الشريعة».
إنها كثيرة تلك الروايات التي وصمت التوحيدي بالزندقة، لكن لا بدّ لنا هاهنا من الإشارة إلى أنّ كلمة الزندقة في العصر الذي عاشه التوحيدي قد تغيّر معناها فلم تعد تقتصر على كلّ مسلم يبطن المانوية فحسب كما كانت في عهد الخليفة المهدي، بل قد اكتسبت الكلمة معاني جديدة فأصبحت تطلق على كلّ من خالف السلطة فغدت بذلك وسيلة للخلاص من كلّ متمرّد يرفض الاستسلام للسلطة ولكلّ رافض للظلم، كما هو الحال مع أديبنا التوحيدي.
وقد تعددت الأسباب جعلت الفقهاء الحنابلة وغيرهم يتهمونه بالكفر والمروق عن الدين، نحاول إجمالها في النقاط التالية: موقفه من الحديث، تصوفه، خوضه في بعض القضايا الفلسفية.