孔弘绪到底做了什么伤天害理的事引起了公愤，自从娶了李贤次女后，开始的时候，孔弘绪也是深得孔家真传，爱学懂礼。可是随着年龄的增大，生活变得不再节俭，甚至有血穷奢极欲，权力上的膨胀也让他失去了道德和家规的约束。尤其喜欢招来众多的女乐师，声色犬马，行些苟且之事，稍有不从甚至威逼行奸，彻底忘记了”修身谨行”的家训。
最终原杰报上来的罪名是“非法用刑，奸淫乐妇四十余人，勒杀无辜者四人”。朱见深听后勃然大怒，下旨将孔弘绪“械至京理问”，意思就是将孔弘绪抓捕进京审问。这下算是捅了马蜂窝，孔子的孝子贤孙们立刻炸开了锅。
当时内阁首辅、太子少保、兵部尚书兼文渊阁大学士彭时立刻出面为孔弘绪求情，认为不能用刑具把衍圣公押入京城。好歹给天下读书人留点面子，给圣人后代留点情面。彭时号称大明最廉洁的首辅，在朝野内外威望很高，特别是翰林院内的许多人上奏，包括当时初任翰林编修李东阳联名求情，朱见深不得不接受了建议，表示将孔弘绪“颂系之”即可，即入狱而不用戴刑具。而在三法司对孔弘绪的罪行进行会议之后，给出了“坐斩（即杀头）”的判决。三法司的判决表明了朝廷的态度，但是朱见深不可能真的将衍圣公斩首，最终开恩将其“革职为民”。
“宣圣乃万世名教宗师，历代崇尚，有隆无替。待其子孙，与常人不同。今弘绪有罪处之，亦宜从厚。伏望皇上念先师扶世立教之功，免其提解，宽其桎梏之刑。待取至京，命多官议罪奏闻，然后处置为当。”
也就是说衍圣公孔弘绪坐奸淫乐妇四十余人，勒杀无辜四人，法当斩。诏以宣圣故，削爵为民，以弟弘泰代。” 按《大明律》，孔弘绪如此作恶多端，自然必死无疑。可是因为孔家作为一个特殊的家族，再者他世袭衍圣公封号在身，考虑到孔子作为“素王”、“至圣先师”，如果贸然杀了他的后人有些不妥。更为重要的是千年以来各朝各帝为巩固政权树立的儒家文化、皇朝思想将轰然倒地。无奈之下，以“多过举”模糊带过罪名，免了孔弘绪的封号，封了他的弟弟孔弘泰为衍圣公。
这件事的风波一直延续到了成化六年五月，朱见深才下旨封孔弘绪的弟弟孔弘泰袭封衍圣公。而对于孔弘泰之后由谁袭爵，朝野上下还进行了一番激烈的讨论。都御史翁世资等人引用孔子四十七世孙孔若蒙、孔若虚兄弟的故事，提出等孔弘泰去世之后，仍然由孔弘绪之子袭封衍圣公。
因为有先例，孔若蒙，宋神宗熙宁元年（公元1068年）袭封衍圣公，宋哲宗元符元年（公元1098年）因罪被废，由其弟孔若虚袭封奉圣公（对，你没有看错哦，当时把衍圣公改成了袭封奉圣公）。孔若虚死后，仍由孔若蒙的长子孔端友袭封衍圣公（对，你又没看错，又改了回去）。
当时这件事还是章子俊的岳父大人，尚书姚夔等言：“孔弘泰宜循若虚故事，令袭衍圣公。孔弘泰之后，仍令孔弘绪之子继之。”奏上，故有是命。看看姚夔才是士大夫，是真正的卫道士。