洪武二十三年（公元1390年），朱元璋正式对开国功臣进行反攻倒算。在这一年，先是李善长的家奴告发李善长曾和胡惟庸联络，导致李善长被朱元璋以“明明知道胡惟庸要谋反，却首鼠两端”的罪名诛杀，当时李善长已经快八十岁了，其全家男女老幼七十余口也悉数被杀。其实早在十年前胡惟庸被杀时就已经牵连到了李善长，毕竟胡惟庸是李善长举荐的，但朱元璋考虑到李善长是元勋皇亲（李善长之子李祺于洪武九年迎娶朱元璋长女临安公主，因此李善长也就和朱元璋成了儿女亲家，变成了皇亲，而李善长全家被诛杀之时，李祺因为驸马身份被免死只是和妻儿们一同被流放至江南），所以就没有深入追究。
本来在经历过胡惟庸之事后，李善长也看出了朱元璋的手段，开始谨言慎行起来，但是随着时间的流逝，李善长看到“张昶、杨宪、汪广洋、胡惟庸皆获罪”，只有自己什么事都没有，看出朱元璋是有意要放过自己了，便又开始放松警惕了。再加上洪武二十三年（公元1390年）有人上书朱元璋称天象有变，占卜的结果是要由大臣来禳灾。就这样，在多方面因素的影响下李善长及其全家老小被朱元璋诛杀。李善长被杀之后，吉安侯陆仲亨的家奴又举报陆仲亨和延安侯唐胜宗、平凉侯费聚、南雄侯赵庸都曾和胡惟庸通谋。于是朱元璋将四人处死，并永久废除他们的爵位。除此之外，荥阳侯郑遇春、宜春侯黄彬、河南侯陆聚、靖宁侯叶升这些功臣也先后被划定为胡惟庸党被处死。除此之外，受到牵连的还有已故的营阳侯杨璟、济宁侯顾时等若干人。前前后后，共有一公二十一侯被牵连进“胡惟庸案”中导致身死、爵除、族灭。“胡惟庸案”前前后后持续十多年，前后共诛杀3万余人，这是对开国功臣的第一个重大打击。