正所谓墙倒众人推，再加上解缙之前仗着朱棣的宠爱得罪了不少人，所以解缙刚出发没多久，礼部郎中李至刚便上书朱棣称解缙对朱棣的决定颇有不满，私下里觉得朱棣这么做不公平，结果解缙还没到广西就接到了让他去交阯的命令，交趾就是今天的越南。而解缙能有这个下场某种程度上也是他自己作的，因为这个李至刚本来是解缙的好友，按道理来说是不应该在这个时候落井下石的，但是李至刚这么做也是有原因的。早前朱棣曾给过解缙一份大臣名单，并让解缙进行点评，而名单之中便有解缙的好友李至刚，按照道理解缙应该替好友美言两句，然而解缙在评价的时候却丝毫没有顾及情面，直接称李至刚这个人趋炎附势，虽然有才但是品行不端。所以李至刚在解缙落难之时落井下石也是情有可原的，不过有趣的是李至刚也没落得个好下场，因为在解缙最后被抓之时，李至刚也被牵连了进去，最后二人还是难兄难弟。
永乐八年（公元1410年）解缙入京奏事，但是来得不是时候，朱棣不在京城而是率兵北征了。于是，解缙便只拜见了皇太子朱高炽就离京了，这可就犯了大忌了，皇帝外出，太子私自结交大臣，这等罪名一旦扣下去必然是死路一条。朱高煦正愁找不到机会搞垮太子，结果解缙自己送上门来，于是朱高煦直接上书朱棣，参了解缙一本。朱棣正想要杀鸡儆猴，没想到解缙这么不长眼，就这样刚回到交趾没多久的解缙又被朱棣派锦衣卫抓了回来，并投进了锦衣卫的诏狱之中。可能是因为朱棣的态度很明确，因而在解缙落难之时，几乎没有人去援助解缙，其中也包括皇太子朱高炽。