加之有谢翠珠在后面挑唆，杜天翔见到谢业立不会为富顺王所用，就开始排挤使绊子不说，还挑唆杜天佑与谢业立失和，毕竟谢业立身后的势力不可小觑，他不能让杜天佑有这样实力依仗。
所以这些年永安侯府与谢府走动最多的是杜轩宇，而照顾永安侯最多的是谢业立，不管世子爷是什么脸色，他有时间就去看永安侯，还四处求医问药，最后杜天华因为被停职，将怨气撒在谢业立身上，在探望永安侯之后，竟然在前院截住谢业立，二话不说就动起手来。
好在永安侯身边得力的侍卫出手，这才避免将事情闹大，但是谢翠珠被杜天华发卖后，谢业立还是与杜天华打了一架，只是这架没在永安侯府里打，而是在京郊路上“偶遇”后打的。
谢业立不是为谢翠珠出气，而是为永安侯不平，因为杜天华被免职后，他竟然将气撒在永安侯身上，在永安侯休养的院子里大闹，说永安侯偏心，让窝囊废继承爵位，这才将他们兄弟俩拖累等等。
永安侯被气得病情又加重，所以谢业立是帮着永安侯教训