后来父母不在了。而他自己也不知为什么，几乎停止了长个子，只是继续往横里发展。他兄弟呢，却是越来越出落得高大壮健。邻里街坊周济的那点饭食根本不够，大部分都给弟弟吃了。然而没过一个时辰，武大就又看到兄弟蜷在墙角里，一动不动的像块大石头，细看，眼角似乎还有些未干的泪。他连忙过去问怎么了，武二倔强不说，但就算文盲如武大，也能看出来，那张小俊脸上满脸都写着一个“饿”字。
武大到两条街外的炊饼坊做学徒，却不让弟弟去。他觉得自己一辈子也就这样了，矮、丑、懦弱又无能。自己兄弟却相貌堂堂，一表人才，一定是老天爷安排的、发达做官的命，一定要养得他好，以后提携自己，代替自己出人头地。于是他攒下一点点钱，都交给弟弟，让他去读书——穷苦人家里哪有开蒙进学的机会，其实是跟着清河县东门外那个算命瞎秀才，差强人意地划拉几个字而已。
武大的生活数年如一日，走街串巷卖炊饼，受尽了欺负、勒索和嘲笑。弟弟是个火爆性子，见他受了欺负，捋起袖子就要去打回来。可结局呢，往往是鼻青脸肿，要么就是两败俱伤，拖了一地鼻血。谁叫他块头摆在那里，肚子却时常是空的呢？