因为对开战消极，他后来被打发到满洲东部任第五军司令官，两年后才回到日本本土第二次担任陆军大学校长，不到半年，就到南方军给寺内寿一元帅当总参谋长，那个时间是四四年三月，整体战局已经对日本开始不利。
作为头脑还清晰的少数日军高层，饭村穣知道在没有海军配合下盟军对马来半岛的进攻是真的，而寺内司令官显然还抱有一丝希望，在调动作战飞机后恐怕就没有什么下文，不会再调地面部队过来了，因此他必须用言语来进行刺激。
在一位陆军元帅面前，饭村穣为何要这样做呢，原因还是出在他非常了解自己这位元帅司令官的秉性、习惯。
寺内寿一虽然贵为日本陆军元帅，但在日军中，他有一个外号却鲜有人知，那就是他被称为“厕所门”。而饭村穣就是知道他这个外号的日军高官之一。
厕所，就是卫生间；门，就是出入口。日本国内民间厕所都是装有门的，这种门和居家的门不一样，不高，两边都能推开，这样就能让上厕所的人进出方便。寺内寿一就被安上了这样一个外号。
这个外号的本质意思是什么呢？就是很随意，能够根据不同人的需求进行改变，这是往好里说，往坏里说就是寺内寿一是个没有主见、随波逐流的人，什么事都看自己思想哪一边占上风。
人们常说名字可能取错，但外号绝对错不了。饭村穣很担心自己的这位顶头上司，心一热，脑袋一拍，就做出一些错误的决定，因此才拿话激他。
“饭村参谋长！你的意思是盟军部队会和当年的二十五军一样勇猛，我军就是当年的英国部队不堪一击吗？”
寺内寿一的话有些扎人，但饭村穣却知道自己不能后退，硬着头皮说道：“元帅阁下，我不是那个意思，只是打个比方，提醒我们不要大意，以免人盟军有可乘之机，到时悔之晚矣！”
“呵呵！饭村参谋长考虑的非常周到，应该值得诸位和我一样好好学习！”寺内寿一站起来，走到饭村穣跟前，伸手拍了拍对方比自己高一些的肩膀，很是夸赞了几句，一转身，却又对副总参谋长和知鹰二中将说道：
“饭村参谋长自到我南方军来后，为我南方军出谋划策，兢兢业业，功劳卓着，特调任为新几内亚方向第二方面军司令官，顶替阿南惟几将军和澳军的作战指挥，即日出发上任，不得延误！”
这番操作，这番话，顿时人屋里的所有人都目瞪口呆起来，就连饭村穣本人也同样如此，万没有想到自己的一番劝言，彻底惹恼了寺内寿一，将他从南方军司令部一脚踢出，赶到新几内亚前线去了。
其他几位想出言劝阻一下寺内寿一，为总参谋长说一定好话，但看到前者阴沉的脸色，到口的话也都咽了回去。饭村穣虽然很气恼，但也无可奈何，毕竟对方是南方军最高指挥官，南方军内部所有人事任命他都可以说了算。自己的调动虽然也需要大本营方面的认可，但寺内寿一决定了的事件，大本营基本上都不会反对，况且这还只是南方军内部的事情。
默默地对寺内寿一敬了一个军礼，又退后一步，弯腰鞠躬之后饭村穣就转身大步离开了司令部办公室，赶往新几内亚方向任职去了。
见饭村穣离开，寺内寿一这才有放缓了严肃阴沉的表情，对和知鹰二中将说道：“这一段时间你暂代总参谋长一职，等候新的总参谋长到来后再进行交接！”
苦逼的和知鹰二内心是二十万个不愿意，他娘的饭村穣都没有和我交接，马上就离开新加坡了，你却让我和未来新的总参谋长进行交接，我交接什么？拿什么交接？不过这些抱怨他只能在自己心里想想，不可能说出来的。
作为现在仅存的几位日本陆军老资历的高级军官，寺内寿一不但自傲且小心眼，还权力欲望极重，对别人给自己起外号这种事当然是极度的不满，而陆军中有哪些人知道自己这个外号且在一起议论，他自然也十分清楚，饭村穣是其中一个，早就想赶他到一线部队里去了。
“立即命令从第四、第七飞行师团抽调五十架作战飞机到新加坡机场，交由二十九军统辖……”
赶走了饭村穣，寺内寿一又重拾起之前的面孔，不过这一次却将飞机的数量减少了一半，看来刚才几位的话，他多少还是听进行了几分。不过司令官后面的话，却让在座几位内心又大震。
“……南方军司令部明日开始暂时迁往菲律宾马尼拉，和十四方面军司令部会合，就近指挥对盟军的作战，马来半岛和新加坡方面，就交由土肥原司令官指挥。”
司令部要搬去马尼拉？就近指挥日军作战？副总参谋长和知鹰二、航空技术部长神田实、南方军军政监部总务部长西大条胖、高级参谋栉田正夫等几位南方军高层在听到这段话的时候，都紧皱眉头，显然是没有想到。
美军进攻菲律宾莱特岛的时候，就有人建议将司令部搬去菲律宾就近指挥，被寺内寿一拒绝了；大本营也曾来电报，希望南方军司令部北移动，去菲律宾马尼拉也好，去越南西贡也好，可以照顾到整个南洋南亚。既然已经不想再去进攻印度了，司令部留在新加坡也就没什么意义了。
这都是今年三四月份的事情，那个时候寺内寿一没有同意，却不想将饭村穣赶出南方军司令部后，却又想起了司令部搬迁的事情，难道是司令官本人对守住马来半岛没有信心？
众人胡思乱想一番后，感觉非常心惊，不敢再多想，赶忙接受了命令，返回去做搬迁的准备工作，而寺内寿一也打电话，将土肥原贤二喊到他的办公室，两个人关起门来，不知道密谋什么起来。