桂张军连同部分湘军有五六万人，经此衡阳血战，联军伤亡达三万三千余人，可谓已经过半，乃至导致军心崩溃（一般而言，伤亡超过三分之一就要导致士气瓦解）。黄绍竑后来向蒋介石求和，而表现最直接的则是薛岳——第四军仅剩下千余人，就在联军向广西境内撤退时，“薛岳在愤怒冲动之下，在撤退途中向部属官兵公开宣布，他本人和张军长决不再干了，各官兵所携武器听凭自由处置。卖枪得款，返乡务农也好，聚众持械，入山落草也好。总之，张某、薛某是不过问了。因此全军解体。他们的部队退抵桂林时，所剩不过五六百支枪，比之极盛时代的第四军，简直不可同日而语了”[15]。
薛岳大概同黄绍竑一样，惨败不是导致他对于前途绝望，而是对于内战产生了厌恶之情，对于共产党乘机壮大产生了危机感，以致借机发泄出来。中原大战期间，红军曾经攻陷了长沙，这令黄绍竑触动很深。
见兄弟拆台，无奈的张发奎只好向李宗仁请求散伙，但坚决反蒋的李、白还需要第四军及汪精卫的金字招牌，在为第四军补充了六千战斗人员后，张军重新组成了吴奇伟第十师和薛岳第十二师，分别驻扎于柳州、柳城两处；待训练了两个多月后，张军即又恢复了战斗力。
在随后的南宁之役中，桂张联军与前来浑水摸鱼的滇军（龙云部）又展开了一场激战，滇军由于当年蔡锷等人打下的坚实基础，因此战斗力也不容小觑。尽管薛岳、吴奇伟在此战中都负了伤，但由于小诸葛的绝妙指挥，经三天鏖战，滇军被击退——此战被白崇禧视为平生最得意之笔！
在此战中，吴奇伟也有精彩表现：当时他正吃着鸡腿，突然滇军来袭，吴奇伟临危不惧，竟用鸡腿指挥部队反击，终于稳住了形势。事后白崇禧还特意对吴开玩笑道：“滇军用的指挥刀是鸦片烟枪，你用的指挥刀是鸡腿，将来在战史上应当大书特书。”[16]
此战后，脚部负伤的薛岳向总司令部请求调动工作，以便于调养。薛岳在呈文中表示：“平马之役负伤后，复染疟疾……尚未复原，恳请暂调工作，俾资调养。”1930年12月，经李宗仁等同意，吴奇伟的第十师并入了薛岳的第十二师。
薛岳本人则调任柳州军官学校副校长，这明显是个闲差。
薛岳在柳州军校待了没几天，他眼见广西内部各种关系、各种矛盾复杂多变，自己寄人篱下，失望之余，难免要思谋新的出路。
据张发奎交代，李宗仁待自己不薄，但是白崇禧却以阴险狡诈出名，而且他是桂系的灵魂人物，军事上负总责。张发奎也有寄人篱下之感，也不愿在广西久待；薛岳本不是第四军的元老，一山难容二虎，他也不愿长久屈居张发奎之下，因此去意更为坚决。
1931年2月28日，蒋介石扣押了国民党重要元老胡汉民，由此引爆了宁粤之争。为了共同对付蒋介石，陈济棠便与桂、张达成了和解。眼见内战烽火再起，薛岳生怕再次无端卷入，于是在5月辞去职务前往香港九龙，开始了为期两年的闲卧东山、伺机再起的寓公生活。其间，薛岳曾打算前往德国留学，如果他真的有幸在德国学习几年的军事，其指挥艺术定然有长足长进（张治中也有过类似的想法）。
九一八事变爆发后，国人日渐意识到了内战的可悲，渐渐捐弃前嫌。不过在国民党看来，中共是受苏俄指挥的，是“攘外必先安内”政策的最主要对象。甚至部分日本人也是这样想的：“……打内仗不好。‘战胜异国为荣，残杀同胞为辱’，只有讨伐共产党就不同了，因为共产党是听苏联指挥的，打共产党就等于对外作战，战胜异国。”[17]
黄绍竑已经投靠了蒋介石，成为一方大员（不与桂系为敌）。此时的薛岳也已经看明白，蒋介石虽然有种种不足，但毕竟是中国事实上的领袖，而且具有深厚的统治根基，既然无法推翻，欲报效国家、出人头地，也只能投到蒋的麾下了，何况自己当初本就是第一军的干将。
九一八事变导致了宁、粤的暂时和解，第四军也不能不另寻出路。张发奎率部投效中央，但是在蒋的挤对下，他不得不于1932年10月只身出国游历欧美。可惜这段好好学习的机会张没有好好利用，可见这个人的天分和抱负，仅此而已。
此时的吴奇伟已经投靠了蒋介石亲信爱将、“小委员长”陈诚，通过吴奇伟，“良禽择木而栖”的薛岳渐渐地搭上了陈诚这条线[18]。当然陈诚精神上的导师是邓演达，而邓演达又是邓铿事业的继承人，大概也出于这层关系，陈诚与薛岳才较为亲近吧。陈诚忠义、廉洁、强势，他的夫人还是宋美龄的干女儿，陈氏是蒋介石选定的半个接班人，可惜此人的军事才能不如政治才能。
陈诚曾任蒋嫡系部队第十一（土）师师长和第十八（木）军军长，凭借这两支基本武力，陈诚逐渐在蒋的嫡系部队中形成了自己的“土木系”（与何应钦系分庭抗礼）；自薛岳加盟陈诚系以后，土木系自然又多了一员难得的干将，而且由于陈、薛二人互相欣赏，二人也结下了深厚的友谊——薛岳后来之所以能够建功立业，离不开陈诚对他的鼎力支持。
不过，蒋介石的内外观念、亲疏观念、地域观念非常浓厚，薛岳作为一个广东人、一个曾经积极反蒋的人，要获得蒋介石的重用，仅仅依靠陈诚的推荐还不够。
这里还需要从薛岳的婚姻说起。薛岳前后共有三位妻子：第一位是在家乡娶的朱氏，无子嗣，后死于台湾；第二位妻子为方少文，其父曾任乐昌县长，方少文学识突出，曾给薛岳做秘书，后嫁与薛岳，生二男三女；第三位妻子谭幸申是方少文死后、薛岳到台湾后所娶，生二男，谭氏病逝于1994年，享年六十八岁。
据薛岳的侄子交代，薛岳的夫人方少文系海南文昌人，由于这层同乡关系，她得以与蒋夫人宋美龄成为拜把姐妹，如此一来，薛岳不仅获得蒋的重用，而且当薛、蒋闹矛盾的时候，就可以通过夫人路线将之化解。与之类似的是，卫立煌的夫人朱韵珩曾留学美国，她与宋美龄的关系也非常密切，通过“夫人路线”，卫立煌一度获得蒋的信任和重用。而且方少文与朱韵珩一样，两个人都死得很早，朱死于1939年，方死于1947年，自贤内助死后，薛、卫二人的受宠程度皆直线下降。
1933年5月，薛岳应蒋介石之召，前往江西参与“剿共”事宜。
三万里长途追击
薛岳赶到南昌后不久，就被蒋介石任命为第五军军长，叙官陆军中将，加上将衔。“上将”是国民党军的最高军衔，虽然还有一级、二级之分，但可见蒋介石对于薛岳的器重，尽管薛岳直到1944年1月才正式叙官成为陆军二级上将（到台湾以后薛岳才被晋升为四星一级上将）。
第五军的番号是临时性的，最早的国民革命军第五军是地方军阀李福林的部队，曾参与北伐和反蒋，被取消番号。一·二八事变时，中央军嫡系主力第八十七、第八十八两师曾组成第五军参加作战，事变后番号取消。此番薛岳所任职的第五军，是一支由两个师人马组成的新的部队，后来番号也被取消（抗战时期杜聿明又受命组建了一个机械化的第五军）。
第五次“围剿”开始后，薛岳又先后被任命为第五、第七纵队指挥官及北路军中路军副总指挥，第六路军总指挥。第六路军总指挥原为陈诚，陈调到第三路军后，便保举薛岳继任。陈诚对于薛岳的才干推崇有加，曾在一次军官集会上表示：“剿共有了薛伯陵，等于增加十万兵。”[19]
1934年1月，薛岳率部首先占领古县、藤田等军事要地。2月薛岳指挥以第四军为主力的第七纵队继续向南推进，当时中央红军的主力一、三、五、九军团都集中在东线（黎川以南地区），对付陈诚的第三路军。薛岳正面所面对的红军是陈毅所指挥的一些非主力部队，而且只有四五千之众，薛部凭借人数及火力优势，于2月21日占领了又一军事战略要地沙溪。