1928年4月，在蒋、冯、阎、桂四大集团军的攻击下，奉军全线崩溃。6月，张作霖退出北京，回到了东北的白山黑水之间。
张作霖雄居东北时，对日本人的各种要求均拒不合作。他对付日本人的办法也别具一格，一次，张作霖出席日本人的酒会，酒过三巡，一位来自日本的名流力请大帅赏字，他知道张作霖出身绿林，识字有限，想当众出他的丑。但张作霖抓过笔就写了个虎字，然后题款，张作霖手墨。可是他墨字写错了，写成了张作霖手黑！
在叫好声中，掷笔回席。那个东洋名流瞅着“张作霖手黑”几个字笑出声来。随从连忙凑近大帅耳边提醒，“大帅写的‘手墨’的‘墨’字，下面少了个‘土’成了‘黑’了。”哪知张作霖一瞪眼睛骂道：“妈那个巴子的！我还不知道‘墨’字怎样写？黑字底下加个土，但是我对日本人肯定是寸土不让。日本人要是苦苦相逼，别他妈怪我张作霖手黑了！
这番话如同给日本人当头一棒。在场的中国人恍然大悟会心而笑，无不扬眉吐气，日本人则目瞪口呆。
这个“寸土不让”的故事也流传到现在，人们都打心眼里佩服这位黑土地上的民族英雄。
当时美国人在沪出版的英文报纸《密勒氏评论报》的主编鲍威尔曾采访过张作霖。这位美国人回国之后，在其所写的回忆录中，也表达了对这位出身卑贱的元帅的敬意。他认为尽管东北长期处在日本军阀的铁蹄下，但张作霖无愧一个爱国的中国人。
张作霖不仅有民族气节，而且治家严谨，给家里人定下规矩不少，家风甚好。他的小舅子在他身边当警卫，仗着大帅的名，在外面胡作非为，晚上闲来无事，居然拿路灯当靶子，把路灯全部打碎，市政建设的人知道这事很气愤，但是敢怒不敢言。张作霖听说这件事愤恨地说：“把他给我毙了。”手下顾及到张作霖的颜面说尽好话，要求从轻发落。当晚张作霖亲自执法。家人很不理解，几个灯泡碎了就换新的，怎么把人给枪毙了。张作霖说：“你们在家犯错，丢的是我张作霖的脸，但是在外面搞破坏，坏的是奉天城的风气。”以后大帅府里的人更加慎言慎行，没有人乖张闹事。奉天城的百姓知道了这件事，对张作霖更加尊敬。都说张大帅办事有自己的规矩，谁都不能违背。
当时张作霖的儿子张学良是第三旅的旅长，第三旅是独立旅，是张作霖的王牌军。张作霖身着便服在城里转悠，突然听见几个百姓，叹气说第三旅的人横行霸道，巧取豪夺。张作霖听到这里已经火冒三丈，回家见到张学良更是怒不可遏，破口就骂，骂了足有半个小时，张学良低着头不敢说话，大厅里掉根针的声音都能听见。最后，张作霖让张学良关禁闭三天，不许有人探望，按照规定办事，谁也不许说情，否则一起处罚。事情一传出去，整个军队都震撼了，一想到连少帅触法都躲不过严惩，谁都不敢再为非作歹了。
由于张作霖不肯满足日本帝国主义的无理要求（包括开矿、设厂、移民和在葫芦岛筑港等），1928年6月4日晨5时许，当张作霖所乘由北京返回奉天专列驶到皇姑屯附近的京奉、南满两铁路交汇处桥洞时，被日本关东军预先埋好的炸弹炸毁，这位乱世枭雄身受重伤，当日去世，享年53岁。
张作霖统治东北时，曾发展工业扩充军备，建立了中国当时唯一“海”、“陆”、“空”具全的武力。大量引入山东汉人进入满洲，这一移民战略大大充实东北边疆，改变了东三省的人口、民族、文化格局，成为日后日本侵略此地时一大障碍，由于兵工厂的建立，东北军成为当时中国唯一一支拥有自主生产火炮和炮弹的军队，由于火炮生产的自主，使得东北军的火炮数量多，火力猛，炮弹充足，成为东北军相较于其他军阀部队的优势兵种。
九一八事变东北沦陷日本之手后，东北沦陷。时人皆称：“大帅在（张作霖），必不至此！”（刘继兴）
