一封亲笔信，言辞恳切，感情真挚。有“游侠非终身之事，梁山岂久居之区；一经招安，不仅出人头地，亦且耀祖荣家”等语。

杜立三本来疑信参半，犹豫不定。突然得到他素来景仰的族叔的亲笔信，便疑念顿消，决定前往。于是，他在1907年6月6日仅率13人，作为随身护卫，由宋庆濂带领，奔向新民府，接受封官去了。他哪里知道此去是有去无回了。张作霖为了不出意外，事先做了周密布置。杜立三只身赴会，十分警惕。在晋见委员殷鸿寿时，他坐在背靠墙壁面对诸人的位置，同时两手插入兜内，握住枪柄，观察动静，以应突变。谈话完毕，殷高声喊道：“送客！”杜起身告辞，殷送至里屋门口，杜转身请殷留步时，刹那间，突被汤玉麟等几个壮汉按倒，下了双枪，死死捆住。事不宜迟，当晚就把杜立三在新民府西门外枪决了。其实，在这之前，张作霖早已派张景惠率大队人马，绕道台安八角台，做好进击杜立三老巢的准备。得到处决杜立三的消息后，张景惠等迅速出击杜立三的老巢。群龙无首，他的老巢辽中县青麻坎，被一举端掉。除掉了杜立三，扫除了一大害，辽西匪患遂绝，人心称快。

杜立三这个多年啃不动的硬骨头，让张作霖轻而易举地剔除了。他采用的是智取的谋略。这里显示了张作霖的过人的智慧。得此消息，总督徐世昌喜出望外，上报清廷，为张作霖请奖。清廷除赏银五千两外，将张作霖升为奉天巡防营前路统领（旅长），管辖马步5营。其他还有中路、左路、右路、后路等4路统领。张作霖成为东北旧军5个举足轻重的武装力量之一，势力更加壮大了。

1908年，徐世昌把剿匪得力的张作霖调到辽宁西北部的通辽、洮南一带，去剿除被沙俄收买的蒙古叛匪。洮南一带系干燥的草原，草有一二尺高，一望无边。夏日蚊虫甚多，大者如蜜蜂，叮人很厉害。虽在夏天，都得用棉花把头包上，否则寸步难行。狼群更多，一群就是十几条。当时队里的通信人员往往被狼吃掉，剩下马跑回来…蒙古军队都是一个人乘两匹马，骑一匹，备一匹，力量足，跑得也快。以上种种，都是蒙军优于汉军的地方，所以张作霖清剿蒙匪不是一件容易的事情。

洮南一带是广阔无垠的大草原，是蒙匪活动的根据地。他们熟悉地形，了解民情，精于骑射，出没无常。他们行踪无定，多用奇袭，打了就跑，渺无踪迹。其中，有几股大的蒙匪，如白音大赉、牙仟、陶克陶胡等，都扰害边疆，至数年之久，此剿彼窜，滋蔓难除，国家视为巨寇。

这些巨寇不除，国家不得稳定，百姓不得安宁。张作霖当此重任，开始并不顺利，吃了一些败仗。后来，他采用了强攻和智取两手策略，派人打入蒙匪内部，取得情报，而逐渐扭转了劣局。1909年，徐世昌看到张作霖的兵力不足，便给他扩编，增强他的实力。把5个营扩编为7个营，又将驻扎在洮南的孙烈臣部划归张作霖部。这样张作霖的部队增至3500人，成为东北的一支劲旅。