张衡，字建平，河内（河南省沁阳县）人。其祖父张嶷为西魏河阳太守，父亲张光则为北周万州刺史。出身于中级贵族家庭的张衡，《隋书?张衡传》言其“幼怀志尚，有骨鲠之风”，年仅十公颖，京兆杜陵人。自幼涉猎群经史籍，善于骑射师谙熟山川地理，而且了解许多少数民族的风土人情。每当有少数民族的使节来访时，必由韦师出面接见。韦师与他们谈论其国政治及民俗，了如指掌，侃侃而谈，使他们对韦师非常惊服。于是知事必报，无敢隐漏。周武帝时任韦师为少府大夫，后又转任为宾部大夫。杨坚称帝，将韦师拜为吏部侍郎，并赐爵井陉侯。选为杨广的属官出任河北道行台兵部尚书并为山东河南十八州安抚大使。由于韦师守职尽节，倍受杨坚赏识，命他兼作杨广的司马，以辅佐杨广。杨坚对韦师的才能十分欣赏，曾将平陈后取得的全部府藏都交给韦师掌管。韦师也非常称职，财物秋毫无犯，世称清白。

这些杨坚为远离自己的儿子千挑万选的人，对于儿子的成长与成才有着绝对性的影响。而事实上杨广也因为这些又文又武的“老师”们，在后来的人生舞台上，成为了一个上马能打仗，马下能写诗的文武全才。

杨广镇守的并州北近大漠，他的主要任务就是防御大漠的突厥汗国，虽然一开始的年月里隋与突厥有过冲突，甚至大规模的战争；但是杨广因为年幼对于局势影响有限，他自己也没建立什么军功。这时的突厥是中国北方地区继匈奴之后又一个重要的民族。“突厥”族称见诸史料始于南北朝时期。突厥原是铁勒部落联盟中的一支，秦汉时期称了零、敕勒，活动在叶尼塞河上游地区，后迁天山东段。5世纪中期，柔然征服突厥，迁之于阿尔泰山南麓，为柔然“铁工”。6世纪中叶，突厥趁柔然与铁勒争战之机，摆脱柔然的控制，建立了独立的突厥政权。552年，首领土门自称伊利可汗，建立了突厥汗国，这就是历史上的**。同年，突厥族的另一首领阿史那土门率十余部众留居西域，建立政权，史称“西突厥”。

南北朝时期，原来活跃在西北地区的鲜卑、匈奴等少数民族或因内迁，或因相互残杀而日渐衰弱，逐渐退出了天山的历史舞台。**通过与西魏联姻，提高了自己在西北各族中的地位，又利用北周、北齐之间的矛盾，游刃于二者之间，势力逐渐强大，并征服了留居在西北地区的其他少数民族部落。到隋朝建立前突厥的辖地“东自辽海以西，西至西海（里海）万里，南自沙漠以北，北至北海（贝加尔湖）五六万里”，成为幅员辽阔的游牧政权。杨坚建隋时，突厥已分为五个大部，摄图称沙钵略可汗，毗罗称第二可汗，大逻便称阿波可汗，玷厥称达头可汗，此外还有步离可汗。沙钵略可汗实力最为强大且名义上是突厥汗国的真正主人，但是各汗无所统辖，分居四面。杨坚取代北周以后，北周时本来嫁给摄图叔父佗钵可汗如今是他沙钵略可汗的可贺敦（皇后）的千金公主为报杨坚亡北周灭宇文氏的家仇国恨，屡次劝沙钵略可汗出兵攻打隋国，为周室复仇，而沙钵略可汗也因为刚刚即大汗位需要建功来巩固自己的地位，且隋朝待遇突厥礼数相比北周时较为随便突厥各部皆怨恨隋朝。于是战争在杨广的并州周边打响。

开皇二年（582年），突厥沙钵略可汗联合北齐的残余势力营州（今辽宁朝阳市）刺史高宝宁出兵近四十余万，分几路大举入侵隋朝边境。来势汹汹的突厥大军一时间让隋军难以招架，损失巨大。而取得便宜的沙钵略可汗没有停止进攻脚步，带着大军想打到长安去。弄得杨坚急令边境修筑堡障，加高长城，并派上柱国阴寿率兵屯驻幽州（今北京），大将于仲文率兵屯驻白狼塞；甚至派太子杨勇兵驻咸阳，防备突厥。虽然杨广的并州也在与突厥交锋的前线，但是由于这次战前的准备有余而没有什么损失。

打败隋军的第一波防御进入长城内的沙钵略可汗想继续南进，可是达头可汗不想打了，于是他不顾沙钵略可汗，自己直接带着自己的本部人马先撤回去了。这时候有一个对突厥很了解的长孙晟出来献计了。这长孙晟就是后来的唐太宗李世民的岳父也就是唐朝有名的宰相长孙无忌的父亲，而他自己本身就是一名优秀的外交家与一名合格的将军。在公元580年的时候，他作为北周千金公主出嫁给当时的突厥大可沙钵略的婚使而到达突厥，而在突厥的一次打猎时表现出与草原般男子的精湛箭术使得沙钵略可汗非常欣赏他，于是留他在突厥住了一年多。在一年多的时间里长孙晟对突厥的政治军事地理有了深入的了解，也与突厥的高层贵族有一定的联系。所以在面对沙钵略可汗的强势攻击，他就通过自己在突厥时认识的沙钵略可汗的侄子染干沙钵向略可汗“告密”：“铁勒(居突厥以北游牧族)等反，欲袭其牙”。这时的沙钵略郁闷了，担心自己的牙帐老巢被灭，于是不再像没有了达头可汗时的强忍着继续进攻，而是退兵出塞回到突厥老巢去。