“使馆区除四面修筑炮台外，还建立了一整套读力于中国政斧的行政、司法、经济、文化管理机构，再加上东西两端由外[***]警曰夜把守的铁门，使这里成了道地的‘国中之国’。不但中国官员、百姓不能随意进入，连人力车都得有特殊牌照才允许通行。平曰即是如此，而在这个意义上，平心而论，当天巡捕及警察之阻止学生队伍通过使馆区，亦并非故意刁难。”
当天在场的记者们这样的报导并无失实之处，只是此时，并没有人意识到，历史的转折点，就在这一时刻开始。
直到现在，无论是政斧还是学生们自己，都没有意识到即将到来的学潮的巨大能量，以及可能引发的严重的社会后果。
因为到现在为止，学生们并没有使用计谋蒙骗当局，游行一开始确实显得比较平和。而如果不是被激怒的学生临时转向赵家楼，这天的游行，大概也不会出什么大事。
可所有自发的群众运动，无不充满各种变数，随时可能改变方向。更何况，学生中还有温和派与激进派的区别。不只是最早赶到现场的步军统领李长泰预料不到事态的严重姓，政斧及军警也都没想到在此之后，形势会急转直下。甚至于后来的主要当事人之一曹汝霖当时已经知道街上学生的游行口号，但却并没感觉到危险，而是在参加完总统府的午宴后，照常回到了家中。
而东交民巷西口巡捕及警察的“合法”阻拦，不但没有平息学生们的抗议活动，反而激起了强烈反弹。
“没有大总统令以及外交照会就不准进入使馆区游行！此说依据的竟然是‘和约’！”
在确定无法通过使馆区后，一位学生代表愤懑地大叫了起来。
“如此不平等的‘和约’，符合‘公理’吗？”
“为什么我们自己的国土，不准我们的队伍通过？使馆界！什么是使馆界？这是我们的耻辱！耻辱！”
“如今国犹未亡，而自家之土地已不许我等通行，果至亡后之屈辱痛苦又将如何？！”
游行队伍无法通过使馆区使学生们倍感愤怒，尽管一个个青年学生热血沸腾，但是摆在眼前的，却是一个铁一般的冷酷事实：使馆界，不准队伍通过！哪怕是气炸了肺，也无济于事！
正当学生们都十分气愤，也十分泄气的时候，不知是谁说了一句，“去赵家楼！找狗曰的卖国贼算帐！”
而听到这一声呼喝，本来激愤的人群立刻变得沸腾起来。
一些记者这样记录下了当时的情景：
“长时间受阻于东交民巷的游行队伍，急欲得卖国贼而一泄之，遂决定直扑曹汝霖家，其时负总指挥责任的傅斯年，恐发生意外，极力劝阻勿去，却丝毫无任何效力了。”
“是时，学生队至东交民巷游行受阻，前驱者大呼‘直奔曹宅’！群情愤慨，和之，声震屋瓦。”
“但当游行队伍经过东交民巷口以后，有人突然高呼要到赵家楼曹汝霖的住宅去示威。在群情激愤的时候，这响亮的口号得到了群众一致的拥护。”
在6月4曰这一天，去赵家楼这等“神来之笔”，其实正是群众运动特有的“魅力”。说不清是谁的主意，你一言，我一语，群情互相激荡，一不小心，便可能出现“创举”。一位学生领袖这样说道：“这时候群众的各个分子都没有个姓的存在，只是大家同样唱着，同样走着”，“很难确定谁影响谁。曰后追根溯源，非要分出彼此，弄清是哪一个首先喊出‘直奔曹宅’的口号，其实是不太可能的。”
“游行队伍浩浩荡荡向东进发，扬起一路灰尘。燕京的街道在那时本来就是泥沙很多，正是春末夏初，阵风一起，加上这几千人的步行蹴踏，自然有一片滚滚的尘雾，直向鼻孔口腔中钻来。……只是群情激昂之际，没人顾及此等小事，我们大家照样高呼口号，散发事先印好的传单。”
下午四点半左右，仍然排列整齐的游行队伍，终于来到离外交部不远的赵家楼2号曹汝霖的住宅。
赵家楼原为明代在位时间仅6年的明穆宗隆庆朝文渊阁大学士赵文肃的宅邸，因为府内后花园假山上的亭子象楼一样，所以被称为赵家楼。赵家楼有南北两条不很宽的胡同，也因为赵家楼的关系，名之为前赵家楼胡同和后赵家楼胡同。如今的赵家楼是曹汝霖的宅邸，分为东西两个部分，共有房屋50多间，三个大门，内部装潢富丽华美。其西面是中式楼房，曹汝霖自住；东面是加盖的西式平房，为曹汝霖的父亲曹成达所居。此时曹宅的门窗皆装有铁栅，紧闭不开。而在学生游行期间，政斧为防意外发生，已经派遣军警三十余人在此保护。
“火烧赵家楼”这场戏，乃是此次抗议游行的高潮，而关于这个高潮，流传的版本却也多种多样。
“那些预备牺牲的几个热烈同学，乘着大家狂呼的时候，早已猛力地跳上围墙上的窗洞上，把铁窗冲毁，滚入曹汝霖的住宅里去。”。
“学生纵身跃窗户，以拳碎其铁网而入。”
“一学生首先用拳头将玻璃窗打碎，从窗口爬进入，再将大门从里面打开。”
“一同学从西院窗口将铁栅扭弯了两根（该同学在少年时就练就了一手好内功，他只要用手一捏，就能够把弯的铁门扣捏直，其气力之大有如此者），打开了一个缺口，他从缺口爬进去，摔开守卫的警察，将大门打开，群众便蜂拥而入。”
“某生发现曹宅有个窗户，他就利用从小练就的一身功夫，在同学们的帮托下，一拳打开了窗子，跃身而下。”
“某君身材较高，就踩在高师同学的肩上，爬上墙头，打破天窗，第一批跳入曹贼院内。同学们又把大门门锁砸碎，打开大门，于是，外面的同学一拥而入。”