1950年11月，北京市决定拆除明清北京皇城的西城门——西安门，以改善交通，准备会都开了，就要动手了，西安门却意外地于当年的12月1日凌晨被大火烧毁。孔庆普回忆道：
我记得是在1950年初冬，那时我还是北京市建设局道路科的工务员，头一天我们都开会准备拆西安门了，第二天一早，科长对我们说，不用拆了，夜里给烧了!科里的一位同志上班时路过西安门，看见了。
火是从西安门的南头烧起的，那里面住着清洁队，他们夜里取暖，不慎失火，就跑到附近居民家借水来灭火。那时候，普遍还没有自来水，居民们都是打井里的水，存在自家的水罐里，这点水哪救得过来?他们那儿也没有电话，报火警也难。
对西安门，市公安局交通管理处意见很大，认为影响交通，即使不拆，周围也得修路。后来，市里决定拆除。
西安门被一把火烧没了，这把火帮了拆除工人的忙。
对古建筑的大规模拆除开始在这个城市蔓延。
牌楼昔日曾是北京城里街道上的重要建筑物，它装点并衬托着市容的美。清末，跨于街道上的木牌楼，计有前门外五牌楼、东交民巷牌楼、西交民巷牌楼、东公安街牌楼、司法部街牌楼、东长安街牌楼、西长安街牌楼、东单牌楼、西单牌楼、东四牌楼(4座)、西四牌楼(4座)、帝王庙牌楼(2座)、大高玄殿牌楼(2座)、北海桥牌楼(2座)、成贤街牌楼(2座)、国子监牌楼(2座)。临街的牌楼有两座，一是大高玄殿对面的牌楼，二是鼓楼前火神庙牌楼。
民国时期拆除了东单牌楼和西单牌楼，并将部分牌楼改建为混凝土结构。
1950年9月初，在天安门道路展宽工程中，北京市建设局拆除了东公安街和司法部街牌楼，石匾由文化部文物局收存。这是新中国成立后第一次拆牌楼。
也就在这个月，为配合国庆活动，北京市建设局养路工程事务所对东、西长安街牌楼进行了油饰。政务院遵照周恩来总理指示精神，发文给北京市人民政府，要求保护古代建筑等历史文物。市政府随即要求建设局对城楼、牌楼等古代建筑的状况进行调查，并提出修缮计划。
当年参加这项工作的孔庆普向笔者追述道：
写完报告，10月中旬报给张友渔副市长，张副市长跟吴晗副市长说，你去找梁思成，告诉他北京要修城楼、牌楼。梁思成非常高兴。
11月下旬的一天，在市府东大厅开完会后，薛子正秘书长对建设局副局长许京骐说：“修缮城楼的事，总理批了，政务院还将拨一部分款子来。总理说：‘毛主席很关心北京的古代建筑和历史文化古迹，城楼和牌楼等古代建筑是我们祖上劳动人民留下来的瑰宝，应注意保护好，我们的国家现在还很穷，需要花钱的地方很多，修缮工程暂以保护性修理为主，估计拨款不会太多，先编制一个修缮计划和预算，等政务院拨款后再具体安排。”
1951年1月上旬，建设局和北京文整会拟定出城楼和牌楼修缮工程实施方案。4月中旬，由养路工程事务所综合技术工程队对东、西长安街牌楼进行全面维修，完全按照古代建筑修缮工程技术程序进行操作。
4月25日，市政府通知建设局：政务院拨给北京市修缮城楼工程款15亿元(旧币)，牌楼修缮工程，由建设局年度投资内列支，修缮从简。于是建设局将牌楼修缮工程改为维修工程，投资压缩近半。
但一年没有修完，弄不了这么多。1951年底，我们又写出二期古建修缮报告，但没有批下来。
这之后，风向陡转。
1952年5月，北京市开始酝酿拆除牌楼，此问题由公安局交通管理处首先提出。他们认为，大街上的牌楼附近交通事故频繁，牌楼影响交通是导致交通事故的主要原因，建议建设局养路工程事务所拆除牌楼。
这一年，在文津街北京图书馆门前发生一起严重的交通事故。原北京市城市规划管理局总建筑师李准回忆道：
那里的交通环境的确不好，自北海大桥下桥向西正逢下坡道路，车速一般较高，经过通视条件稍好的金鳌牌楼后即面临原北京图书馆门前附近的“三座门”。它有3个门洞，开间不大，一般只能通过一部汽车，再向前又遇到向北的弯道，行车视线受到较大的障碍。当时一部汽车自东向西疾驶，但快要进三座门时突然发现转弯过来的另一部汽车迎面驶来，这位司机看到迎面来的车里有前苏联专家乘坐，在已无法采取任何措施躲避的情况下，这位司机出于对“老大哥”的尊重，毫不犹疑地把车撞在三座门的门垛上，专家的车有惊无险地顺利通过，这位司机却失去了年轻的生命。当时，这类事故已有多起，很显然，道路间建筑物与交通的矛盾已达到非常尖锐的地步，应该迅速合理地予以解决。
1953年5月，北京市的交通事故简报称：“女三中门前发生交通事故4起，主要是因为帝王庙牌楼使交通受阻所致。牌楼的戗柱和夹杆石多次被撞，牌楼有危险。东交民巷西口路面坡度过陡，又有牌楼阻碍交通，亦属事故多发点。”
5月4日，中共北京市委就朝阳门、阜成门和东西、西四、帝王庙前牌楼影响交通的问题向中央请示：拟拆掉朝阳门、阜成门城楼和瓮城，交通取直线通过；东西、西四、帝王庙牌楼一并拆除。5月9日，中共中央批准了这个方案。并指出进行此项工程时，必须进行一些必要的解释，以取得人民的拥护。
北京市副市长吴晗担起了解释拆除工作的任务。梁思成与吴晗发生了激烈的争论。梁思成认为，城门和牌楼、牌坊构成了北京城古老的街道的独特景观，城门是主要街道的对景，重重牌坊、牌楼把单调笔直的街道变成了有序的、丰富的空间，这与西方都市街道中雕塑、凯旋门和方尖碑等有着同样的效果，是街市中美丽的点缀与标志物，可以用建设交通环岛等方式合理规划，加以保留。
据吴良镛回忆，梁思成一次当看吴晗和市政府秘书长薛子正的面，对周恩来说：“我对这两位领导有意见，他们不重视城楼的保护”。
当年在国务院工作的方骥回忆起梁思成与吴晗的一次冲突：
梁先生为了旧都多保留一些有价值的牌坊、琉璃宫门等古建筑，在扩大的国务院办公会议上，和自称“改革派”的吴晗同志争得面红耳赤，记得有一次，吴晗同志竟站起来说：“您是老保守，将来北京城到处建起高楼大厦，您这些牌坊、宫门在高楼包围下岂不都成了鸡笼、鸟舍，有什么文物鉴赏价值可言!”气得梁先生当场痛哭失声，这都是我们这些在场作记录的同志耳闻目赌的事实。
1953年的一个夏夜，林徽因与吴晗也发生了一次面对面的冲突。
那是文件部社会文化事业管理局局长郑振铎邀请文物界知名人士在欧美同学会聚餐。席间，郑振铎感慨道，推土机一开动，我们祖宗留下来的文件遗物，就此寿终正寝了。林徽因则指着吴晗的鼻子，大声谴责。同济大学教授陈从周回忆道，虽然那时林徽因肺病已重，喉音失嗓，“然而在她的神情与气氛中，真是句句是深情。”
梁思成致信中央领导，认为以“纯交通观点”来决定牌楼存废是片面的，应该从城市整体规划的角度来考虑文物保护以及避免车祸的办法，例如可建设交通环岛，将牌楼保留为街心景观等。”
交锋越发激烈。
1953年7月4日，北京市建设局奉市政府指示，牵头组织关于交民巷和帝王庙牌楼拆除问题座谈会。会议同意拆除交民巷的两座牌楼。关于帝王庙牌楼，文物部门的意见是最好能够保留，或易地重建。
8月20日，吴晗主持会议，讨论北京文物建筑保护问题。薛子正、梁思成、华南圭、郑振铎、林徽因、罗哲文、叶恭绰、朱兆雪等出席。
郑振铎态度强硬地说：“如有要拆除的最好事先和社会文化事业管理局联系，由中央决定，不应采取粗暴的态度。”
但吴晗绵里藏针：“全国性的问题请示中央决定。”
这是不是意味着，只要不是“全国性的问题”，就不需要“请示中央决定”呢?
林徽因提出，“保护文物和新建筑是统一的。保护旧的是为新建筑保存优良的传统”“北京的九个城门是对称的，如一旦破坏，便不是本来的基础了。再如天坛只保存祈年殿其他都拆掉也不是保存文物的办法”。她认为民居建筑的保存也是重要的方面：“艺术从来有两个传统，一个是宫殿艺术，一个是民间艺术，后者包括一些住宅和店面，有些手法非常好，如何保存这些是非常重要的。”
梁思成在发言中指出，“北京市的发展是要在历史形成的基础上发展，一定要保存历史形成的美丽城市的风格。有些单位(如公安、交通、经济部门)考虑得片面”，“在保护古文物建筑工作上，首都应起示范作用，慎重是必要的。”
他搬出了苏联经验，提出“在莫斯科建设中，古建筑在原则上尽量保存下来”。他还以“土地私有”讥讽破坏文物建筑的行径：“北京各机关好像有‘土地私有’的观念，在他们自己的范围内爱拆爱建，一点不考虑整体。”
可是，吴晗作答：“在处理中应尊重专家的意见，但专家不能以为自己的意见必须实现。”
会后，由北京市人民政府与文化部社会文化事业管理局等部门共同组织的联合调查小组，对北京城区的牌楼及其他一些古建筑进行调查。
最后，对牌楼作出了保、迁、拆三种处理方式，即在公园、坛庙之内的可以保下来，大街上的除了成贤街和国子监的4座外，全部迁移或拆除。
不幸的是，“文化大革命”期间，吴晗与郑振铎组织的这次对牌楼调查测绘的所有资料，全部遗失。被迁至陶然亭公园的东、西长安街牌楼，也大约在1971年9月，被江青下令拆除。
1953年12月20日，吴晗主持召开首都古代建筑处理问题座谈会。他在总结发言中说：“座谈会已取得一致意见的几处古代建筑处理意见：第一，景德坊先行拆卸，至于如何处理，另行研究。第二，地安门的存废问题以后再研究，先拆去四周房屋10间，以解决交通问题。第三、东、西交民巷牌楼可以拆除。”
由于梁思成的坚持，周恩来总理不得不亲自出面找他做工作。梁思成与周恩来恳谈了几乎两个小时，并极富诗意地描述了帝王庙牌楼在夕阳斜照，渐落西山时的美丽景象。周恩来则以“夕阳无限好，只是近黄昏”作答。
孔庆普主持拆除了历代帝王庙景德坊和东交民巷牌楼。他向笔者追忆了当年梁思成向这两处牌楼告别的情景：
市里对梁思成先生非常尊敬。1954年3月6日，我们开始拆东交民巷牌楼，脚手架都搭好了，第二天接张友渔副市长通知：“交民巷牌楼暂停施工，等梁教授看完后再拆。”我们当天晚上又把脚手架拆下来，把杉槁等放在中华门前面。可是，等了两天仍不见梁先生来，我们就报告局秘书室，12日由秘书室出车接来梁先生，由我在现场接待。
梁先生只看了东交民巷牌楼，他说，这两座牌楼都是改造过的，是混凝土牌楼，已不属于古代建筑，既然影响交通，拆就拆吧。他还问长安街牌楼的情况，问什么时候拆，说要是拆也应该挪到别的地方再建起来，东、西长安街牌楼是古建筑，都是木质的、老的。我说，东、西长安街牌楼计划在“五一”前拆完，6月15日上汛前，计划拆完东、西四牌楼。他没再说什么就走了。
梁先生走后，我向局里汇报，说梁先生没说什么，还说东交民巷牌楼已不是古建筑。局里又向市里汇报，市里就指示，动手吧。没过几天，市政府又来通知：长安街牌楼暂缓拆除。东、西四牌楼拆否未定，另行通知。
历代帝王庙牌楼也是我们拆的。1954年1月8日，我们开始准备拆卸。10日，梁思成先生来到现场，这是他自己去的，当时我们正在搭脚手架。他就在旁边看，见到我问这两座牌楼计划什么时候拆完?照了相没有?拆下来的部件存在哪里?重建的地点定了没有?我说，相片已照了，立面、侧面、局部、大样都有。上级布置是拆卸，要求操作仔细，力争不损坏瓦件，木件不许锯断，立柱和戗柱必要时可要以锯断。折下的部件暂存于帝王庙内，由文整会安排，重建地点尚未确定。据文整会俞同奎同志说，民族学院拟将牌楼迁建于校园内。
梁先生说，北京的古代牌楼属这两座构造形式最好，雕作最为精致，从牌楼的东面向西望去，有阜成门城楼的衬托。晴天时还可以看到西山，特别美，尤其是傍晚落日的时候。为争取保留这两座牌楼，他曾给周总理写信，总理很客气，说夕阳无限好，只是近黄昏。唉!也难说!这里的交通问题确实也不好解决。
梁先生说，这座牌楼被挪了就没有意义了。他还问我，牒楼的木件腐朽程度如何?我说，经初步检查，木构件大部分腐朽很严重，拆卸时尽力小心吧。梁先生最后说，感谢!感谢!这次来主要是向牌楼告别。
之后，我又陪他到历代帝王庙里去看，当时这个庙被女三中用着，后院东房已腾出来摆牌楼拆下来的料。梁先生很满意。
以前我还真不知道帝王庙牌楼是构成一幅美景图画的主体呢。此后就天天等待梁先生所说的美景的出现。晴天和晚霞都出现了，只是牌楼已被脚手架包围，无法为美景留影了。
中国文物学会会长罗哲文向笔者回忆道：“拆历代帝王庙的牌楼，梁思成先生痛哭了好几天，名为拆迁，但事先并未落实迁建地点，拆下一堆料后来也不知去向；大高玄殿门前原有两个习礼亭，是一个院子，习礼亭与故宫角楼相仿，比角楼还漂亮，也被拆了，说是拆迁，但是，拆到哪儿?没定下来，也是拆下一堆料，后来不知去向，没准在‘文革’中被当成了柴火烧掉了。”
后来，毛泽东对上述争论定了这样的调子：“北京拆牌楼，城门打洞也哭鼻子。这是政治问题。”
