1984年5月15日起，耿飚副委员长参加第六届全国人民代表大会第二次会议。按照这次会议精神，耿飚认真进行了会议发言准备。然而，一次突如其来的采访，却使耿飚陷入了一场严重的政治事件中。
事情的起因是关于香港回归后是否在香港驻军的问题。在当年的“两会”期间，香港记者到处采访，打探中央关于香港问题的立场、决定。
前外交部长、时任全国人大常委会副委员长的黄华回忆说：“被邀请来的香港记者极想捕捉到一点有关中央对香港回归问题谈判的信息，其中焦点之一就是回归后人民解放军是否进驻香港的问题。香港记者趁人大会议期间香港各界人士同中国高层人士聚集的时机，见到党和国家领导人就劈头盖脸地提问。”
耿飚就是在劈头盖脸的提问中出纰漏的。时任中央人民广播电台的记者刘振敏对当时的场景记忆犹新。有记者问耿飚副委员长：“香港老百姓怕驻军，你们中央是不是一定要在香港驻军？” 耿飚副委员长做了含糊其辞的回答：我们可能不一定驻军吧。第二天，香港报讲香港不必驻军，是“中国政府的意见”；“中共前国防部长说，中国将不派军队进驻香港”。一时间，满城风雨。
5月25日上午，六届人大第二次会议的闭幕大会结束后，邓小平决定要在港澳代表和记者面前说清楚这件事情。
在严肃、紧张的气氛中，大家陪同邓小平慢慢走到人民大会堂东大厅。“你们给我辟个谣。”邓小平特意对记者郑重其事地说了下面一段话：“我国在恢复对香港的主权以后，中国有权在香港驻军，这是维护中华人民共和国领土主权的象征，是国家主权的象征，也是香港稳定和繁荣的保证。香港是中国的领土，为什么不能驻军？没有这个权力还叫什么中国领土！”
当港澳记者退场之后，邓小平又对港澳代表和委员详细论述了驻军的必要性，还就中英谈判的进程、过渡时期的问题等做了重要讲话。他说：“我们明确讲了，中国要在香港驻军，耿飚讲的有一条是对的，就是香港不负担军费，费用由中央负担，不用香港负担。这在会谈中我讲了，我说，为什么要在香港驻军？香港以后实行最广泛的自治，驻军象征着中国的领土，象征着我们的主权。”
邓小平的讲话起到了积极的作用。当天，中央人民广播电台就播出了。邓小平的讲话澄清了中央关于香港驻军问题的立场，让“炒作”耿飚答话的香港媒体不得不重视。26日，香港各报均以《邓公布在港驻军》为通栏大标题，在头版发布消息。
对于邓小平的讲话，英国人相当震动。在邓小平发怒的第二天，英方谈判团的首席代表，驻华大使伊文思紧急约见了中方谈判团团长周南。
周南回忆说：伊文思那天表现得挺紧张，说话都有点磕巴。
伊文思说：邓的讲话在香港各界引起很大的震动：港英当局还是很害怕这个问题，希望你们中国政府慎重考虑，是不是不一定要在香港驻军。我说：你不要再讲了，我们已经讲了多次，这是恢复行政主权。国防要中央管，就必须在香港驻军。邓已经发了脾气，你还讲什么！
5月28日，经过反复的回忆和思考，耿飚为此写出了检查。他写道：“由于我说了错误的话，政治上影响很坏，使党和国家蒙受严重损失。小平同志对我的批评，是完全正确的、必要的，我真诚地拥护。”由于邓小平的表态，记者的及时报道，耿飚承认失言的坦诚，使这场“轩然大波”瞬间平息。中英双方在谈判桌上关于驻军问题的“争吵”戛然而止。