在伦敦的社交圈里，有一位活泼大方，但性情反复无常的名媛叫卡罗琳·兰姆。她在七年前嫁给了墨尔本爵士的第二个儿子，并且育有一子。她极富青春活力，虽然没有受过什么正式教育，却天生聪慧，能写诗也会作画。她久闻拜伦的大名，十分仰慕，但苦无见面的机会。

有一天，罗杰斯到她家中拜访，递给她一本《恰尔德·哈罗尔德游记》，并且说：“你应该认识一下这位新诗人！”不过，罗杰斯又警告她说，这个人身体有些残疾，性格也有点古怪。卡罗琳在读了拜伦的书之后，对罗杰斯说：“即使他像《伊索寓言》的作者那样丑陋，我也想认识他。”可是，她第一次见到拜伦时，却不肯主动与他讲话。可能是因为当时已有一群社交名媛围着拜伦，她不愿意和她们一样主动逢迎吧。

她的不逢迎反而引起了拜伦对她的兴趣。不久后，两人就在侯兰夫人家正式认识了。对拜伦来说，这是一种新鲜的经历，因为以前在他身边围绕的都是一些社会地位比他低，仰慕他、奉承他的女人；而现在他面对的是一位社会地位相等、文化程度也匹配的社交界名媛。这对他来说，是非常新鲜刺激的。而卡罗琳呢？她已经完全被拜伦的风度折服了。根据罗杰斯的记载：

她向拜伦保证，如果他需要金钱方面的帮助，她所有的珠宝都可以任他取用。如果拜伦去参加她未被邀请的宴会，她甚至愿意在街角等候拜伦，直到宴会结束。

年轻，加上有诗人的头衔和爵位，还有到过希腊的浪漫经历，这使得很多人都为拜伦而疯狂。

拜伦第二次赴卡罗琳的约会时，见到了卡罗琳的一个表妹，那是个乡下姑娘，叫安娜贝拉·米克班克。安娜贝拉认识拜伦之后，迅速地爱上了他，不过她并没有什么直接的表示，她只是将自己的习作托卡罗琳转交给拜伦，希望得到他的指导。卡罗琳将这些诗作交给拜伦时，以为拜伦不会对这个乡下女孩有什么特别印象。不料拜伦却坦言，他觉得安娜贝拉是个很特别的女孩，她那单纯的面貌下隐藏着坚强而又丰富的思想，“不过，我没有想和她互相了解的欲望！……她太纯洁、太完美了！我这个‘灵魂堕落’的人，不值得她认识……”

出于嫉妒心理，卡罗琳自然不会把拜伦的话转告给安娜贝拉。在失望之余，安娜贝拉离开了伦敦。

拜伦和卡罗琳两人都个性要强、自以为是，性格上的冲突使然，这段缠绵而波折起伏的爱情难免成为两人刻骨铭心的痛苦记忆。有时候拜伦硬逼着卡罗琳承认——她爱他甚于爱自己的丈夫。甚至有一次，为了要试验卡罗琳是不是对他真心，他向她提出私奔的要求。或许他明知卡罗琳绝对没有勇气离开她现有的舒适环境，也或许他只是要试试看，卡罗琳是否会离开她的丈夫与儿子。

除了和卡罗琳的恋情外，拜伦还收到一大堆仰慕他的女人写来的信。有的想要帮助他改变信仰，有的要拜伦对她的诗作出评论，有的甚至自作多情地以为拜伦诗中所写的女人是在影射她。这些事情并没有给拜伦带来困扰，相反，他很享受这种类似众星捧月的感觉。风韵犹存的墨尔本夫人——卡罗琳的婆婆这时候也与拜伦相交，成了他的知心好友，他们之后一直无所不谈，毫无隐瞒。

当拜伦和卡罗琳的关系维持一段时间之后，拜伦想要结束这段恋情，但却不知怎样做才能收到最好的效果。他想结束这段关系的原因之一是卡罗琳处处想操纵他，这是他不能忍受的。正在这时，拜伦因为参加一个贵族团体，认识了一位成熟稳重、性格温婉的牛津夫人。因为这位夫人的关系，拜伦还有幸见到了英国王子。

7月，拜伦和卡罗琳的关系进入僵持状态。拜伦经常拒绝与卡罗琳约会，这激怒了她。7月底的一个中午，卡罗琳乔装打扮亲自登门。霍布豪斯好言相劝，希望卡罗琳不要把事情闹大。但是卡罗琳不为所动，她甚至拿出刀以自杀威胁拜伦。拜伦夺下刀后，霍布豪斯将卡罗琳带到别的房间，让她换了一身衣服，再用马车送她到朋友家。这样才算结束了这幕闹剧。

从表面上看来，他们两人的关系似乎已经告一段落，然而事实上，卡罗琳仍旧疯狂地爱着拜伦。她的家人为了避免流言飞语将她带到了爱尔兰。临行前，拜伦写了一封文情并茂、能满足她欲望的送别信给她。

卡罗琳离去后，拜伦的生活总算恢复了平静。至于他是否对卡罗琳已经忘情，连拜伦的心腹好友——墨尔本夫人也不敢断言。墨尔本夫人为了平息他和卡罗琳之间的风风雨雨，曾努力促使她的侄女——安娜贝拉和拜伦交往。因为她认为拜伦如果有一位贤惠的妻子，就不至于和卡罗琳纠缠不清了。拜伦接受了墨尔本夫人的建议，果真向安娜贝拉求婚。出乎意料，安娜贝拉竟然拒绝了。拜伦对这样的结果一笑置之，并不在意。

这时，成熟稳重的牛津夫人吸引了拜伦的注意，她与敏感而歇斯底里的卡罗琳是那么不同。不久后，拜伦就成了牛津夫人的座上宾。

拜伦回顾他出名后的这一年，发觉只有目前的状况最令他满意。年终的最后一天，他写信给墨尔本夫人，信上说：

这一年，我没有什么成就，但唯一可以自豪的是：我在你们家两个月的时间，创下了我的一个纪录——没有打过一次呵欠！

拜伦和卡罗琳的关系并没有完全结束，虽然拜伦已经停止写信给她，但卡罗琳仍旧一直纠缠着拜伦。卡罗琳回到伦敦时，要求拜伦和她见面，拜伦坚持必须有牛津夫人在场才行。后来卡罗琳又要求拜伦给她一束他的头发，拜伦很狡猾地剪了牛津夫人的头发充数。卡罗琳一再要求拜伦送照片、写信、送一些小东西给她。

在一个舞会上，他们意外地重逢了。卡罗琳看到拜伦与一位夫人一起走进餐厅，她拿着一把刀跟了过去。餐厅一片混乱，许多女士想夺下卡罗琳手中的刀。抢夺中，卡罗琳不慎割伤了自己的手。第二天，当地人又有了新鲜的谈资，卡罗琳这才意识到自己闹得太过分，已经成为众人的笑柄了。

拜伦似乎并不在意成为别人茶余饭后的谈资，他正在积极为出国作准备，他很盼望能通过出售纽斯台德庄园得到一笔旅行费用。卡罗琳不再纠缠他之后，他的耳根似乎清静了许多。这期间，拜伦与他同父异母的姐姐奥古斯塔的联系又日渐密切起来，他甚至想和奥古斯塔一起出国，不过后来在墨尔本夫人的劝阻下，他打消了这个念头。

情绪低落的时候，拜伦开始写日记，一开头就检讨自己并一再回忆他已经逝去的岁月。他写道：

一个人到了25岁，生命中的黄金年华已经过去，这时候，他应该有所成就了，可是我有什么呢？只白白活了25年！我看了些什么？世界各地的人都一样，女人也是如此！我也不知道自己想要什么，一旦得到了想要的，却又不珍惜了！

拜伦想到自己还没有尝过婚姻的滋味，于是有心思结婚，可是身边太多失败的例子让他退缩了。政治生涯的不得志也是他情绪愤懑的原因之一。

这种情绪一直持续到1813年12月。月中，奥古斯塔来到了伦敦。拜伦自然十分高兴，因为对他来说，只有奥古斯塔能给他自信，并且顺从他、了解他，像母亲一样地安慰他、保护他。年底，拜伦收到他的两个旧情人的来信：一个是他幼年时恋慕的玛丽小姐，她宣称自己病了，极需拜伦的安慰。拜伦委婉地拒绝了她的要求，他宁愿保留着对玛丽小姐美好的印象，也不愿意再发生什么事破坏最初的回忆。另一个是曾经拒绝他求婚的安娜贝拉，她也生病了，不过她只是写信来提醒拜伦，她一直是他“忠实的朋友”，这使得拜伦对她的印象越来越好。

奥古斯塔来到伦敦之后，就和拜伦一起前往纽斯台德。冰天雪地给了拜伦不出门的借口，再加上有奥古斯塔的陪伴，他的日子似乎惬意了许多。纽斯台德通往外面的道路一直到次年2月才清除干净，在这整整一个月中，拜伦没有动笔写过任何东西，这表示他暂时生活在十分快乐的状态中。

好友霍布豪斯请拜伦和他一起去巴黎。拜伦本来也想去了解一下有关拿破仑的事情，然而，因为要照顾怀有身孕的姐姐，他拒绝了霍布豪斯的邀请。同年4月，奥古斯塔产下一女，取名为莫多拉。可能拜伦和奥古斯塔曾讨论过关于他的婚姻问题，这之后，拜伦开始积极考虑结婚。

首先，拜伦接受奥古斯塔的建议去追求夏洛蒂小姐，不料夏洛蒂小姐太过害羞，不敢表达自己的心意，因而在年底前，听从家人的安排，嫁给了另一位贵族。拜伦转而追求安娜贝拉，他文情并茂的信轻易地赢得了安娜贝拉的芳心，安娜贝拉也不再矜持，她回应了拜伦的爱意——如果那真的是爱意的话。拜伦的信让安娜贝拉产生了一种错觉，她认为这个“浪子”终于要“回头”了。