在“最小的自我”①这篇强调当代移民迁移的中心和经验的文章和最近的两次访谈(一次是和陈光兴的访谈，另一次是与酒井直树的访谈)中，②霍尔描述了自己作为一名在20世纪50年代移民到英国的牙买加人的经历，特别强调这些经历对于塑造他的身份感所起到的作用。如霍尔所指出，通过新的身份叙事被迫永久地从原来的地方流离失所和被迫无休止地重建自己的身份的经验，导致了他“意识到一个事实，理论上说，早在我明白以上任意一点之前，身份从一开始就被创造出来”①这一被增强的身份建构感的起源，甚至可以较远地追溯到霍尔在牙买加的成长经历，那里是一个充满殖民和阶级关系紧张的环境。比如，霍尔的父亲任职于联合果品公司，并晋升到以前只有白人雇员的管理岗位。由于他的父亲最初来自有色的、中下层阶级背景这一事实，他的社会地位被进一步复杂化，而霍尔肤色更浅的母亲成长于一个受过教育的中产阶级种植园的环境，并认为自己是“实际上的‘英国人’”②。

正如霍尔指出，成长在“一个中下层阶级家庭，一个试图成为牙买加中产阶级以及试图成为一个英国维多利亚时代的家庭”③,很早就教育了他差异的问题。他的家庭是殖民者文化的身份而不是牙买加的文化，他们执着于种族和肤色的差异(霍尔描述了他局外人的地位，作为家庭里最黑的成员，回忆起他的父母拒绝让他与更深肤色的同学混在一起),意味着霍尔经历了非常个人化的殖民主义文化的矛盾。他回忆起积极地从他的父母和他们的阶级以及殖民愿望中疏远。比如，作为一个年轻的学生，当他的父母感伤旧殖民地时代的离去，霍尔却强烈认同当时羽翼未丰的牙买加独立运动的反帝目标。然而，与此同时，他却在传统的英语应试教育体制中游刃有余。与较窄的经典教育通常允许的范围相比，霍尔的阅读范围更广(他在学校的最后一年里学习了弗洛伊德、马克思和列宁的作品),他承认他“非常喜欢成为殖民地知识分子中的一员”①。从他早年，霍尔经历了两个非常不同的文化系统识别的紧张状态。虽然在取得霸权主义和殖民教育体系的学术成果中，他获得了越来越多的自信，但与此同时，他继续对加勒比地区民族主义运动抱有兴趣并且持续认同。

虽然霍尔成为那些似乎有能力在拥有加勒比身份的认同感和成为“英语方面的学者”②之间进行商讨的学校老师的强有力的榜样，但他的家庭环境没有提供任何等价的空间，使霍尔自己能够塑造一个类似的多重主体身份。回顾他的家庭生活和他在1951年移民到英国的原因，霍尔捕获了殖民主义及其矛盾对个人影响的主观效果。他反思道：“当我看我童年和青春期早期的快照时，我看到了一张沮丧的人的照片。我不想成为他们想让我成为的人，但我不知道如何成为别的人。”③具有讽刺意味的是，霍尔背井离乡的主观经验，来自牙买加教育体系强加给他的牙买加身份和英国身份认同，在很多方面为霍尔移民英国提供了心理准备。正如他所指出的，他试图通过奖学金从殖民“家”逃脱到英国牛津大学，他从来没有完全属于那个“家”,牛津大学本身就是一个殖民机构的中心和一个他的家人讽刺地看作真正文化的“家”的地方。然而，并不奇怪的是，1951年的牛津大学更是一个让霍尔备感流离失所的地方。