1956年10月日苏两国恢复外交关系后，双方关系发展还是比较正常的，但是1960年1月19日，日美两国在华盛顿签署了新《日美完全保障条约》后，苏联认为这是日本进一步投入美国为首的西方阵营，所以对日本展开强大攻势。这样引发了日苏两国在恢复外交关系后，第一次大规模有关返还两岛与四岛的争论。

1月27日，苏联外长葛罗米柯向日本驻苏大使门胁季光递交了苏联政府备忘录，指出：“苏联对于日本缔结破坏远东和平结构，对苏日关系发展形成障碍的新军事同盟，不能采取默认措施。”“苏联政府认为有必要特此声明，只要从日本领土上全部撤出外国军队及签署苏日和平条约，才能按1956年10月19日《日苏联合宣言》规定，将齿舞群岛和色丹岛引渡给日本。”为此2月5日，日本政府向苏联驻日大使费特列夫递交了日本政府备忘录，指出：“日本政府对苏联政府就领土问题在联合宣言之外，又增加新条件，想要改变联合宣言内容的态度不予承认。我国不仅对齿舞群岛和色丹岛，而且对其他日本固有领土也坚决主张返还到底。”2月24日，苏联再次向日本递交了备忘录，进一步指出：“日本提出齿舞群岛和色丹岛之外领土要求是报复主义危险倾向，根据国际协定已经解决完了，是没有根据的领土要求。”这就是苏联方面提出的领土问题解决完了的观点。针对此，3月1日，日本向苏联驻日大使费特列夫递交了备忘录，指出：“领土问题没有解决，日本国民当然要求引渡国后岛和择捉岛。”[9]在这次争论中，苏联方面不仅坚决反对返还四岛，而且在返还两岛问题上又增加新条件，即要求从日本领土上全部撤出外国军队及签署苏日和平条约后才能够实施，除两岛外其他领土问题已经解决完毕。对此日本态度明确，坚决要求返还四岛，并坚决反对苏联单方面改变两国条约内容主张。

日苏两国第二次大规模有关返还两岛与四岛的争论，是在中美关系剧变后，特别是1973年日本首相田中角荣访问苏联时期。1971年7月15日，中美两国同时宣布美国总统尼克松将在1972年访问中国。中美关系的变化，引起了苏联极大不安。1972年1月，苏联外长葛罗米柯在取消了出席华沙条约组织首脑会议后紧急出访日本。当时苏联驻日大使托罗扬诺夫斯基在谈到葛罗米柯这次访日时说，“由于中美关系急剧接近，使得苏联不得不注意对日本政治关系恶化问题。葛罗米柯认为不进行这次访问，会使苏联在远东地区处于更加不利地位。为此葛罗米柯在非正式场合提到领土问题时，暗示日本可以返还齿舞群岛和色丹岛”[10]。但是日本方面对葛罗米柯的暗示不予理睬。苏联此时在两国领土问题上态度变化，不仅反映出在领土问题上的让步，而且也反映出其极力避免日本追随美国形成中日关系接近局面出现的意图。

1972年7月，力主恢复中日关系正常化的日本首相田中角荣上台后，9月实现了愿望，但是苏联方面并没有放弃拉拢日本的努力。苏联领导人勃列日涅夫在国庆50年纪念大会上发表讲话，指出“我们可以讨论所有问题，在相互都能接受上达成一致。日本方面如果表示同意交涉，肯定会获得期待成果”[11]。对于苏联的呼吁，日本认为解决北方四岛问题时机降临，于是田中角荣首相接受邀请访问苏联。在两国首脑会谈开始后，日本首相田中角荣直截了当地提出一揽子归还北方四岛要求。他指出：“现在日苏两国关系中有刺喉咙的骨头，如果不先把这块骨头拔掉，就不能建立真正信赖的关系。”然而苏联领导人勃列日涅夫却对此不予理睬，大谈西伯利亚开发问题，力图以该地区丰富资源开发来吸引日本。双方这种追求目标截然相反，只能是不欢而散。

日苏两国第三次大规模有关返还两岛与四岛的争论，是在苏联领导人戈尔巴乔夫上台后，特别是1991年戈尔巴乔夫访问日本前期准备及访日时期。1985年3月，苏联领导人戈尔巴乔夫上台后，在对内对外政策上推行改革，使苏联很快陷入各种危机中。为了转变这种危机局面，戈尔巴乔夫希望借用日本经济技术力量的帮助，然而日本却认为这是收回北方领土的好时机。这次争论的最大特点是苏联不再回避两国之间存在领土问题事实，而且两国国内都出现了社会舆论讨论解决该问题的局面。在日本国内，虽然占主流的观点仍然是传统的坚持苏联返还四岛，如1990年10月19日，日本首相海部俊树在国会发表讲话，强调日本不接受仅返还两岛作为基础的领土问题解决方案，主张必须返还四岛。但是，日本国内也出现了不同声音，1990年3月20日，日本《产经新闻》发表了采访自民党著名政治家金丸信的文章，金丸信说：“如果苏联表示准备返还岛屿，在达成一致问题上，返还四岛还是返还两岛，实际上意义是一样的。”同年4月24日，日本各大报刊发表金丸信就领土问题讲话，金丸信表示如果苏联准备返还两岛，我要是作为首相就努力实现所谓返还两岛。[12]这表明，因领土问题长期得不到解决，在日本国内已经出现不再顽固坚持原来立场的倾向。

1991年4月16—19日，戈尔巴乔夫作为苏联总统访问日本。虽然日方在接待上热情周到，但是在两国领土问题讨论上却针锋相对。在两国首脑会谈中，日本首相海部俊树指出：“北方四岛在历史上与日本有很深联系，其主权在日本已经十分明确。总统应该就1956年《日苏联合宣言》中有关领土问题条款，决定返还齿舞群岛和色丹岛。”对此戈尔巴乔夫答复说：“现在不行，很理解必须尽快解决，但是要认真谈判，因为这是重要问题。”苏联认为应该首先开展两国经济技术合作，创造出好环境后，自然就容易解决领土问题。海部俊树立即反驳说：“解决领土问题之后实行经济合作，我国这一方针不会改变。”[13]这次有关领土问题争论仍然没有结果，但是在两国最后发表的联合声明中，第一次公开明确记录了北方四岛的名称，表明苏联第一次公开承认两国之间存在齿舞群岛、色丹岛、国后岛、择捉岛的领土问题。对于日本来说，长期争取返还北方四岛问题已得到一定收获，但是承认存在问题离解决问题仍有很长距离。日苏两国在这种相互争论中，迎来了苏联解体。