1956年双方签署《日苏联和宣言》，三年后双方围绕该宣言有关领土条款出现争议。1960年1月27日，针对日美两国修改《日美安全防御条件》，苏联向日本提交备忘录，指出：“苏联政府认为，日本政府签订的新条约是针对苏联和中华人民共和国的，这些岛屿让渡给日本，会使外国军队使用的领土扩大，所以不能促进实现。苏联政府认为有必要特此声明，只有从日本领土全部撤出外国军队及签订日苏和平条约，才能按1956年10月19日《日苏联合宣言》规定，把齿舞群岛、色丹岛让渡给日本。”[17]

2月5日，日本对此提出反驳，备忘录指出：“苏联政府在这份备忘录中，把日美两国之间的新条约与让渡齿舞群岛、色丹岛问题相联系，是极其不可理解的。《日苏联合宣言》是确定日苏两国关系的基本国际条约，是经过日苏两国最高权力机关批准的正式国际文件。这样严格的国际条约内容是不允许单方面进行更改的。日本政府对于苏联政府就领土问题在联合宣言规定之外，又增加新的条件，想要更改联合宣言内容的态度不予承认。另外我国不仅对齿舞群岛、色丹岛，而且对其他日本固有领土也坚决主张返还到底。”[18]

2月24日，苏联再次提交了对日本备忘录。进一步提出：“日本政府提出齿舞群岛、色丹岛之外的领土要求是报复主义危险倾向，根据国际协定已解决完了，是没有根据的领土要求。”[19]日本提出除齿舞群岛、色丹岛之外，另有国后岛、择捉岛的返还要求后，引起苏联极大反感，导致苏联提出领土问题解决完毕的观点。此后双方围绕是否存在领土问题展开争议，日方为了争取苏方承认双方存在领土问题，历经长期努力。

20世纪70年代初，伴随中美关系转化，为了防止日本也随形势转化而靠近中国，1972年1月23—28日，苏联外长葛罗米柯紧急出访日本。葛罗米柯对日本首相佐藤荣作表示：“如果日方与苏联缔结和平条约有实际诚意表现的话，苏联政府可以研究1956年共同宣言的实际条款落实问题。”[20]在非正式的场合提到“北方领土”问题时，苏方暗示可以返还齿舞群岛、色丹岛。[21]但是，日方对葛罗米柯的暗示并不接受，仍然坚持苏方返还“北方四岛”主张。在两国外长最后发表《联合宣言》里表示：“双方同意，为日苏关系进一步持久、稳定基础上发展，缔结日苏和平条约具有意义，双方同意有关缔结日苏和平条约交涉，在本年度双方认为合适时期举行。”[22]苏方从“领土问题解决完毕”，不肯相让，到自己暗示返还齿舞群岛、色丹岛，反映出苏联不仅在“北方领土”问题上有所缓和，而且也想把日本的注意力吸引到苏方，以避免出现日本追随美国并促成中日关系接近的想法。

1973年10月，田中角荣首相应邀访问苏联。双方首脑会议上，勃列日涅夫总书记首先讲，“苏联有丰富的资源，西伯利亚似乎每天都能够发现一种新的资源，只要日本参与经济协作，就肯定能够获得巨大利益。如果这样考虑，和平条约问题可以作为第二步考虑，不是非要先解决领土问题”[23]。对此田中角荣反驳说，“日本作为缺少资源的国家，对经济协作、资源开发问题是有兴趣，这些也是日苏之间重要问题。但是，我在这里呼吁的是，为了建立日苏间巩固的基础，有必要首先缔结和平条约，解决北方四岛问题，这是签订日苏和平条约的绝对前提条件”。[24]日方以“政经不可分”对策逼迫苏方，继续就包括领土问题在内的缔结和平条约问题举行谈判。在两国最后发表的《日苏联合宣言》中表示：“双方同意，在1974年适当时期，两国间继续就缔结和约交涉。”[25]

在苏联解体前，日本热情期盼戈尔巴乔夫总统访日，企图能在解决“北方领土”问题上带来转机。1991年4月17日，双方首脑会谈上，海部俊树首相讲：“总统应该就1956年《日苏联合宣言》中有关领土问题条款，决定返还齿舞群岛、色丹岛。”[26]对此，戈尔巴乔夫指出：“现在不能，很理解必须尽快解决，但是要认真谈判，因为这是重要问题。”[27]在双方发表的联合声明中表述：“考虑到双方就齿舞群岛、色丹岛、国后岛及择捉岛的归属问题立场，就日苏两国间包括领土划定问题在内的有关和平条约诸问题进行认真会谈。”[28]这说明，第一，苏联正式承认存在领土问题。第二，领土问题具体指齿舞群岛、色丹岛、国后岛、择捉岛四岛的名字被明确记载。第三，领土问题没有解决，到缔结和平条约时，包括这些领土问题必须得到解决。日方实现苏联承认存在领土问题，并具体记载“北方四岛”为双方领土问题交涉对象，可以说是大前进。但是，日方要苏联根据1956年《日苏联合宣言》，明确承认返还齿舞群岛、色丹岛的有效性，剩下的国后岛、择捉岛，承认日本具有潜在的主权这一目标并未实现。

4月26日，在苏联联邦议会上，戈尔巴乔夫汇报访日情况时讲：“在联合声明中谈到了1956年联合宣言，有关联合宣言中返还两岛条款，已经仅能成为现实中的历史依据，这部分已经产生了国际法的结果，我们应该以宣言中第二部分（日苏两国结束战争状态、恢复外交关系）作为基础。没有实现的内容，在30年后不可能恢复原样。历史的车轮已经行驶过去了，时机已经丧失了。1956年联合宣言，苏联承认两岛是日本领土，但不是决定向日本返还。苏联从善意决定移交管理，但是后来状况出现复杂化，《日美安全保障条约》签订，未出现合适的历史时机。”“应该以新的现实出发，如果要问如何返还，回答就是继续进行交涉。”[29]戈尔巴乔夫认为，1956年《日苏联合宣言》有关返还两岛的条款，已经失去了有效性。