視具體情況而定。如果雙方是在一個地方，那麼是要收回的。公共租賃住房的所有權人及其委託的運營單位向不符合條件的對象出租公共租賃住房的，由市、縣級人民政府住房保障主管部門責令限期改正，並處以3萬元以下罰款。
《公共租賃住房管理辦法》第七條第七條 申請公共租賃住房,應當符合以下條件：
（一）在本地無住房或者住房面積低於規定標準；
（二）收入、財產低於規定標準；
（三）申請人為外來務工人員的,在本地穩定就業達到規定年限。
具體條件由直轄市和市、縣級人民政府住房保障主管部門根據本地區實際情況確定,報本級人民政府批准後實施並向社會公佈。
