Понятие незаконного владения имуществом, в том числе недвижимым, предполагает, что где-то имеется его законный владелец,как правило собственник, из владения которого оно выбыло помимо его воли, а Вами было приобретено у лица, которое не обладало правом на его отчуждение.
В соответствии со ст. 301 ГК РФ собственник вправе истребовать свое имущество из чужого незаконного владения.
Ст. 302 ГК РФ предусматривает, что если имущество возмездно приобретено у лица, которое не имело права его отчуждать, о чем приобретатель не знал и не мог знать (добросовестный приобретатель), то собственник вправе истребовать это имущество от приобретателя в случае, когда имущество утеряно собственником или лицом, которому имущество было передано собственником во владение, либо похищено у того или другого, либо выбыло из их владения иным путем помимо их воли.
Если имущество приобретено безвозмездно от лица, которое не имело права его отчуждать, собственник вправе истребовать имущество во всех случаях.
Согласно п. 35 постановления Пленума Верховного Суда РФ и Пленума Высшего Арбитражного суда РФ от 29.04.2010г. №10/22 “О некоторых вопросах, возникающих в судебной практике при разрешении споров, связанных с защитой права собственности и других вещных прав” в ситуации, когда предъявлен иск о признании недействительными сделок по отчуждению имущества в том числе к лицу, приобретшему имущество у лица, которое не имело права его отчуждать, следует иметь в виду правила, установленные статьями 301, 302 ГК РФ.
Таким образом, между истцом и ответчиком по искам об истребовании имущества из чужого незаконного владения, отсутствуют договорные отношения.
Из сказанного следует вывод, что первоначальная сделка, по которой приобретённая Вами квартира отчуждалась первым собственником, была признана недействительной, и собственник пытается воспользоваться имеющимся у него правом по её возврату.