Perché mio figlio mi rifiuta in questo momento appena dopo la separazione?

Ciao, sono mamma di un bimbo di tre anni e mezzo. Nel maggio scorso sono andata via di casa lasciando il papà dopo anni di fatica. Abitavamo nel paese di lui, proprio a fianco dei nonni paterni che il bimbo adora. Ci siamo spostati meno di un anno fa nel paese dove vivevo io in un appartamentino. Il papà si fa vedere si e no una volta a settimana. Io mando giù di tutto pur di continuare ad organizzarmi e con lui e con i suoi genitori perché il bimbo possa vederli tutte le settimane. Il papà fa vita a parte, non ha neanche un rapporto con i suoi genitori. Nel frattempo suo fratello ha appena avuto un figlio ed abita ora in quella che era casa nostra. Il mio bimbo quindi quando è dai nonni paterni frequenta anche questa casa che fino a poco tempo fa era la sua ed ora è abitata da una nuova famiglia.
Il fatto è che mi faccio in 4 per tenere su la baracca ed ora lui è come se rifiutasse me. Al rientro Dopo la giornata col papà o i nonni non vuole rientrare a casa, si rifugia dietro le loro gambe dicendo che non mi vuole, che non mi vuole bene e che vuole stare con loro.
Non so che pesci pigliare, davvero.
Stasera al rientro dal pomeriggio coi nonni, dopo la scenata e i pianto che non voleva lasciare andare i nonni... quando ci siamo ritrovati da soli gli ho detto che può andare a vivere dai nonni ma che questo vuol dire che non vivrà più qui con me.
Dopo ho cercato di ritirar su la cosa dicendo che gli vogliamo tutti bene e nessuno lo abbandonerà mai.
Ma la verità è che mi sento malissimo.