Me urge consejo, no de mamá sino de mujer

Tengo una hermana que está casada con dos hijos, antes de yo tener a mi pareja actual y a mi hija, yo pasaba mucho tiempo en casa de ella, mi cuñado empezó a insinuarseme, al principio no fue tan directo sino que empezaba a decirme cosas como que yo merecía más y que sabía que económicamente yo no podía tenerlo y que el quería apoyarme, como con una computadora para mi escuela y así, me decía que se lo pagara después que no había problema pero que a mi hermana le molestaba eso así que no le dijera, al principio me deje llevar por su “preocupación” para que yo sacara adelante mi escuela (no tenia apoyo económico de mi mamá), después empezó a regalarme ropa, zapatos y hubo un punto donde yo le dije que eso ya no me gustaba, que ya era mucho, para no hacer el cuento muy largo, después salió con que estaba enamorado de mi, que mi hermana no lo quería que el no era feliz y mil cosas, yo le dije que yo NUNCA estaría con el, que ya no me dijera esas cosas o hablaría con mi hermana, no lo hice porque no quería hacerle daño a ella, sabía que no lo iba a dejar y que el me echaría la culpa a mi, llegó a un punto en el que el quiso tener control sobre mi porque yo le acepté la computadora y otras cosas, yo puse un límite sobre el y le regrese todo lo que no debí de aceptarle, pasaron pocos meses y poco a poco volví a pasar tiempo con ellos, con mi distancia claro, ya lo había bloqueado de redes sociales, en ese tiempo empecé a salir con mi novio y le conté todo, el desde luego me pidió que tuviera contacto cero con el y lo hice, fue difícil porque eso implicó no ver casi a mi hermana y a mis sobrinos que amo con todo mi ser, ya pasaron 3 años y ahora que tengo a mi bebé quiero que mis sobrinos convivan con ella y quiero ver a mi hermana ya que estos años ha habido muy poco contacto, ella no sabe porque me aleje, cree que fue por la pandemia y de ahí por mi embarazo. Ese es contexto súper resumido de mi historia, ahora viene el problema al que me estoy enfrentando, hoy ella me marco que si podía venir a visitarme, yo feliz dije que si, mi novio me dijo que no quería a mi cuñado aquí y que se lo dijera a mi hermana o le cancelara, opté por cancelarle y noté que se molestó ya que ya le había dicho que si, me siento muy mal, ya no quiero darle excusas para no vernos, le cuento todo? Que me recomiendan? No quiero que se alejen aún más de mi pero no quiero volver a verlo a él ni quiero que esté cerca de mi niña. Por cierto, el hizo lo mismo con otra persona de la familia, ella me lo confesó, al igual que yo no lo platicó con mi hermana para no hacerle daño.