Siento que mi pareja quiere alejarme de mis padres

Estoy casada y vivo con mi pareja hace más de un año y tenemos un bebito de 8 meses. Cuando eramos novios la relación con mis padres era muy buena con él, a veces se quedaba en la casa de mis papis conmigo o yo en su casa. Pero siento que desde que me vine a vivir con él y nos casamos a él ya le molesta ir a la casa de mis papis y les visitamos muy poco. Mi papá tiene un problema legal últimamente en el que hemos tratado de ayudar, pero se molesta cada vez que tenemos que hablar de eso y me dice que yo le amo más a mi familia que a él y que por dar la vida por ellos voy a acabar con lo nuestro, y siento que me pone a escoger y creo que no está bien. Yo le amo y amo mi familia con él, pero no por eso dejo de amar a mis padres y siento que él no lo entiende. No sé que hacer. (Vivimos en una casa donde en el segunda y tercer piso vive su familia, y a veces siento que él no se pone en mi lugar porque no tiene que vivir como yo separada de mis papis ya que él les ve todos los días).