我和老婆结婚4个月了,老婆她一个月要回两次娘家,大多数是我陪她一起回去的,如果我不陪她回去,她就像不高兴似的,总会找理由和我吵,跟她回去她又要多玩几天要我一个人回,叫她回来她也不回还生气,我妈、街坊邻居都说这样搞长了不好,我该怎么办?