我在家里订婚了,因为多次跟男友吵架,吵架原因是他忍受不了我的小脾气,也曾经因为我家里反对异地男友,所以男友有过放弃的念头,可我挽回了,现在还在一起,我想退婚了,可是家里只剩妈妈一个人照顾弟弟,虽然老妈改嫁了,可是继父那边也有两个孩子,一男一女,我怕弟弟受到欺负,而我老妈也反对我跟现在的男友在一起,可是我不喜欢我的订婚对象,现在订婚对象已经知道我跟男友在一起了,他不主动找我了,可是我找他的时候,他还会理我。估计已经知道我的意思,可是我想应该还可以挽回未婚夫,你说我该选择哪一方呢?我跟男友关系很好,很相爱。如果放弃他,我怎么做才能不让他恨我?(当初订婚的原因是为了弟弟和老妈)我以为我会放下,男友,可是做不到。我该怎么办呢?