我在同一时间卖了一套房子又买一套房子,想用卖掉的房子的房款+贷款再付新买房子的房款,可是由我卖房的于买方未按时付款,我买的另一外房子无法按时付首付款,现在新房子中介让我交违约金(包括支付的下期贷款、还要赔给中介一部分损失费),而我这边买方只付了首付款,逾期了(14天)才把剩余房款付给我(房屋已过户)现在让的买方来支付逾期的违约金,买方中介拒付,现在两方中介说法不一,未按时交房款,买方是否应该支付违约金?
如果合同有约定违约金的说法,是不是买家应付我违约金,我也当付卖家违约金,如果我的买家不支付,我是否可以不给其钥匙?至到拿到违约金为止?