Обманули при заказе сруба

Заказал 2 сруба у местного ИП. ИПБОЮЛ точнее.

Сруб дома и сруб бани. Оформили 1 договор. Первый сруб срубили, сруб бани - вышло не очень качественно, я его принял, акт приемки сдачи-сруба, являющийся приложением к договору не подписали не было- оплатил остатки его стоимости и забрал.

От второго сруба отказался, при этом продавец остался должен мне предоплату в размере 240тыс рублей. Прошло уже более 5 месяцев, и он все кормит меня завтраками мол отдам и тп. Иногда предлагает отдать лесом. Мол он купил лес на эти деньги и теперь ему надо его куда то девать. Хотя по факту - срубы из этого "моего" леса уже стоят готовые у покупателей других.

Вопрос - что делать с продавцом в этом случае? В договоре никаких обязательств моих в случае отказа от сруба - не прописано. Более того - я отказался от сруба еще ДО начала его рубки. Продавец утверждает что может взыскать с меня неустойку. Прав ли он? Куда можно жаловаться на его действия? Или может быть стоит сразу подавать в суд?

С уважением.