ご質問、拝見しました。
本件の相手方の状況からすると当事者間での交渉はまず不可能だと思いますので、弁護士を通じて裁判所の調停又は審判で解決するほかないと思います。

既に弁護士にご相談されているとのことですが、本件のような困難事例は弁護士によっても対応はまちまちになると思いますので（受けてもらえないことも多いと思います）、根気よく複数の弁護士にご相談ください。

おそらくは調停（家庭裁判所で実施する、調停委員を通じた話合い）でも解決できず、審判（家庭裁判所の裁判官による決定）で解決するほかない事案なのではないかと拝察されます。
よろしくお願いいたします。