海老名市で弟が亡くなり、貯金から家賃を払ったのですが、もう相続放棄できないのでしょうか？

50代の専業主婦です。海老名市に住んでいて、夫と娘3姉妹の5人で生活しています。私には同じ海老名市内に住む弟がいるのですが、先日事故のため51歳でこの世を去りました。両親も数年前に亡くなっていますし弟も一度も結婚していなかったので他に身内はいません。

弟は海老名市のアパートで１人暮らしをしていたのですが、大家さんから落ち着いたら退去してほしいと言われ、家賃もかかることですのですぐに整理をしてアパートと引き払いました。弟の財産と言っても少しばかりの預金と生命保険のみでした。突然の事故ということもあり遺言書などもありませんでした。

すべてが終わり、やっと落ち着きかけたときに税務署から弟の名前が書かれた通知が届きました。封筒の中には数年分の税金を命じる督促状が入っていたのです。弟が税金を滞納していたことを初めて知ったのですが、もっと驚いたのは数年分とされる滞納額でした。専業主婦の私には支払える額ではなかったため、すぐに夫に相談しました。

夫から財産も多いわけではないから相続を放棄すれば大丈夫と言われ安心していたのですが、実は弟の住んでいたアパートを退去するとき2か月分だけ家賃が支払われてないときがあったとのことで退去するときに弟の預金から支払ってしまったのです。夫の話では遺産に手を付けていなければ放棄出来るという話でした。

私はもう弟の遺産を使ってしまったということになるのでしょうか。夫からも責められている状態でどうしたらいいのか分かりません。弁護士の先生に相談してみるべきでしょうか？よろしくお願いいたします。