兄の借金を遺産から払ったのですが、私はもう相続放棄できないのでしょうか？

匝瑳市に住む50代会社員です。私の両親は既に死亡しており、結婚もしていないため家族と呼べるのは同じ匝瑳市に住んでいる兄一人です。その兄が心不全を起こし、いわゆる突然死で急死しました。兄は特に持病もなく、体の不調を訴えるようなこともなかったので、まさに寝耳に水といった状態でした。

ただ、ちょうど今年の正月に兄と食事をした際に「もし自分に何かあっても財産なんて何もないからな、パチンコですぐになくなりそうな貯金がある位だよ、ごめんな」と冗談めかして言っていたので、あんなことを言い出したのは何かの虫の知らせでもあったのかな、とは思います。

兄は10年程前に勤めていた会社が倒産してしまい、それ以降は契約社員として働いていましたので、収入も一人で生活が出来る程度しかなく、退職金や生命保険金といったものはありませんでした。しかしながら、正月に話をしていたとおり、タンスの引き出しに入っていた銀行の口座に60万円程残っていました。

ところが、同じ引き出しに、銀行のおまとめ借入の契約書控えが入っており、兄が200万円近い借入をしていたことが分かりました。今となっては何が原因で借入をしたのか不明ですが、恐らく会社が倒産して無職の期間があったりしたので、生活費ではないかと思います。

そこで、私は銀行の口座に残っていた約60万円で借入の返済をすることにしました。兄の相続人は私一人だったため、銀行の窓口で指示された戸籍謄本などの書類や申請書類を提出し、スムーズに口座から約60万円を引き出すことができ、それで銀行の借入の返済を行ないました。

それでも借入金は150万円近く残ってしまったため、私は相続放棄をしようと思い、借入のあった銀行にその旨を話したところ、「相続財産を処分した後は相続放棄はできないはず」と言われました。

相続人が他におらず、相続について誰にも相談することなく、勝手な思い込みで残った借金を相続放棄できるのだとばかり思っていました。このような場合、本当に相続放棄はできないのでしょうか。私自身も余裕のない生活をしている状況なので、兄の借金の残りを肩代わりすることはどうしても避けたいので、弁護士に相談をして何とかしたいと思っています。