鹿島市の土地を残しつつ、借金だけ相続放棄できないでしょうか？

僕は弟と二人で暮らしています。実家は鹿島市にあるのですが現在は父が1人で生活しています。母は離婚し、その後再婚したので別の生活を送っています。

数日前、警察から僕のところに電話があり、父が事故で他界したと言われました。警察から父を引き取り、弟とふたりで父の葬儀を密葬で行いました。しかし父の遺産整理のために鹿島市の実家にいると1人の男性が訪ねてきました。父はギャンブルが好きだったのですが、その借金があり、息子の僕たちで返済してくださいと言われたのです。

父が借金をしていたことは知っていました。そんな父が嫌で僕たちは鹿島市を出て別々の暮らしを送っていたのです。遺産相続を破棄すれば借金を背負う必要がないことを知っていたのですが、遺産相続を破棄してしまうと祖父母が大事にしていた実家や土地まで手放さなくてはなりません。

土地といっても規模はとても大きく、祖父母から父が継ぎ、みかん農園をずっとやっていました。父が亡くなった今僕たちが実家に戻り代々続いたみかん農園を継いでもいいと思っていました。でもギャンブルに溺れ、僕たちを困らせてきた父の借金など背負いたくないのが正直なところです。

父は当然の他界だったため遺言書などはありませんが、現金での財産もありません。本当に残されたのは借金と祖父母の残した農園と鹿島市の土地、実家のみです。借金だけ相続を破棄し、みかん農園や土地だけ残すということはできないのでしょうか。弟と弁護士に相談してみようと思っています。