助詞「に」を他の表現で置き換えられないかと考えてください。
　ここでは「から」と置き換えてみましょう。そうすると
1、2、3、5は置き換えられますが、4は置き換えられません。
したがって、答えは4となります。

　別の日本語で言い換えてみて、他のものは言い換えられるけれど、これだけは言い換えられないというのを見つけるのも、この手の問題を解く上でよく使う方法です。