アメリカは移民の国ですから、移民という
言葉自体が差別的ということはありません。

例えば、日本語で外国人という言葉が、
使う人の意図とコンテキストによっては
ネガティブな意味合いに使われることが
あるのと同じような感じでしょうか。

あまり気にしないでよいと思いますよ。

義弟さんは、トピ主さんが外国人だということ
を強く意識しているのかもしれませんね。日本の
日本人も、外国人見ると強く意識するのと同じ。

移民差別するのが目的ならば、もっとひどい
言葉・表現が色々ありますし。