続・人事部長からの質問

相手の気持ちが理解できないのに仕事ができる人っているものでしょうか。普通は、仕事のできる人なら相手がどう感じているかわかるはずです。
あなたの上司の場合は、家族のことを相手がどう思うか関係なく、なにしろ話したい、聞いてもらいたいのだと思います。よくよく聞いてみると自慢話か愚痴ではないですか。こういう話は、取りあえず誰かに聞いてもらうことがその人の目的、ストレス発散なので、相手の気持ちなどお構いなしです。家族の話でも他の人には興味のない趣味の話でも同じです。

上司であるから逃げられないというなら、ひたすらウンウン、そうですよねとうなずいて終わるのを待ちましょう。
それとも、ご家族と是非一度お会いしたいです。今度お宅にお邪魔してもよろしいですか？と踏み込んでみるのはどうでしょう。
あるいは、誰々もお話を是非聞きたいと言ってました。一緒に誘ってよろしいですか、と犠牲者仲間を増やしましょう。