続・人事部長からの質問

ご質問者様の疑念が本当かどうかはこちらではわかりません。ただいつまでもそうした疑念を持ったままでは仕事もうまくいかないでしょう。自分の評価結果について上長から評価の明確な判断基準と評価結果についての理由を説明してもうらうべきでしょう。足りない点があると指摘された場合は、どのようにすれば改善したと認めてもらえるのか、今後の行動改善に向けてのアドバイスももらうべきでしょう。
上長からの説明に納得がいかなければ人事部にその旨を伝えて、会社としての考えを聞くこともあっていいのではないでしょうか。
そうでなければ、他の部署に異動してもあるいは転職しても同じことの繰り返しでしょう。
貴方がそりが合わないと感じているのと同じように上長側も、どういう訳かうまくコミュニケーションがとれない部下だなと感じているかもしれません。
じっくりと話をしてみるとお互いに理解し合えることもあるのではないでしょうか。