(3/23追記）このエントリには誤解を生む表現が含まれています。
というか全体的に意味が通っていません。_|￣|○
詳細はスタンスのシフトおよび後続のエントリを参照してください。
賛成派の意見を見るところによると「正当」な言動が「不当な判断」で人権侵害とされたときの対処はこうなるらしい。
人権委員会の罷免手続き
人権擁護法反対論批判 リジョインダー編（その1）→前編関連より

人権委員の方が身分保障があるとはいえ、「非行」を理由に総理大臣は罷免できるのですから、しょせんは程度問題です。

恐らくこれは、人権擁護法案第十一条二項人権委員会により、心身の故障のため職務の執行ができないと認められたとき、又は職務上の義務違反その他委員長若しくは委員たるに適しない非行があると認められたとき。と第十二条内閣総理大臣は、委員長又は委員が前条各号のいずれかに該当するときは、その委員長又は委員を罷免しなければならない。から内閣総理大臣が委員の非行をもって罷免できると解釈できると。
（ ´_ゝ`) そうなの？
一般的な日本語の解釈からすれば第十一条二項は

人権委員会により、心身の故障のため職務の執行ができないと認められたとき、又は（人権委員会により、）職務上の義務違反その他委員長若しくは委員たるに適しない非行があると認められたとき。

と読めるわけですが。
さらには第十四条四項を読む限り「人権委員会が第十一条第二号の規定による認定をするには、前項の規定にかかわらず、本人を除く全員の一致がなければならない。」となってることから、人権委員会に2人の結託した委員がもぐりこむとコレを罷免することは任期満了以外に方法が無いように見えるんですが。
「国会が承認する委員にそのような者が紛れ込むことは無いでしょう」というのは行政府を信頼して委員を任命させてよっつー話で、行政府への不信が噴出している昨今ちょっとどうかと思いますよ。