アクセスログをぼーっと眺めていたらこのエントリに興味深い反論をいただいていました。
人権擁護法案のディスインフォメーションを斬る！＠手賀沼より愛を込めて
というか斬られちゃいました（つﾛ`)
まぁ斬られっぱなしも何ですのでちょっと書いてみます。


前提条件について：

第３９条に関しての指摘。

第三十九条　人権委員会は、人権侵害による被害の救済又は予防に関する職務を行うため必要があると認めるときは、必要な調査をすることができる。この場合においては、人権委員会は、関係行政機関に対し、資料又は情報の提供、意見の表明、説明その他必要な協力を求めることができる。

と言う条文から「人権擁護委員に被疑者の取調べや証拠の差し押さえなどの権限を付与していないことが明記されています」としているが、第４４条をみてみよう。
（筆者略：同法第四十四条の引用）
第二項と三項に物品の提出及び立ち入り検査をできるとしている。

と書かれておりますので、恐らく

誤解：
(1)人権委員会、人権擁護委員の勧告に従わない場合逮捕されます。
(2)人権擁護委員は礼状なしで立ち入り捜査や押収を行うことができる。
(3)人権委員会の立ち入り検査や押収を拒否すると刑罰（罰金刑）を受ける。

の(2)に関してかと思います。
以降は(2)に対しての反論であると仮定します。

たしかに、人権委員による許可がないと人権擁護委員がむやみやたらと検査できないだろうし、検査を拒否して過料も未払いとなっても裁判する覚悟があれば大丈夫だとしている。
ところが、普通の人にとって３０万円の罰金って痛いよ。
裁判費用も痛いよ。人権委員は自腹で裁判しないんだから痛くも痒くもないよ。

たしかに30万円の罰金は痛いです。
それは間違いないです。
ですが、

ここですっぽり抜け落ちている視点は、人権委員は数人しかいないこと。
人権擁護委員は１万人以上いること。
年間１８０００件の受理件数で、人権委員が全てを把握できないこと。

ここは若干の誤解があるかと思われます。
人権委員会の定員は同法第八条から5名とされています。
しかし、同法第十五条および第十六条において

　（事務局）
第十五条　人権委員会の事務を処理させるため、人権委員会に事務局を置く。
２　事務局の職員のうちには、弁護士となる資格を有する者を加えなければならない。
　（地方事務所等）
第十六条　人権委員会の事務局の地方機関として、所要の地に地方事務所を置く。
２　前項の地方事務所の名称、位置及び管轄区域は、政令で定める。
３　人権委員会は、政令で定めるところにより、第一項の地方事務所の事務を地方法務局長に委任することができる。

と、人権委員会直轄の事務局を規定しており、これに同法の定める人権委員の事務を任せることができます。
この事務局（恐らく地方事務所も）の局員は、現在の法案の解釈からは法務省の役人なると考えて良いようです。
（ソースは失念。探しておきます。）
また、この条文を見るとわかるように中央の事務局と地方事務所の局員に定員が記載されていません。これは、事務局の性質上、必要分の事務員を確保できる（する）と考えて良いかと思います。
では、この事務局に任せることができる職務は何かと言いますと、第三十七条の定める人権侵害に関する相談に応ずること、第三十九条の定める一般人権侵害の一般調査と 第四十一条の定める一般救済、および、第四十四条の定める特別人権侵害の特別調査となっています。
以下は関連する条文です。

（人権侵害に関する相談）
第三十七条　人権委員会は、人権侵害に関する各般の問題について、相談に応ずるものとする。
２　人権委員会は、委員又は事務局の職員に、前項の相談を行わせることができる。
（一般調査）
第三十九条　人権委員会は、人権侵害による被害の救済又は予防に関する職務を行うため必要があると認めるときは、必要な調査をすることができる。この場合においては、人権委員会は、関係行政機関に対し、資料又は情報の提供、意見の表明、説明その他必要な協力を求めることができる。
２　人権委員会は、委員、事務局の職員又は人権擁護委員に、前項の調査を行わせることができる。
（一般救済）
第四十一条　人権委員会は、人権侵害による被害の救済又は予防を図るため必要があると認めるときは、次に掲げる措置を講ずることができる。
一　人権侵害による被害を受け、又は受けるおそれのある者及びその関係者（第三号において「被害者等」という。）に対し、必要な助言、関係行政機関又は関係のある公私の団体への紹介、法律扶助に関するあっせんその他の援助をすること。
二　人権侵害を行い、若しくは行うおそれのある者又はこれを助長し、若しくは誘発する行為をする者及びその関係者（次号において「加害者等」という。）に対し、当該行為に関する説示、人権尊重の理念に関する啓発その他の指導をすること。
三　被害者等と加害者等との関係の調整をすること。
四　関係行政機関に対し、人権侵害の事実を通告すること。
五　犯罪に該当すると思料される人権侵害について告発をすること。
２　人権委員会は、委員、事務局の職員又は人権擁護委員に、前項第一号から第四号までに規定する措置を講じさせることができる。
　（特別調査）
第四十四条　人権委員会は、第四十二条第一項第一号から第三号までに規定する人権侵害（同項第一号中第三条第一項第一号ハに規定する不当な差別的取扱い及び第四十二条第一項第二号中労働者に対する職場における不当な差別的言動等を除く。）又は前条に規定する行為（以下この項において「当該人権侵害等」という。）に係る事件について必要な調査をするため、次に掲げる処分をすることができる。
　一　事件の関係者に出頭を求め、質問すること。
　二　当該人権侵害等に関係のある文書その他の物件の所持人に対し、その提出を求め、又は提出された文書その他の物件を留め置くこと。
　三　当該人権侵害等が現に行われ、又は行われた疑いがあると認める場所に立ち入り、文書その他の物件を検査し、又は関係者に質問すること。
２　人権委員会は、委員又は事務局の職員に、前項の処分を行わせることができる。
３　前項の規定により人権委員会の委員又は事務局の職員に立入検査をさせる場合においては、当該委員又は職員に身分を示す証明書を携帯させ、関係者に提示させなければならない。

以上の条文を見ると、事務局の局員は人権擁護委員よりも、人権侵害の相談に応じることと特別人権侵害に関する調査ができる分若干稼動範囲は広くなりますが、すべて「委員会は事務局の職員に0 わせることができる」となっていますので、人権擁護委員と同様、人権委員会の判断を仰がなければ何もできないというわけです。
つまり、事務局に関しては人権委員会に対する事務方であると言えます。
よって、

となると、人権擁護委員に危ない連中が入れば好き勝手にできるようになる。人権擁護委員の選定は弁護士会もできるのだ。

という部分は（少なくとも法解釈上は）杞憂であると言えます。
仮に、kimikaki2002さんの言われているような、人権擁護委員会（や事務局）が独断で第四十四条第二および三項や、同条第一項を行った場合越権行為となり明白な憲法違反ですので、正当な理由の有無の如何にかかわらずこれを拒否することができ、さらにはその事によって第八十八条の示す過料を払うことも、拒否の正当性を法廷で争う必要もありません。（*1）
さらには、そのような違法行為を行った人権擁護委員や事務局の局員は、人権擁護法違反として立件することができますので、結果、人権擁護委員であれば第三十一条二項

第三十一条　人権委員会は、人権擁護委員が次の各号のいずれかに該当するときは、関係都道府県人権擁護委員連合会の意見を聴いて、これを解嘱することができる。
二　職務上の義務違反その他人権擁護委員たるに適しない非行があると認められるとき。

の規定により解嘱されることもあります。
（恐らくは解嘱されることになるでしょう。）
ただし、ここに人権委員の罷免条項には存在（第十一条一項）する「禁錮以上の刑に処せられたとき。」に類する条文が無いことに疑問は残りますが、人権擁護委員や事務方である事務局の職員は一般国家公務員だそうですので、国家公務員法の規定によりこれも解嘱されると思われます。
（国家公務員法の条文を調べておきます）

第３９条の「協力を求める」って事はどういう事かと言えば、たとえば役所の機関があって、消防署やら保健所やら束になって虐めることもできるよって事。
役所の連帯ってこういうときは非常に強い。むしろ、役所にとって人権侵害で嗅ぎ回れるのが嫌だから、協力するだろう。

ここは、「関係行政機関」というところが予防線になっていると見るべきで、当該する事案に明らかに関係の無い機関に対して働きかけた事が明白になれば明らかに違法となりますので、処分の取り消しや賠償請求などを起こすことができます。
また、職権濫用としてそのような働きをした人権委員を同法違反として立件することもできるかと思います。
では、関係機関であった場合を考えてみます。
例えば雇用、解雇など労働に関する人権侵害（第三条一項のハ）として事案があった場合、関係機関として厚生労働省や労働監督基準局などが挙げられます。
これらの機関が出向いて何ができるかと言うと、人権侵害容疑が無い場合と同じ事しかできませんのであまり影響は無いかと思われます。
（ただ、叩けば埃が出るような身であった場合困ったことになりますが、それは、あえてこの法案と結びつけて論ずることでもないので割愛します。）

というように、kimikaki2002さんの懸念されているような恣意的な運用というのはなされ難いのではないでしょうか。
*1
ただ、ちょっと気になったのは、人権擁護委員や事務局の局員に関して、「人権委員からの委任によって調査や立ち入り検査などを行うときに、人権委員からの委任状（命令書）を携帯しなければならない」というような条文が見当たらないのが気になります。
これが無いと、それらの権利を行使される者がこの検査（など）が人権委員の命令によるものか判断できないので、それを理由に拒否することが難しいと思います。
ちょっと調べてそのような条文が無いようであれば対案に含めたいと思います。

興味深い反論ありがとうございました。