情けない話だが、ハードコーディングで指定メールアドレス以外からの投稿は拒否するように設定。

wp-mail.php
※見づらいと思いますが、コメントのある行が追加行


for ($i=1; $i < = $count; $i++) :
$address_deny = false; // 拒否アドレスフラグ初期化


if (preg_match('/^From: /', $line) | preg_match('Reply-To: /', $line)) {
$author=trim($line);
if ( !ereg("hoge@foo.com", $author , $regs) && // 許可アドレス
!ereg("bar@ezweb.ne.jp", $author , $regs) ) { // 許可アドレス
$address_deny = true; // 許可アドレスに該当なければフラグON
break; // メール本文処理中断
}
if ( ereg("([a-zA-Z0-9\_\-\.]+@[\a-zA-z0-9\_\-\.]+)", $author , $regs) ) {


endforeach;

if( $address_deny == true ) { // 拒否アドレスフラグON?
continue; // 次メール処理へ
}

$subject = trim(str_replace(get_option('subjectprefix'), '', $subject));



◆追記
どうもGmailアカウントで上手くいかないと思ったら、Gmailは995(SSL)ポートしかサポートしていなかったからでした。
ためしに995でPOP3かけましたが、やはりNG。
ということでYahoo!アカウントを利用してます。
それと、デフォルトだとタイトルも本文も文字化けするので、mod_convert_encodingが必要です。