robots.txtとBasic認証付きのサイトでwgetを使う

(Last Updated On: 2009年10月21日)

今日びそんな自意識過剰なセキュリティが強いんだか弱いんだか分からないサイトは滅多に存在しませんが,残念ながら遭遇してしまいました.一瞬悩んだのでメモしておきましょう.

$ wget -e robots=off -r -l 2 http://user:pass@hoge.com/index.html

または

$ wget -e robots=off -r -l 2 --http-user='USER' --http-passwd='PASS' http://hoge.com/index.html

でなんとかなります.passに!等の記号が含まれてるときは!とでもしてやればOK.

前のエントリーにもちょっと書きましたね

コメントを残す

メールアドレスが公開されることはありません。