スクレイピングスクリプトの設計時に考慮した負荷対策。
スクレイピングスクリプトを作る際、それぞれのコンピュータにかかる負荷について、次のようなことを考えました。
2010.06.21
スクレイピングスクリプトの設計時に考慮した負荷対策。
スクレイピングスクリプトを作る際、それぞれのコンピュータにかかる負荷について、次のようなことを考えました。
レンタルサーバでデータベースを毎日自動更新。 プライベートのWebアプリケーションようなイメージ。
自分専用新着図書サイトの完成後のイメージはこんな感じでした。
レンタルサーバを借りて、PHPスクリプトをcronからキックし、データベースを毎日自動更新。
IPアドレスで自分のIPのみを許可、プライベートのWebアプリケーションようなイメージ。
プログラムを作ろうと思った動機は、Libraの新着図書ページが使いにくかったので、自分専用サイトを作りたかったこと。
プログラムを作ろうと思った動機はこんな感じです。