タグ： プログラム

スクレイピングスクリプトの設計時に考慮した負荷対策。

スクレイピングスクリプトを作る際、それぞれのコンピュータにかかる負荷について、次のようなことを考えました。

“負荷について考えたこと”の詳細はこちら »

レンタルサーバでデータベースを毎日自動更新。 プライベートのWebアプリケーションようなイメージ。

自分専用新着図書サイトの完成後のイメージはこんな感じでした。

レンタルサーバを借りて、PHPスクリプトをcronからキックし、データベースを毎日自動更新。
IPアドレスで自分のIPのみを許可、プライベートのWebアプリケーションようなイメージ。

プログラム概略

• Libraの新着図書ページを読み込んでISBNや予約数などをスクレイピングする
• 取得したISBNや他データに新規登録日付を付加してデータベースへ入れる
• PHPスクリプトをcronで毎日定時に実行してデータベースを自動で更新する
• AmazonのWebAPIや他APIとマッシュアップして、新着図書についてレビューを表示する
• Libraの予約数を表示、予約が多ければAmazonで購入するためのリンクを表示する、予約が少なければLibraで予約するためのリンクを表示する

“どんなプログラムを作ろうとしていたか”の詳細はこちら »

プログラムを作ろうと思った動機は、Libraの新着図書ページが使いにくかったので、自分専用サイトを作りたかったこと。

プログラムを作ろうと思った動機はこんな感じです。

1. 岡崎市立中央図書館（通称Libra）のヘビーユーザーだった
2. Libraの新着図書ページが使いにくかった（特に、最近入った本を探すことができなかった）
3. そこで、自分専用サイトを作ることにした

“なぜプログラムを作ったか”の詳細はこちら »