在宅プログラマーの備忘録として2005年に始めたブログです。
wgetコマンドは標準では
「タイムアウトすると再実行する」という性質があります。
PHPで書いた処理を
wgetで呼び出すシェルスクリプトを
cronで実行する
というバッチ処理を組みました。
しかし処理時間の目測を誤り、wgetがタイムアウトしてしまったため、
内部でPHPは実行中にもかかわらず
もう一度PHPが実行されてしまいました。
これを防ぐには、タイムアウト時間を長くとるか、
実行回数を1回にするオプションを指定します。
|
1 |
wget --read-timeout=3600 -t 1 |
複数行というところがポイントです。
昔は文字数をカウントして自力でカットしていた老人ですが、
今はCSSだけでできるんですね。面白いなあ。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
<style> .box1 { width: 300px; border: solid 1px #c0c0c0; overflow: hidden; } .box1 .text1 { display: -webkit-box; -webkit-box-orient: vertical; -webkit-line-clamp: 3; } </style> <div class="box1"> <div class="text1"> 複数行というところがポイントです。 昔は文字数をカウントして自力でカットしていた老人ですが、 今はCSSだけでできるんですね。面白いなあ。 </div> </div> |
これが当たり前になっていると単なる作業ですが
昔の苦労した時代を知っていると
こういうテクニック1つ1つが面白いと思えてきます。
phpQueryというライブラリを使えば
PHPでも非常に簡単にスクレイピングできます。
phpQuery
https://code.google.com/archive/p/phpquery/downloads
onefileという名前がついた最新のものをダウンロードします。
PHP1つなのでインストールもインクルードも簡単なので省略します。
使い方も簡単で、file_get_contentsでページをとってきて
|
1 |
$html = file_get_contents('スクレイピングしたいページ'); |
phpQueryに読み込ませれば
|
1 |
$query = phpQuery::newDocument($html); |
あとは、いろんな条件でデータを抽出するだけ
タグで抽出
|
1 |
$data = $query->find("タグ")->text(); |
IDで抽出
|
1 |
$data = $query->find("#ID")->text(); |
クラス名で抽出
|
1 |
$data = $query->find(".クラス名")->text(); |
家で一番暖かい場所を知っている著者
電気毛布を占領する著者
