在宅プログラマーの備忘録として2005年に始めたブログです。
wgetコマンドは標準では
「タイムアウトすると再実行する」という性質があります。
PHPで書いた処理を
wgetで呼び出すシェルスクリプトを
cronで実行する
というバッチ処理を組みました。
しかし処理時間の目測を誤り、wgetがタイムアウトしてしまったため、
内部でPHPは実行中にもかかわらず
もう一度PHPが実行されてしまいました。
これを防ぐには、タイムアウト時間を長くとるか、
実行回数を1回にするオプションを指定します。
|
1 |
wget --read-timeout=3600 -t 1 |
複数行というところがポイントです。
昔は文字数をカウントして自力でカットしていた老人ですが、
今はCSSだけでできるんですね。面白いなあ。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
<style> .box1 { width: 300px; border: solid 1px #c0c0c0; overflow: hidden; } .box1 .text1 { display: -webkit-box; -webkit-box-orient: vertical; -webkit-line-clamp: 3; } </style> <div class="box1"> <div class="text1"> 複数行というところがポイントです。 昔は文字数をカウントして自力でカットしていた老人ですが、 今はCSSだけでできるんですね。面白いなあ。 </div> </div> |
これが当たり前になっていると単なる作業ですが
昔の苦労した時代を知っていると
こういうテクニック1つ1つが面白いと思えてきます。
phpQueryというライブラリを使えば
PHPでも非常に簡単にスクレイピングできます。
phpQuery
https://code.google.com/archive/p/phpquery/downloads
onefileという名前がついた最新のものをダウンロードします。
PHP1つなのでインストールもインクルードも簡単なので省略します。
使い方も簡単で、file_get_contentsでページをとってきて
|
1 |
$html = file_get_contents('スクレイピングしたいページ'); |
phpQueryに読み込ませれば
|
1 |
$query = phpQuery::newDocument($html); |
あとは、いろんな条件でデータを抽出するだけ
タグで抽出
|
1 |
$data = $query->find("タグ")->text(); |
IDで抽出
|
1 |
$data = $query->find("#ID")->text(); |
クラス名で抽出
|
1 |
$data = $query->find(".クラス名")->text(); |
Linuxサーバー上でPDFを結合できるコマンドがあります
|
1 |
pdfunite |
コマンドが見つからないとなる場合は
|
1 |
poppler-utils |
というパッケージをインストールしましょう。
PDFの結合
|
1 |
pdfunite (PDFファイル1) (PDFファイル2) (出力PDFファイル) |
逆にPDFをページごとに分割するpdfseparateというコマンドもあります。
pdfseparateコマンドで元のPDFをページごとに分割しておけば
任意のページだけを組み合わせて新たなPDFファイルを生成できますね。
APIの出力フォーマットはもっぱらJSONが増えてきましたね。
出力結果のチェックは、短いデータならそのまま目視できますが
一覧データの取得など、ものすごい巨大なJSONをチェックする必要があるときは
ビューアが便利です。
Online JSON Viewer
http://jsonviewer.stack.hu/
自作できそうな気もしますが、こういうのチェックしているときって
たいてい精神的に追い詰められてたりして余裕がないんですよね。
個人情報が入っているデータの場合は
できればよそのサービスは使わずに自作したいところですが。