yamamoto

【PHP】PHPで簡単にスクレイピング

phpQueryというライブラリを使えば
PHPでも非常に簡単にスクレイピングできます。

phpQuery
https://code.google.com/archive/p/phpquery/downloads
onefileという名前がついた最新のものをダウンロードします。
PHP1つなのでインストールもインクルードも簡単なので省略します。

使い方も簡単で、file_get_contentsでページをとってきて

$html = file_get_contents('スクレイピングしたいページ');

1	$html = file_get_contents('スクレイピングしたいページ');

phpQueryに読み込ませれば

$query = phpQuery::newDocument($html);

1	$query = phpQuery::newDocument($html);

あとは、いろんな条件でデータを抽出するだけ

タグで抽出

$data = $query->find("タグ")->text();

1	$data = $query->find("タグ")->text();

IDで抽出

$data = $query->find("#ID")->text();

1	$data = $query->find("#ID")->text();

クラス名で抽出

$data = $query->find(".クラス名")->text();

1	$data = $query->find(".クラス名")->text();

家で一番暖かい場所を知っている著者

Linuxサーバー上でPDFを結合できるコマンドがあります

pdfunite

pdfunite

コマンドが見つからないとなる場合は

poppler-utils

1	poppler-utils

というパッケージをインストールしましょう。

PDFの結合

pdfunite (PDFファイル1) (PDFファイル2) (出力PDFファイル)

1	pdfunite (PDFファイル1) (PDFファイル2) (出力PDFファイル)

逆にPDFをページごとに分割するpdfseparateというコマンドもあります。
pdfseparateコマンドで元のPDFをページごとに分割しておけば
任意のページだけを組み合わせて新たなPDFファイルを生成できますね。

APIの出力フォーマットはもっぱらJSONが増えてきましたね。
出力結果のチェックは、短いデータならそのまま目視できますが
一覧データの取得など、ものすごい巨大なJSONをチェックする必要があるときは
ビューアが便利です。

自作できそうな気もしますが、こういうのチェックしているときって
たいてい精神的に追い詰められてたりして余裕がないんですよね。

個人情報が入っているデータの場合は
できればよそのサービスは使わずに自作したいところですが。