備忘録 – ページ 7 – 東京発、雲に乗って

2022年3月16日2023年2月7日

【PHP】PHPで簡単にスクレイピング

phpQueryというライブラリを使えば
PHPでも非常に簡単にスクレイピングできます。

phpQuery
https://code.google.com/archive/p/phpquery/downloads
onefileという名前がついた最新のものをダウンロードします。
PHP1つなのでインストールもインクルードも簡単なので省略します。

使い方も簡単で、file_get_contentsでページをとってきて

$html = file_get_contents('スクレイピングしたいページ');

1	$html = file_get_contents('スクレイピングしたいページ');

phpQueryに読み込ませれば

$query = phpQuery::newDocument($html);

1	$query = phpQuery::newDocument($html);

あとは、いろんな条件でデータを抽出するだけ

タグで抽出

$data = $query->find("タグ")->text();

1	$data = $query->find("タグ")->text();

IDで抽出

$data = $query->find("#ID")->text();

1	$data = $query->find("#ID")->text();

クラス名で抽出

$data = $query->find(".クラス名")->text();

1	$data = $query->find(".クラス名")->text();

2021年12月5日2023年2月7日

【Linux】サーバーでPDFの結合

Linuxサーバー上でPDFを結合できるコマンドがあります

pdfunite

pdfunite

コマンドが見つからないとなる場合は

poppler-utils

1	poppler-utils

というパッケージをインストールしましょう。

PDFの結合

pdfunite (PDFファイル1) (PDFファイル2) (出力PDFファイル)

1	pdfunite (PDFファイル1) (PDFファイル2) (出力PDFファイル)

逆にPDFをページごとに分割するpdfseparateというコマンドもあります。
pdfseparateコマンドで元のPDFをページごとに分割しておけば
任意のページだけを組み合わせて新たなPDFファイルを生成できますね。

2021年11月8日2023年2月7日

JSONビューア

APIの出力フォーマットはもっぱらJSONが増えてきましたね。
出力結果のチェックは、短いデータならそのまま目視できますが
一覧データの取得など、ものすごい巨大なJSONをチェックする必要があるときは
ビューアが便利です。

Online JSON Viewer
http://jsonviewer.stack.hu/

自作できそうな気もしますが、こういうのチェックしているときって
たいてい精神的に追い詰められてたりして余裕がないんですよね。

個人情報が入っているデータの場合は
できればよそのサービスは使わずに自作したいところですが。

2021年10月29日2023年2月7日

Windowsのイベントログを抽出する

テレワークの社員が増えてくると、人事や経営陣としては
ちゃんと社員が仕事をしているかチェックしたくなります。

社員のPCのログインにドメインコントローラーを使用している場合は
ADサーバーのイベントログから
社員がPCにログインした時間を抽出することができます。

イベントビューアからエクスポートする方法、
wevtutilコマンドを使用する方法もありますが、
ここではwmicコマンドを使用します。

まずはイベントビューアでログインイベントのIDを特定する必要がありますが、
イベントIDが特定出来たら
イベントIDと期間で絞り込んで抽出します。
例）イベントID：1234、2021年4月のログ

wmic ntevent where "(logfile='system' and EventCode='1234' and (timegenerated >= '20210401000000.0+540' and timegenerated <= '20210430000000.0+540'))" >export.txt

1	wmic ntevent where "(logfile='system' and EventCode='1234' and (timegenerated >= '20210401000000.0+540' and timegenerated <= '20210430000000.0+540'))" >export.txt

2021年9月17日2023年2月7日

Youtubeからサムネイルを簡単に取得する

Youtubeの動画にリンクを貼る際にいきなりembedタグを使うと
ページの動作が重くなります。

動画が1つならまだいいのですが、
一覧画面などで複数の動画が表示されるページだとかなり重く感じると思います。
一覧ではできればembedタグではなくサムネイルを表示したいですよね。

サムネイル画像はYoutubeですでに生成されたものを簡単に取得できます。

まずは動画のURLから動画のIDを取得します。
（URLの末尾の記号が動画のIDです）

あとは簡単、下記にURLに動画のIDを入れたものが
サムネイルのURLになります。

https://img.youtube.com/vi/(動画のID)/hqdefault.jpg

1	https://img.youtube.com/vi/(動画のID)/hqdefault.jpg

サムネイルはクオリティ別に何種類かあるようです。

HQ動画

https://img.youtube.com/vi/(動画のID)/sddefault.jpg

1	https://img.youtube.com/vi/(動画のID)/sddefault.jpg

FULLHD動画

https://img.youtube.com/vi/(動画のID)/maxresdefault.jpg

1	https://img.youtube.com/vi/(動画のID)/maxresdefault.jpg