by @nyarla

Plaggerで大量のHTMLサイトを巡回するにはどうしたらいいか

Plagger で大量の Feed 捌く場合は Aggregator::Xango とか Aggregator::Async とか使えるから問題はない。

問題は 100 とか 200 とかの HTML を巡回する場合。

CustomFeed::Debug でダミー Feed 作って Filter::EntryFullText とかでタイトルと本文ゲットとかするわけだけど、これを高速化する手順がなかなか見つからない。

で、データとってくる部分を共通化できないかってことで、色々考えてた。ぶっちゃけ Filter::EntryFullText でタイトルと本文(HTML の body)と更新日時取ってくる代わりに CustomFeed::Antenna とか Aggregator::Antenna とか作って高速化できないかなーと色々ソース見たものの、構造的になんかうまくできない感じだなーどうしたらいいんだ改造してしまえと言う結果が昨日と今日の Plagger 関係のエントリだったりする。

いや、真剣にどうしよう。今の速度でレンタルの共用サーバで Plagger 定期的に動かすのは数からいってちょっとやばいのでなんとかしたい、というかなんとかしないとアンテナが作れない。まあ、自分でサーバ用意して FTP で共用サーバに上げればば良いんじゃねとか思うけど、サーバが用意できない。だからレンタルサーバに突っ込んだんだけど、(ry っていうかループ。

うん。どうしたもんか。と言いつつもこういうの考えてるの結構好き。

遠出して疲れて眠いせいか妙にテンション高い。

#FIXME