Python求人収集コード教材｜SQLite・重複防止・合成データ付き

複数の求人サイトから得たデータを、同じ形でローカルのSQLiteへ保存する。そんな収集器の実装を読み、自分の求人検索用に手を入れたいPython利用者向けのソースコード教材です。

【この教材で扱うこと】

・形式の異なるJSONやRSSを同じ項目へそろえる

・SQLiteへ求人データを保存する

・サイト名＋求人IDで重複登録を防ぐ

・外部サイトへ接続する前に、合成サンプルで処理を確かめる

【収録内容】

ZIP形式／計19ファイル

・海外8サイト向けの収集器 collect_world.py

・日本のGreen向けの収集器 ingest_green.py

・合成サンプル9形式と読み込み用ヘルパー

・SQLiteスキーマ、依存ライブラリ一覧、設定例

・日本語スタートガイド、英語README・セットアップ手順、利用条件

海外の収録アダプター：Remotive、RemoteOK、Arbeitnow、Jobicy、Himalayas、Working Nomads、The Muse、We Work Remotely。

OpenWork用コード、実際の求人データ、企業評価データは含みません。

【確認した動作】

2026年9月11日、Windows／Python 3.13環境で、外部通信を禁止して合成サンプルを実行しました。全9形式で9件を保存し、同じサンプルを再実行しても9件のままであることを確認しています。

これは現在の全サイトへの接続成功を示すものではありません。他OSや新規環境でのインストールは未検証です。

【購入前にご確認ください】

Pythonのコマンド実行、パッケージ導入、SQLの基本操作ができる方を想定しています。ブラウザだけで使えるアプリや、運用代行サービスではありません。

合成サンプルはPython標準ライブラリだけで試せます。実サイトへのHTTP接続にはcurl_cffi==0.15.0を使用します。

この版は、取得失敗や入力不備でも終了コードが0になる場合があります。表示されたエラーと保存件数を確認してください。求人タイトル・条件の変更の完全同期や、募集終了の確定判定は行いません。

接続先の利用条件と頻度制限に従って使用してください。Greenは公式公開APIではなく、検索ページが使用するJSONエンドポイントを参照する実装です。各サイトの仕様変更・アクセス制限への対応が必要になる場合があります。

【利用範囲】

個人の求人検索と、そのためのコード改変に利用できます。ソースコードの再配布・再販売はできません。詳細は同梱のLICENSE.txtをご確認ください。

採用・求人網羅性・全サイトの継続動作を保証するものではありません。代行設定、個別開発、無期限更新は含みません。