Financial Data Harvester

市場データと有価証券報告書からのテキストデータをハイブリッドで取得します。

データ取得ルール

• 市場データ: yfinanceを使用。auto_adjust=True を必須とし、分割調整後の価格を取得する。
• 定性情報: 以前の qualitative_extractor.py のロジックを使用し、EDINETから取得する。
• 保存形式:
  • 株価/財務数値: prices.csv
  • テキスト（事業内容等）: info.json
• レート制限: 大量取得時は銘柄間に適度なスリープを挟み、Yahoo Financeからのブロックを回避する。

データ品質管理 (Data Reliability)

全ての取得データ（銘柄詳細、財務テキストなど）に対して、以下のクリーニング処理を必ず適用します。

1. NFKC正規化 (Normalization)

   • 全角英数字を半角に統一（例: Ａ → A, １ → 1）
   • 特殊文字の展開（例: ㈱ → (株)）
   • 検索性の向上と表記ゆれの防止のため

2. 空白文字の正規化

   • 全角スペース(\u3000)やNBSP()を半角スペースに置換