# 法人検索の例（宮城県の補助金情報を持つ法人）
GET /v1/hojin?prefecture=04&exist_flg=true&source=4

# 特定法人の補助金情報取得の例
GET /v1/hojin/1000020042021/subsidy

from sqlalchemy import create_engine, Column, String, Integer, Date, ForeignKey
from sqlalchemy.orm import relationship
from sqlalchemy.ext.declarative import declarative_base

# データベースエンジンの作成（SQLiteを使用）
DATABASE_URL = 'sqlite:///./gbizinfo_miyagi.sqlite3'
engine = create_engine(DATABASE_URL, echo=True)
Base = declarative_base()

# 宮城県法人テーブルの定義
class MiyagiCompanies(Base):
    __tablename__ = 'companies'

    corporate_number = Column(String, primary_key=True)
    name = Column(String)
    location = Column(String)

# 宮城県補助金テーブルの定義
class MiyagiSubsidies(Base):
    __tablename__ = 'subsidies'

    id = Column(Integer, primary_key=True, autoincrement=True)
    corporate_number = Column(String, ForeignKey('companies.corporate_number'))
    subsidy_title = Column(String)
    amount = Column(Integer)
    date_of_approval = Column(Date)
    government_department = Column(String)
    target = Column(String)
    fiscal_year = Column(String)

    company = relationship('MiyagiCompanies', backref='subsidies')

import requests
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker
from sqlalchemy import exists

# APIの基本設定
API_TOKEN = "YOUR_API_TOKEN"  # 実際のAPIトークンに置き換えてください
BASE_URL = "https://info.gbiz.go.jp/hojin" # gBizINFO REST API エンドポイント
HEADERS = {
    'accept': 'application/json',
    'X-hojinInfo-api-token': API_TOKEN
}

# データベース設定
Session = sessionmaker(bind=engine)
session = Session()
Base = declarative_base()

# データ取得＆DB保存
for page in range(1, 11):  # page=1 から page=10（APIの仕様の最大値） まで
    response = requests.get(
        f"{BASE_URL}/v1/hojin", headers=HEADERS,
        params={
            'prefecture': '04',
            'exist_flg': 'true',
            'source': '4',
            'page': page,
            'limit': 5000, # APIの仕様の最大値を設定し、最大数の結果取得を目指す
        }
    )

    if response.status_code != 200:
        print(f"エラー: {response.status_code}")
        continue

    data = response.json()

    for company in data.get('hojin-infos', []):
        # 企業の法人番号がすでにDBに存在するか確認
        exists_check = session.query(exists().where(MiyagiCompanies.corporate_number == company.get('corporate_number'))).scalar()

        if not exists_check:
            new_company = MiyagiCompanies(
                corporate_number=company.get('corporate_number'),
                name=company.get('name'),
                location=company.get('location')
            )
            session.add(new_company)
            print(f"新しい企業データを保存しました: {company.get('corporate_number')}")
        else:
            print(f"重複企業（法人番号: {company.get('corporate_number')}）はスキップしました")

    session.commit()  # 取得したデータをコミット
    print(f"Page {page} のデータを保存しました")

print("データ取得完了！")

import requests
from datetime import datetime
from sqlalchemy.orm import sessionmaker
from sqlalchemy import create_engine

# データベース接続
engine = create_engine(DATABASE_URL)
Session = sessionmaker(bind=engine)
session = Session()


def get_fiscal_year(date_str):
    """日付から年度を計算"""
    date = datetime.strptime(date_str, '%Y-%m-%d').date()
    return str(date.year) if date.month >= 4 else str(date.year - 1)


# 企業リストを取得
companies = session.query(MiyagiCompanies).all()


for company in companies:
    corporate_number = company.corporate_number
    response = requests.get(f'{BASE_URL}/v1/hojin/{corporate_number}/subsidy', headers=HEADERS)

    if response.status_code == 200:
        data = response.json()
        hojin_infos = data.get("hojin-infos", [])

        if hojin_infos:
            subsidies = hojin_infos[0].get("subsidy", [])

            for sub in subsidies:
                date_of_approval = sub.get("date_of_approval")

                if date_of_approval:
                    date = datetime.strptime(date_of_approval, '%Y-%m-%d').date()
                    fiscal_year = get_fiscal_year(date_of_approval)

                    subsidy_record = MiyagiSubsidies(
                        corporate_number=corporate_number,
                        subsidy_title=sub.get("title"),
                        amount=int(sub.get("amount") or 0),
                        date_of_approval=date,
                        government_department=sub.get("government_departments"),
                        target=sub.get("target"),
                        fiscal_year=fiscal_year
                    )
                    session.add(subsidy_record)  # データの追加を忘れずに
    else:
        print(f"Error fetching data for {corporate_number}: {response.status_code}")

session.commit()  # 重要: すべてのデータをコミット
session.close()
print("補助金データの取得＆保存完了！")

import pandas as pd
from sqlalchemy.orm import sessionmaker
from sqlalchemy import create_engine

# データベース接続
engine = create_engine(DATABASE_URL)
Session = sessionmaker(bind=engine)
session = Session()

def query_to_dataframe(model):
    """SQLAlchemyのモデルをDataFrameに変換する"""
    df = pd.DataFrame([record.__dict__ for record in session.query(model).all()])
    df.drop(columns=['_sa_instance_state'], errors='ignore', inplace=True)
    return df

# 各テーブルのデータを取得してDataFrame化
df_subsidies = query_to_dataframe(MiyagiSubsidies)
df_companies = query_to_dataframe(MiyagiCompanies)

# 金額の数値変換（例）
df_subsidies['amount'] = df_subsidies['amount'].str.replace(',', '').str.replace('円', '').astype(int)

# 日付の標準形式への変換（例）
df_subsidies['date_of_approval'] = pd.to_datetime(df_subsidies['date_of_approval'])

# 表記ゆれの標準化（例）
govt_dept_mapping = {
    '経済産業省': '経産省',
    '農林水産省': '農水省',
    # 他の表記ゆれがあれば追加
}
df_subsidies['government_department'] = df_subsidies['government_department'].replace(govt_dept_mapping)

session.close()

# 法人データ結合
df_merge = df_subsidies.merge(df_companies, on='corporate_number', how='left')

# 補助金テーブル(法人名付き)の作成
df_subsidies_with_name = df_merge[['corporate_number','name','subsidy_title','amount','date_of_approval']]
df_subsidies_with_name = df_subsidies_with_name.sort_values('corporate_number')
df_subsidies_with_name.to_csv("miyagi_subsidies.csv", index=False)

# 補助金の回数テーブルの作成
df_subsidies_count = df_subsidies_with_name.groupby('corporate_number').agg(
    name=('name', 'first'),
    subsidy_count=('name', 'count'),  # カウント
    total_amount=('amount', 'sum'),   # 合計金額を集計
).reset_index().rename(columns={'subsidy_count': 'subsidy_count', 'total_amount': 'total_amount'})

df_subsidies_count = df_subsidies_count.sort_values(['subsidy_count', 'total_amount'], ascending=[False, False])

# ID（連番）を振る
df_subsidies_count = df_subsidies_count.assign(id=range(1, len(df_subsidies_count) + 1))
df_subsidies_count = df_subsidies_count[["id", "corporate_number", "name", "subsidy_count", "total_amount"]]

df_subsidies_count.to_csv("miyagi_subsidies_count.csv", index=False)

# データの基本統計情報
df_companies.info()
df_subsidies.info()

# 基本統計量
df_subsidies.describe()

# 欠損値の数
df_subsidies.isnull().sum()

# 重複レコード数
df_companies.duplicated().sum()
df_subsidies.duplicated().sum()

# 上位データのチェック
df_companies.head()
df_subsidies.head()