学習する（２：血統）

# -------------------------------------------------------------
# 3. 血統データマージ
# -------------------------------------------------------------
print("✅ 血統データマージ")
bloodline_file = "bloodline_id_data.csv"
final_df = pd.read_csv(bloodline_file, encoding="utf-8-sig").drop_duplicates(subset='horse_id')

# 血統データをマージ
data = (
    data.merge(
        final_df[['horse_id', 'father_id', 'mother_id']],
        left_on='馬ID',
        right_on='horse_id',
        how='left'
    )
    .drop(columns='horse_id')
)

# 血統キー
data['血統キー'] = data['father_id'].astype(str) + '_' + data['mother_id'].astype(str)

# 日付順にソート
data = data.sort_values('日付').reset_index(drop=True)

# 好成績データだけを対象に履歴集計用のフラグを作成
for col in ['距離', '脚質', '馬場']:
    data[f'{col}フラグ'] = data['好成績'] * 1


def cumulative_feature(df, key_col, date_col, category_col, flag_col, result_col):
    # ピボットテーブル
    pivot_df = (
        df.pivot_table(
            index=[key_col, date_col],
            columns=category_col,
            values=flag_col,
            aggfunc='sum',
            fill_value=0
        )
    )
    # 累積和（数値列のみ）
    pivot_df = pivot_df.groupby(level=0).cumsum()
    # 血統得意カテゴリの抽出
    pivot_df[result_col] = pivot_df.idxmax(axis=1)
    # indexを戻す
    pivot_df = pivot_df.reset_index()[[key_col, date_col, result_col]]
    return pivot_df


# 3種類まとめて集計
距離集計 = cumulative_feature(data, '血統キー', '日付', '距離カテゴリ', '距離フラグ', '血統得意距離')
脚質集計 = cumulative_feature(data, '血統キー', '日付', '脚質', '脚質フラグ', '血統得意脚質')
馬場集計 = cumulative_feature(data, '血統キー', '日付', '馬場', '馬場フラグ', '血統得意馬場')

# まとめてマージ（1回だけ）
for df_merge in [距離集計, 脚質集計, 馬場集計]:
    data = data.merge(df_merge, on=['血統キー', '日付'], how='left')

# NaN を "不明" で補完
data[['血統得意距離', '血統得意脚質', '血統得意馬場']] = (
    data[['血統得意距離', '血統得意脚質', '血統得意馬場']].fillna("不明")
)

print("✅ 騎手勝率 ほか特徴量（高速＋dtype対策）")

# ---- 0) 一度だけ安定ソート（以降の累積系はこの順で実行）----
data = data.sort_values(["日付", "レースID"], kind="mergesort").reset_index(drop=True)

# ---- 1) 勝敗フラグ（軽量型）----
data["is_win"] = (data["着順"] == 1).astype("int8")

# ---- 2) 騎手勝率（直前まで）: 完全ベクトル化 ----
g_j = data.groupby("騎手ID", sort=False)
data["出走数"] = g_j.cumcount()
data["勝利数"] = (
    g_j["is_win"].shift(1).fillna(0)
      .groupby(data["騎手ID"], sort=False).cumsum()
      .astype("int32")
)
den = data["出走数"].replace(0, np.nan)
data["騎手勝率"] = (data["勝利数"] / den).fillna(0.0)

# ---- 3) 走破速度 ----
data["走破速度"] = data["距離"] / data["走破タイム"]

# ---- 4) 過去n走の平均（直前まで）: dtype整えてから一撃 ----
cols = ["走破速度", "上り", "単勝", "人気", "着順"]
# ★ ここがポイント：cumsum 対象を数値化（object混入を排除）
data[cols] = data[cols].apply(pd.to_numeric, errors="coerce").astype("float32")

# 同じ順序のままキー指定 groupby で cumsum
cs  = data[cols].groupby([data["馬ID"], data["芝ダ"]], sort=False).cumsum()
cnt = data.groupby(["馬ID", "芝ダ"], sort=False).cumcount()
past = (cs - data[cols]).div(cnt.replace(0, np.nan), axis=0).fillna(0.0)
past.columns = [f"過去{c}" for c in cols]
data[past.columns] = past

# ---- 5) 脚質過去 / 履歴長 ----
data["脚質過去"] = data.groupby("馬ID", sort=False)["脚質"].shift(1).fillna("0")
data["履歴長"] = data.groupby("馬ID", sort=False).cumcount()
data["履歴長_norm"] = data["履歴長"] / max(int(data["履歴長"].max()), 1)

# ---- 6) 騎手-馬コンビ勝率（直前まで）----
g_pair = data.groupby(["馬ID", "騎手ID"], sort=False)
data["騎手-馬ペア出走数"] = g_pair.cumcount()
data["騎手-馬ペア勝利数"] = (
    g_pair["is_win"].shift(1).fillna(0)
         .groupby([data["馬ID"], data["騎手ID"]], sort=False).cumsum()
)
data["騎手-馬コンビ勝率"] = (
    data["騎手-馬ペア勝利数"] / data["騎手-馬ペア出走数"].replace(0, np.nan)
).fillna(0.0)
data.drop(columns=["騎手-馬ペア出走数", "騎手-馬ペア勝利数"], inplace=True)

# ---- 7) 相対特徴量（transform まとめて1回）----
race_means = data.groupby("レースID", sort=False)[["斤量", "騎手勝率", "過去走破速度"]].transform("mean")
data["相対斤量差"] = data["斤量"] - race_means["斤量"]
data["相対騎手勝率差"] = data["騎手勝率"] - race_means["騎手勝率"]
data["相対過去速度"] = data["過去走破速度"] - race_means["過去走破速度"]


# ---- 8) 不要列削除（そのまま）----
final_drop = ["走破速度","走破タイム", "上り", "性齢", "単勝", "人気", "is_win", "脚質", "通過",
              "過去単勝", "履歴長", "年齢", "天候", "father_id", "mother_id"]
data.drop(columns=final_drop, inplace=True, errors="ignore")
with open("final_drop_columns.json", "w", encoding="utf-8") as f:
    json.dump(final_drop, f, ensure_ascii=False, indent=2)
print("✅ final_drop_columns 保存済み")