SBI証券のUI、レイアウトが悲惨すぎて何度見ても忘れるのでメモ。CSV変換等

import pandas as pd
from bs4 import BeautifulSoup
import argparse
import os

# コマンドライン引数の設定
parser = argparse.ArgumentParser(description='Convert HTML tables to CSV files.')
parser.add_argument('--single-file', action='store_true', help='Combine all tables into a single CSV file.')
args = parser.parse_args()

# HTMLファイルのパス
html_file_path = './sbi.html'

# HTMLファイルを読み込む
with open(html_file_path, 'r', encoding='utf-8') as file:
    html_content = file.read()

# BeautifulSoupを使ってHTMLを解析する
soup = BeautifulSoup(html_content, 'html.parser')

# 関数：カラムの分割処理
def split_columns(header_row, data_rows):
    expanded_header = []
    expanded_data = []

    for col_index, item in enumerate(header_row):
        max_splits = max((len(row[col_index].split('|br|')) if col_index < len(row) else 1) for row in data_rows) if data_rows else 1
        
        # ヘッダーを分割
        parts = item.split('|br|')
        expanded_header.extend(parts + [''] * (max_splits - len(parts)))
        
        # データを分割
        for row_index, row in enumerate(data_rows):
            if len(expanded_data) <= row_index:
                expanded_data.append([])
            data_parts = row[col_index].split('|br|') if col_index < len(row) else ['']
            expanded_data[row_index].extend(data_parts + [''] * (max_splits - len(data_parts)))

    return expanded_header, expanded_data

# 関数：テーブルを処理してCSVファイルに保存
def process_table(table, table_index, single_file=False):
    # 初期データフレームの作成
    rows = table.find_all('tr')
    data = []
    for row in rows:
        cells = row.find_all(['td', 'th'])
        row_data = []
        for cell in cells:
            # `
` を明示的に "|br|" として扱う
            html_text = str(cell)
            cleaned_text = html_text.replace('
', '|br|').replace('
', '|br|')
            text = ' '.join(BeautifulSoup(cleaned_text, 'html.parser').get_text(separator=" ").split())
            row_data.append(text)
        data.append(row_data)

    if not data:
        return None, None

    # 見出し行とデータ行に分割
    header_row = data[0]
    data_rows = data[1:] if len(data) > 1 else []

    # 見出し行とデータ行を分割処理
    columns, expanded_data = split_columns(header_row, data_rows)

    # 列数を最大長に合わせる
    max_cols = max(len(columns), max((len(row) for row in expanded_data), default=0))
    columns.extend([''] * (max_cols - len(columns)))
    for row in expanded_data:
        row.extend([''] * (max_cols - len(row)))

    # 最終的なデータフレームを作成
    if expanded_data:
        df_final = pd.DataFrame(expanded_data, columns=columns)
    else:
        df_final = pd.DataFrame(columns=columns)

    if not single_file:
        # CSVファイルへの保存
        csv_file_path = f'final_output_with_br_expanded_table_{table_index}.csv'
        df_final.to_csv(csv_file_path, index=False, encoding='utf-8')
        print(f'拡張されたCSVファイルが {csv_file_path} に保存されました。')
    
    return columns, expanded_data

# 全てのテーブルを処理
tables = soup.find_all('table')
all_data = []

for table_index, table in enumerate(tables):
    columns, expanded_data = process_table(table, table_index, single_file=args.single_file)
    if columns and expanded_data:
        if all_data:
            # 前のテーブルと区別するために空行を追加
            all_data.append([''] * len(columns))
        all_data.append(columns)
        all_data.extend(expanded_data)

if args.single_file and all_data:
    # 最終的なデータフレームを作成
    max_cols = max(len(row) for row in all_data)
    for row in all_data:
        row.extend([''] * (max_cols - len(row)))
    df_final = pd.DataFrame(all_data[1:], columns=all_data[0])

    # 1つのCSVファイルに保存
    csv_file_path = 'final_output_with_br_expanded_all_tables.csv'
    df_final.to_csv(csv_file_path, index=False, encoding='utf-8')
    print(f'全てのテーブルが1つのCSVファイルに {csv_file_path} に保存されました。')

D:\temp>python convert1.py --single-file