深層学習を用いたオセロAIの作り方

f5d6c3d3c4f4f6f3e6e7d7b3e3d2g3h3d1c5f2e2e1f7f8g5h6h5g6g4c2c1e8c8d8g8b6f1b4a4h4b5g2h7c6a7a5a6a3a2b7h2h1g1h8g7b2b1a1a8b8c7

# CSVから試合内容を読み込む
def load_match_info(self):
    # csv読み込み
    csv_data = pd.read_csv("wthor.csv")
 
    # 1行目はヘッダになっているため削除する
    # 試合内容はtranscriptの列
    csv_data  =  csv_data.drop(index= csv_data[csv_data["transcript"].str.contains("transcript")].index)
 
    # 正規表現を使って2文字ずつ切り出す
    extract_one_hand = csv_data["transcript"].str.extractall('(..)')
 
    # Indexを再構成して、1行1手の表にする
    # 試合の切り替わり判定のためtournamentIdも残しておく
    one_hand_df =  extract_one_hand.reset_index().rename(columns={"level_0":"tournamentId" , "match":"move_no", 0:"move_str"})
         
    # アルファベットを数字に変換するテーブル
    conv_table = {"a" : 1, "b" : 2, "c" : 3, "d" : 4, "e" : 5, "f" : 6, "g" : 7, "h" : 8}
    one_hand_df["move"] = one_hand_df.apply(lambda x: self.convert_move(x["move_str"], conv_table), axis=1)
 
    return transcripts_df
 
# 1手を数値に変換する
def convert_move(self, v, conv_table):
    l = conv_table[v[:1]] # 列の値を変換する
    r = int(v[1:]) # 行の値を変換する
    return np.array([l - 1, r - 1], dtype='int8')

def process_tournament(self, df):
    # 試合が切り替わる盤面リセット
    if df["tournamentId"] != self.now_tournament_id:
        self.table_info = [0] * 100
        self.table_info[44] = 2
        self.table_info[45] = 1
        self.table_info[54] = 1
        self.table_info[55] = 2
        self.turn_color = 1
        self.now_tournament_id = df["tournamentId"]
    else:
        self.turn_color = 1 if self.turn_color == 2 else 2
 
    # 置ける箇所がなければパスする
    if len(reversi.GetCanPutPos(self.turn_color, self.table_info)) == 0:
        self.turn_color = 1 if self.turn_color == 2 else 2
     
    // 配置場所
    put_pos = df["move"]
 
　  # 訓練用データ追加
    self.record_training_data(put_pos)
 
    # 盤面更新
    put_index = put_pos[0] + 1 + (put_pos[1] + 1) * 10
    reversi.PutStone(put_index, self.turn_color, self.table_info)
 
def record_training_data(self, put_pos):
    # ボード情報を自分と敵のものに分ける
    my_board_info = np.zeros(shape=(8,8), dtype="int8")
    enemy_board_info = np.zeros(shape=(8,8), dtype="int8")
    for i in range(len(self.table_info)):
        # 盤面処理のための余分なマスは無視する
        if i >= 0 and i <= 9:
            continue
        if i / 10 == 0:
            continue
        if i / 9 == 0:
            continue
        if i >= 90 and i <= 99:
            continue
             
        if self.table_info[i] == 1:
            my_board_info[int(i/10) - 1][int(i%10) - 1] = 1
        elif self.table_info[i] == 2:
            enemy_board_info[int(i/10) - 1][int(i%10) - 1] = 1
         
    move_one_hot = np.zeros(shape=(8,8), dtype='int8')
    move_one_hot[put_pos[1]][put_pos[0]] = 1
 
    if self.turn_color == 1:
        self.my_board_infos.append(np.array([my_board_info.copy(), enemy_board_info.copy()], dtype="int8"))
        self.my_put_pos.append(move_one_hot)
    else:
        self.enemy_board_infos.append(np.array([enemy_board_info.copy(), my_board_info.copy()], dtype="int8"))
        self.enemy_put_pos.append(move_one_hot)

def create_model(self):
    class Bias(keras.layers.Layer):
        def __init__(self, input_shape):
            super(Bias, self).__init__()
            self.W = tf.Variable(initial_value=tf.zeros(input_shape[1:]), trainable=True)
 
        def call(self, inputs):
            return inputs + self.W 
 
    model = keras.Sequential()
    model.add(layers.Permute((2,3,1), input_shape=(2,8,8)))
    model.add(layers.Conv2D(128, kernel_size=3,padding='same',activation='relu'))
    model.add(layers.Conv2D(128, kernel_size=3,padding='same',activation='relu'))
    model.add(layers.Conv2D(128, kernel_size=3,padding='same',activation='relu'))
    model.add(layers.Conv2D(128, kernel_size=3,padding='same',activation='relu'))
    model.add(layers.Conv2D(128, kernel_size=3,padding='same',activation='relu'))
    model.add(layers.Conv2D(128, kernel_size=3,padding='same',activation='relu'))
    model.add(layers.Conv2D(128, kernel_size=3,padding='same',activation='relu'))
    model.add(layers.Conv2D(128, kernel_size=3,padding='same',activation='relu'))
    model.add(layers.Conv2D(128, kernel_size=3,padding='same',activation='relu'))
    model.add(layers.Conv2D(128, kernel_size=3,padding='same',activation='relu'))
    model.add(layers.Conv2D(128, kernel_size=3,padding='same',activation='relu'))
    model.add(layers.Conv2D(128, kernel_size=3,padding='same',activation='relu'))
    model.add(layers.Conv2D(1, kernel_size=1,use_bias=False))
    model.add(layers.Flatten())
    model.add(Bias((1, 64)))
    model.add(layers.Activation('softmax'))
 
    model.compile(keras.optimizers.SGD(learning_rate=0.01, momentum=0.0, nesterov=False), 'categorical_crossentropy', metrics=['accuracy'])
    return model

def training(self):
    x_train = np.concatenate([self.my_board_infos, self.enemy_board_infos])
    y_train_tmp = np.concatenate([self.my_put_pos, self.enemy_put_pos])
 
    # 教師データをサイズ64の1次元配列に変換
    y_train = y_train_tmp.reshape(-1, 64)
 
    try:
        # 学習を開始
        model.fit(x_train, y_train, epochs=1000, batch_size=32, validation_split=0.2)
    except KeyboardInterrupt:
        # 学習中に途中で中断された場合に途中結果を出力
        model.save('saved_model_reversi/my_model_interrupt')
        print('Output saved')
        return
     
    # 学習が終了したら指定パスに結果を出力
    model.save('saved_model_reversi/my_model')
    print('complete')

# Tensor Boardコールバック
tb_cb = keras.callbacks.TensorBoard(log_dir='model_log/relu_12', histogram_freq=1, write_graph=True)
# 引数callbackにtb_cbを設定
model.fit(x_train, y_train, epochs=1000, batch_size=32, validation_split=0.2, callback=[tb_cb])

tensorboard --logdir logpath