Добрый день, уважаемые читатели. Мы уже разобрали кучу приёмов, связанных с библиотекой Keras, Sklearn и т.д. Однако мы ещё не разбирали сохранение весов модели Keras и самой модели в отдельный файл (да, была статья про консервацию модели, но это немного другое).

Сегодня мы разберём этот аспект, используя такой инструмент, как callback, а также такие форматы файлов как json и h5.

Подпишись на группу Вконтакте и Телеграм-канал. Там еще больше полезного контента для программистов.
А на YouTube-канале ты найдешь обучающие видео по программированию. Подписывайся!

Импорты и загрузка данных

Тут всё просто. В моих статьях неоднократно совершался этот шаг, так что все читатели уже в курсе делов :)

In[1]:
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

from tensorflow.keras.models import Sequential, model_from_json
from tensorflow.keras.layers import Dense, Dropout
from tensorflow.keras.callbacks import ModelCheckpoint

In[2]:
dataset = load_breast_cancer()
X = dataset.data
y = dataset.target
del dataset

X.shape, y.shape

Out[2]:
((569, 30), (569,))
In[3]:
X_train, X_test, y_train, y_test = train_test_split(X,
                          y,
                          test_size=0.1)

X_train.shape, y_train.shape

Out[3]:
((512, 30), (512,))

Построение модели

Теперь построим модель. Создадим функцию, которая возвращает скомпилированную модель:

In[4]:
def build_model():
   
  model = Sequential()
   
  model.add(Dense(16, activation='relu'))
  model.add(Dropout(0.2))
  model.add(Dense(16, activation='relu'))
  model.add(Dense(1, activation='sigmoid'))
   
  model.compile(optimizer='rmsprop',
                loss='binary_crossentropy',
                metrics=['accuracy'])
   
  return model

А здесь начинается самое интересное. Мы передадим в метод fit() дополнительный аргумент callbacks.

Наш «отклик» будет сохранять лучшую вариацию весов в отдельный файл на этапе обучения.

Обучим модель, применив отклик:

In[5]:
model = build_model()

weights_file = 'weights.h5'
callback = ModelCheckpoint(weights_file,
              monitor='acc',
              mode='max',
              save_best_only=True)

model.fit(X_train, 
     y_train, 
     validation_data=[X_test, y_test],
     epochs=10,
     batch_size=8,
     callbacks=[callback])

acc = accuracy_score(y_test, model.predict(X_test).flat)
acc

Out[5]:
0.7017543859649122

Для сохранения самой модели мы воспользуемся файлом с форматом JSON. У моделей Keras существует метод to_json(), который возвращает представление модели в виде словаря. Запишем этот словарь в файл.

In[6]:
json_file = 'model.json'
model_json = model.to_json()

with open(json_file, 'w') as f:
  f.write(model_json)

Теперь загрузим модель из файла и присвоим ей веса из файла .h5.

In[7]:
with open(json_file, 'r') as f:
  loaded_model = model_from_json(f.read())
   
loaded_model.load_weights('weights.h5')
loaded_acc = accuracy_score(y_test, loaded_model.predict(X_test).flat)

loaded_acc == acc

Out[7]:
True

Таким образом, мы полностью возобновили модель из двух файлов.

Заключение

Таким образом, мы научились выполнять сохранение модели и её веса, а потом загружать её обратно. Программный интерфейс — очень прост. Также вы можете сохранять модель в YAML-файл, для этого просто «json» замените на «yaml» во всей программе :)

Документ .ipynb, который вы можете просмотреть и изменить по своему усмотрению, находится по ссылке.

Также рекомендую прочитать статью Функциональный API библиотеки Keras. А также подписывайтесь на группу ВКонтакте, Telegram и YouTube-канал. Там еще больше полезного и интересного для программистов.