TensorFlow Serving - End-to-End

Projeto exemplo de treinamento, exportação e deploy de um modelo MNIST com TensorFlow 2 e serving via Docker (Bitnami ou oficial).

Estrutura do Projeto

.
├── main.py               # Script de treinamento e exportação do modelo
├── mnist_model/          # Diretório do modelo exportado (formato SavedModel)
│   └── 1/
│       ├── assets
│       ├── fingerprint.pb
│       ├── saved_model.pb
│       └── variables/
│           ├── variables.data-00000-of-00001
│           └── variables.index
├── teste.py              # Script Python para testar a API REST
└── test_inference.ipynb  # (Opcional) Notebook de teste via API REST

Faça o download dos arquivos do projeto:

• arquivo main.py
• arquivo teste.py
• arquivo inferencia.ipynb

1. Treinando e exportando o modelo

python3 main.py

Isso gera a pasta mnist_model/1/ com o modelo no formato correto para serving.

2. Servindo o modelo com Docker

Comando completo:

docker run -d --name tfserving_mnist -p 8501:8501 \
  -v "$PWD/mnist_model:/models/mnist" \
  tensorflow/serving \
  --rest_api_port=8501 \
  --model_name=mnist \
  --model_base_path=/models/mnist

IMPORTANTE:

No Mac M1/M2 (ARM64): se der erro, adicione a flag --platform=linux/arm64/v8 após o docker run.

No Windows, Linux, Mac Intel: não precisa dessa flag.

Você pode usar a imagem oficial (tensorflow/serving) ou Bitnami (bitnami/tensorflow-serving:latest). Ambas são compatíveis.

Comando completo para Mac M1/M2:

docker run --platform=linux/arm64/v8 -d --name tfserving_mnist -p 8501:8501 \
  -v "$PWD/mnist_model:/bitnami/tensorflow-serving/models/mnist" \
  bitnami/tensorflow-serving:latest \
  tensorflow_model_server \
    --rest_api_port=8501 \
    --model_name=mnist \
    --model_base_path=/bitnami/tensorflow-serving/models/mnist

Explicação do comando, linha a linha:

• docker run: Cria e executa um novo container.
• --platform=linux/arm64/v8: Especifica a arquitetura ARM64 (necessário em Macs M1/M2).
• -d: Roda em segundo plano (background).
• --name tfserving_mnist: Dá um nome ao container para facilitar logs, remoção etc.
• -p 8501:8501: Mapeia a porta 8501 do container para a 8501 do host (API REST).
• -v "$PWD/mnist_model:/bitnami/tensorflow-serving/models/mnist": Monta o diretório local do modelo dentro do container no local esperado pelo TensorFlow Serving.
• bitnami/tensorflow-serving:latest: Imagem Docker utilizada.
• tensorflow_model_server: Comando que roda o servidor do TensorFlow Serving.
• --rest_api_port=8501: Porta REST da API.
• --model_name=mnist: Nome lógico do modelo (usado nos endpoints).
• --model_base_path=/bitnami/tensorflow-serving/models/mnist:Caminho do modelo dentro do container (deve bater com o volume acima).

3. Verificando o status do modelo

Após rodar o container, teste no terminal:

curl http://localhost:8501/v1/models/mnist

Deve retornar:

{
 "model_version_status": [
  {
   "version": "1",
   "state": "AVAILABLE",
   "status": {
    "error_code": "OK",
    "error_message": ""
   }
  }
 ]
}

4. Testando a inferência com Python

Use o script teste.py:

python3 teste.py

Saída esperada (exemplo):

Predito: 7 Verdadeiro: 7

5. Teste via notebook

Rode o test_inference.ipynb para explorar batch prediction, visualização, análise de erro, etc.

Observações

• Para atualizar o modelo, basta exportar uma nova versão na pasta mnist_model/2/ e reiniciar o container.
• Se quiser automatizar o deploy, use um script deploy.sh.
• Para projetos maiores, considere Docker Compose e/ou integração com aplicações web.