Sol motion

Objetivos da aula:

• Conhecer e praticar tracking de objetos em movimento

Background Subtraction¶

A intuição de como realizar essa tarefa nós já sabemso, basicamente iremos comparar duas imagem: a de referência do fundo com uma segunda imagem de teste. O resultado irá ressaltar a diferença da imagem.

In [ ]:

####----- FAZENDO O DOWNLOAD DAS IMAGENS DO RESPOSITÓRIO, APENAS PARA FACILITAR -----#####
## SE ESTIVER RODANDO EM SUA MÁQUINA LOCAL NÃO PRECISA RODAR ESSA CELULA ##


!wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/pessoas-gif.gif /content
!wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/sala.jpg /content
!wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/sala1.jpg /content
!wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/sala2.jpg /content
!wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/sala3.jpg /content
!wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/sala_res.png /content
!wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/people-walking.mp4 /content

####----- FAZENDO O DOWNLOAD DAS IMAGENS DO RESPOSITÓRIO, APENAS PARA FACILITAR -----##### ## SE ESTIVER RODANDO EM SUA MÁQUINA LOCAL NÃO PRECISA RODAR ESSA CELULA ## !wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/pessoas-gif.gif /content !wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/sala.jpg /content !wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/sala1.jpg /content !wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/sala2.jpg /content !wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/sala3.jpg /content !wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/sala_res.png /content !wget https://raw.githubusercontent.com/arnaldojr/cognitivecomputing/master/material/aulas/lab07/Aula09/people-walking.mp4 /content

DESAFIO 1¶

Implemente um código (simples) que seja capaz de realizar a subtração das imagens e detectar movimento.

Dica: você pode usar operações cv2.absdiff(img1, img2) e se necessário realizar uma operação morfologia (abertura/ fechamento, dilatação/erosão) para reduzir o ruido. O resultado deve ser parecido com a imagem "sala_res.png".

USE COMO IMAGENS DE ENTRADA AS OPÇÕES:¶

• SALA, SALA1, SALA2, SALA3

In [1]:

%matplotlib inline
import cv2
from matplotlib import pyplot as plt
import numpy as np

img = cv2.imread('sala_res.png')

plt.figure(figsize = (10,10))
plt.imshow(img); plt.show();

%matplotlib inline import cv2 from matplotlib import pyplot as plt import numpy as np img = cv2.imread('sala_res.png') plt.figure(figsize = (10,10)) plt.imshow(img); plt.show();

In [6]:

# Implemente seu código.....

%matplotlib inline
import cv2
from matplotlib import pyplot as plt
import numpy as np

img = cv2.imread('sala.jpg',0)
img2 = cv2.imread('sala1.jpg',0)


res1 = cv2.absdiff(img, img2)

plt.subplot(1,3,1)
plt.imshow(img, cmap='gray')
plt.title('sala')
plt.subplot(1,3,2)
plt.imshow(img2, cmap='gray')
plt.title('sala 1')
plt.subplot(1,3,3)
plt.imshow(res1, cmap='gray')
plt.title('resultado')
plt.show()

# vamos tentar melhorar o resultado aplicando morfologia matemática

opening = cv2.morphologyEx(res1, cv2.MORPH_OPEN, np.ones((3,3),np.uint8))

clossing = cv2.morphologyEx(res1, cv2.MORPH_CLOSE, np.ones((3,3),np.uint8))

erode = cv2.erode(res1, np.ones((3,3),np.uint8), iterations=1)

dilate = cv2.dilate(res1, np.ones((3,3),np.uint8), iterations=1)

plt.figure(figsize=(10,10))
plt.subplot(2,2,1)
plt.imshow(opening, cmap='gray')
plt.title('opening')
plt.subplot(2,2,2)
plt.imshow(clossing, cmap='gray')
plt.title('clossing')
plt.subplot(2,2,3)
plt.imshow(erode, cmap='gray')
plt.title('erode')
plt.subplot(2,2,4)
plt.imshow(dilate, cmap='gray')
plt.title('dilate')
plt.show()

# o erode ficou bacana, podemos tentar melhorar o resultado aplicando novamente o erode

erode2 = cv2.erode(erode, np.ones((3,3),np.uint8), iterations=1) # como sugestão pode alterar o valor de iterations para tentar melhorar o resultado

plt.figure(figsize=(10,10))
plt.subplot(1,2,1)
plt.imshow(erode, cmap='gray')
plt.title('erode')
plt.subplot(1,2,2)
plt.imshow(erode2, cmap='gray')
plt.title('erode2')
plt.show()

# Implemente seu código..... %matplotlib inline import cv2 from matplotlib import pyplot as plt import numpy as np img = cv2.imread('sala.jpg',0) img2 = cv2.imread('sala1.jpg',0) res1 = cv2.absdiff(img, img2) plt.subplot(1,3,1) plt.imshow(img, cmap='gray') plt.title('sala') plt.subplot(1,3,2) plt.imshow(img2, cmap='gray') plt.title('sala 1') plt.subplot(1,3,3) plt.imshow(res1, cmap='gray') plt.title('resultado') plt.show() # vamos tentar melhorar o resultado aplicando morfologia matemática opening = cv2.morphologyEx(res1, cv2.MORPH_OPEN, np.ones((3,3),np.uint8)) clossing = cv2.morphologyEx(res1, cv2.MORPH_CLOSE, np.ones((3,3),np.uint8)) erode = cv2.erode(res1, np.ones((3,3),np.uint8), iterations=1) dilate = cv2.dilate(res1, np.ones((3,3),np.uint8), iterations=1) plt.figure(figsize=(10,10)) plt.subplot(2,2,1) plt.imshow(opening, cmap='gray') plt.title('opening') plt.subplot(2,2,2) plt.imshow(clossing, cmap='gray') plt.title('clossing') plt.subplot(2,2,3) plt.imshow(erode, cmap='gray') plt.title('erode') plt.subplot(2,2,4) plt.imshow(dilate, cmap='gray') plt.title('dilate') plt.show() # o erode ficou bacana, podemos tentar melhorar o resultado aplicando novamente o erode erode2 = cv2.erode(erode, np.ones((3,3),np.uint8), iterations=1) # como sugestão pode alterar o valor de iterations para tentar melhorar o resultado plt.figure(figsize=(10,10)) plt.subplot(1,2,1) plt.imshow(erode, cmap='gray') plt.title('erode') plt.subplot(1,2,2) plt.imshow(erode2, cmap='gray') plt.title('erode2') plt.show()

Background Subtraction em videos¶

O desafio acima foi fácil! pois existe uma imagem de fundo sozinha, como uma imagem da sala sem vazia. Basta subtrair a nova imagem do plano de fundo. Você obtém os objetos de primeiro plano sozinhos.

Mas, na maioria dos casos, você pode não ter essa imagem, então precisamos extrair o plano de fundo de qualquer imagem que tenhamos. Aiiiiii complica as coisas.

Na OpenCV podemos implementar isso por meio de dois algoritmos. O primeiro é createBackgroundSubtractorKNN() ou createBackgroundSubtractorMOG2(). Isso cria um objeto subtrator de fundo por K-Nearest Neighbor (KNN) ou Mixture of Gaussians (MOG2) . Então, podemos chamar a função apply() com o objeto para obter a máscara do primeiro plano. Podemos exibir diretamente a máscara de primeiro plano em tempo real (com video :)).

Referência da documentação: https://docs.opencv.org/master/de/de1/group__video__motion.html#gac9be925771f805b6fdb614ec2292006d

Executar video no jupyter notebook normalmente da problema.¶

Existem algumas formas de rodar, mas pode ficar delay.

Sugestão: Escreva um script e execute direto pelo terminal.

In [ ]:

###### leia com atenção!!! este código roda em sua máquina local.

import numpy as np
import cv2

#carrega o video 
cap = cv2.VideoCapture('people-walking.mp4')

# Cria a subtração do fundo
#fgbg = cv2.createBackgroundSubtractorMOG2()
fgbg = cv2.createBackgroundSubtractorKNN()

while(1):
    ret, frame = cap.read()
    
    if not ret:
        break
    
    # Aplica a mascara no frame recebido
    fgmask = fgbg.apply(frame)
   
    cv2.imshow('fgmask',frame)
    cv2.imshow('frame',fgmask)

    
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break
    

cap.release()
cv2.destroyAllWindows()

###### leia com atenção!!! este código roda em sua máquina local. import numpy as np import cv2 #carrega o video cap = cv2.VideoCapture('people-walking.mp4') # Cria a subtração do fundo #fgbg = cv2.createBackgroundSubtractorMOG2() fgbg = cv2.createBackgroundSubtractorKNN() while(1): ret, frame = cap.read() if not ret: break # Aplica a mascara no frame recebido fgmask = fgbg.apply(frame) cv2.imshow('fgmask',frame) cv2.imshow('frame',fgmask) k = cv2.waitKey(30) & 0xff if k == 27: break cap.release() cv2.destroyAllWindows()

DESAFIO 2¶

Crie um programa python e execute o código acima. O objetivo, nesse primeiro momento, é se familiarizar com a estrutura do código, para isso, explore os metodos MOG2 e KNN e observe os resultados.

Explore os parametros da função:

history: O numero de frames usado para construir o modelo estatisco da fundo. Quando menor mais rapido.

dist2Threshold: é o limiar definido para saber se o pixel pertence ao fundo ou não da imagem. Quando menor mais sensivel.

detectShadows : Se True, a sombra (shadows) vai aparecer em cinza na imagem.

In [ ]:

## insira seu código aqui

# como vou abrir algums telas para observar a diferença entre os metodos, vou diminuir o tamanho da tela para não ficar muito grande e atrapalhar a visualização


import numpy as np
import cv2

#carrega o video 
cap = cv2.VideoCapture('people-walking.mp4')

# Reduzindo a resolução do vídeo (opcional)
scale_factor = 0.5

# Criação do objeto de subtração de fundo MOG2
mog2 = cv2.createBackgroundSubtractorMOG2(history=500, varThreshold=16, detectShadows=True)

# Criação do objeto de subtração de fundo KNN
knn = cv2.createBackgroundSubtractorKNN(history=350, dist2Threshold=400, detectShadows=True)


while(1):
    ret, frame = cap.read()
    
    if not ret:
        break
     # Redimensionamento do frame (opcional)
    frame = cv2.resize(frame, None, fx=scale_factor, fy=scale_factor, interpolation=cv2.INTER_AREA)

    # Aplicação dos métodos de subtração de fundo
    fgmask_mog2 = mog2.apply(frame)
    fgmask_knn = knn.apply(frame)

    # Exibição dos resultados
    cv2.imshow('Original', frame)
    cv2.imshow('MOG2', fgmask_mog2)
    cv2.imshow('KNN', fgmask_knn)

    if cv2.waitKey(0) & 0xFF == ord('q'):
        print("Encerrando a execução.")
        break
    

cap.release()
cv2.destroyAllWindows()

## insira seu código aqui # como vou abrir algums telas para observar a diferença entre os metodos, vou diminuir o tamanho da tela para não ficar muito grande e atrapalhar a visualização import numpy as np import cv2 #carrega o video cap = cv2.VideoCapture('people-walking.mp4') # Reduzindo a resolução do vídeo (opcional) scale_factor = 0.5 # Criação do objeto de subtração de fundo MOG2 mog2 = cv2.createBackgroundSubtractorMOG2(history=500, varThreshold=16, detectShadows=True) # Criação do objeto de subtração de fundo KNN knn = cv2.createBackgroundSubtractorKNN(history=350, dist2Threshold=400, detectShadows=True) while(1): ret, frame = cap.read() if not ret: break # Redimensionamento do frame (opcional) frame = cv2.resize(frame, None, fx=scale_factor, fy=scale_factor, interpolation=cv2.INTER_AREA) # Aplicação dos métodos de subtração de fundo fgmask_mog2 = mog2.apply(frame) fgmask_knn = knn.apply(frame) # Exibição dos resultados cv2.imshow('Original', frame) cv2.imshow('MOG2', fgmask_mog2) cv2.imshow('KNN', fgmask_knn) if cv2.waitKey(0) & 0xFF == ord('q'): print("Encerrando a execução.") break cap.release() cv2.destroyAllWindows()

DESAFIO 3¶

Faça um programa que detecta o movimento das pessoas andando na rua e marca com um boundBox (retangulo) o que foi detectado.

Instruções/Dicas:

• Use 'people-walking.mp4' como video para os testes.

• Lembre-se do que já estudamos para remover ruido, realçar contorno, detectar bordas....

• Sempre Leia a documentação: https://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_imgproc/py_contours/py_contour_features/py_contour_features.html

• Use a função cv2.boundingRect() para desenhar o retangulo.

O resultado dever ser semelhante ao do video.

In [6]:

from IPython.display import Image
Image(open('pessoas-gif.gif','rb').read())

from IPython.display import Image Image(open('pessoas-gif.gif','rb').read())

Out[6]:

In [1]:

##### Implemente seu código aqui......


#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import cv2
from datetime import datetime


BLUR_KERNEL_P0 = (21, 21)
BLUR_KERNEL_P1 = (11, 11)
LEARNING_RATE = 0.001
MIN_CONTOUR_AREA = 625

cap = cv2.VideoCapture("people-walking.mp4")

#backSub = cv2.createBackgroundSubtractorKNN()
backSub = cv2.createBackgroundSubtractorMOG2()

while True:
    ret, frame = cap.read()

    if not ret:
        break

    frame_blured = cv2.GaussianBlur(frame, BLUR_KERNEL_P0, 0)
    #backSubmask = backSub.apply(frame_blured, learningRate=LEARNING_RATE)
    backSubmask = backSub.apply(frame_blured)

    thresh = cv2.GaussianBlur(backSubmask, BLUR_KERNEL_P1, 0)
    thresh = cv2.dilate(thresh, None, iterations=2)

    cnts, _ = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

    area_movimento = 0
    for cnt in cnts:
        area = cv2.contourArea(cnt)
        if  area < MIN_CONTOUR_AREA:
            continue

        area_movimento += area
        (x, y, w, h) = cv2.boundingRect(cnt)
        cv2.rectangle(frame, (x, y), (x+w, y+h), (128, 255, 255), 2)

    cv2.putText(
        frame, datetime.now().strftime("%A %d %B %Y %I:%M:%S%p"),
        (10, frame.shape[0] - 10), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
    # Show results
    cv2.imshow("Feed", frame)
    cv2.imshow("Thresh", thresh)

    # Wait for key 'ESC' to quit
    key = cv2.waitKey(1) & 0xFF
    if key == 27:
        break

# That's how you exit
cap.release()
cv2.destroyAllWindows()

##### Implemente seu código aqui...... #!/usr/bin/env python3 # -*- coding: utf-8 -*- import cv2 from datetime import datetime BLUR_KERNEL_P0 = (21, 21) BLUR_KERNEL_P1 = (11, 11) LEARNING_RATE = 0.001 MIN_CONTOUR_AREA = 625 cap = cv2.VideoCapture("people-walking.mp4") #backSub = cv2.createBackgroundSubtractorKNN() backSub = cv2.createBackgroundSubtractorMOG2() while True: ret, frame = cap.read() if not ret: break frame_blured = cv2.GaussianBlur(frame, BLUR_KERNEL_P0, 0) #backSubmask = backSub.apply(frame_blured, learningRate=LEARNING_RATE) backSubmask = backSub.apply(frame_blured) thresh = cv2.GaussianBlur(backSubmask, BLUR_KERNEL_P1, 0) thresh = cv2.dilate(thresh, None, iterations=2) cnts, _ = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) area_movimento = 0 for cnt in cnts: area = cv2.contourArea(cnt) if area < MIN_CONTOUR_AREA: continue area_movimento += area (x, y, w, h) = cv2.boundingRect(cnt) cv2.rectangle(frame, (x, y), (x+w, y+h), (128, 255, 255), 2) cv2.putText( frame, datetime.now().strftime("%A %d %B %Y %I:%M:%S%p"), (10, frame.shape[0] - 10), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2) # Show results cv2.imshow("Feed", frame) cv2.imshow("Thresh", thresh) # Wait for key 'ESC' to quit key = cv2.waitKey(1) & 0xFF if key == 27: break # That's how you exit cap.release() cv2.destroyAllWindows()

2024-03-13 18:19:45.703 Python[38035:1992601] WARNING: Secure coding is automatically enabled for restorable state! However, not on all supported macOS versions of this application. Opt-in to secure coding explicitly by implementing NSApplicationDelegate.applicationSupportsSecureRestorableState:.

Desafio 4 - Extra top das galaxias!¶

A área de segurança tornou-se um grande mercado, onde empresas desenvolvem e vendem seus produtos. A vigilancia por câmeras é um grande alindo nesse mercado, por vários motivos. Nesse sentido, você foi contratado para desenvolver um sistema de segurança remoto que irá capturar um video remotamente (câmera IP) realizar o processamento para detecção de movimento.

Dicas/Instruções:

• Faça uma aplicação web em Flask
• https://www.youtube.com/watch?v=EkqhIeSZGN8 esse video pode ajudar um pouco
• https://github.com/arnaldojr/videostream

Se topar o desafio, vamos fazer um projeto IC?

In [ ]:

# esse é bonus, para quem quiser tentar fazer

# esse é bonus, para quem quiser tentar fazer