選自Github

機器之心編譯

參與：吳攀

在「非法」查看色情視頻時，你是否也為其「漫長」的鋪墊和前奏感到懊惱呢？前幾天，GitHub 用戶 ryanjay0 開源了一個可以用來識別色情視頻中特定類型的場景的人工智能項目 Miles Deep。該算法可以將你想看的類型的片段從完整視頻中截取出來并生成一個集合了這些片段的新視頻，讓你可以不再為那些多余的片段煩惱。

Miles Deep 使用了一個帶有殘差連接（residual connections）的深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN），可以基于性行為（sexual act）將一段色情視頻的每一秒分類成 6 種類別，其準確度高達 95%。然后它可以使用這種分類來自動編輯該視頻。它可以移除所有不包含性接觸的場景，或者編輯去掉一種特定的性行為。

Miles Deep 和雅虎最近發(fā)布的 NSFW 模型（見機器之心報道《 雅虎開源首個色情圖像檢測深度學習解決方案 》）使用了類似的架構(gòu)，但不一樣的是 Miles Deep 還能夠區(qū)分裸體和多種特定的性行為之間的不同。就我所知，這是第一個公開的色情視頻分類或編輯工具。

這個程序可以說是使用 Caffe 模型進行視頻分類的一種通用框架，其使用了 C++ 的 batching 和 threading。通過替換權(quán)重、模型定義和 mean file，它可以立即被用于編輯其它類型的視頻，而不需要重新編譯。下面會介紹一個例子。

• Miles Deep 項目地址：https://github.com/ryanjay0/miles-deep

• 雅虎 NSFW 模型地址：https://github.com/yahoo/open_nsfw

安裝

Ubuntu 安裝（16.04）

依賴包（Dependencies）

sudo apt install ffmpeg libopenblas-base libhdf5-serial-dev libgoogle-glog-dev

額外的 14.04 依賴包

sudo apt install libgflags-dev

CUDA（推薦）

如果要使用 GPU，你需要 Nvidia GPU 和 CUDA 8.0 驅(qū)動。強烈推薦；可提速 10 倍以上。這可以通過軟件包安裝或直接從 NVIDIA 下載：https://developer.nvidia.com/cuda-downloads

CUDNN（可選）

這是來自 NVIDIA 的額外的驅(qū)動，可以讓 CUDA GPU 支持更快。在這里下載（需要注冊）：https://developer.nvidia.com/cudnn

下載 Miles Deep

• miles-deep (GPU + CuDNN)

• miles-deep (GPU)

• miles-deep (CPU)

也要下載這個模型。將 miles-deep 與該模型的文件夾放在同一個位置（而不是在模型文件里面）。

注：是在一個 GTX 960 4GB 上測試了一段 24.5 分鐘長的視頻

Windows 和 OSX

我目前還在開發(fā)用于 Windows 的版本。但我沒有 Mac，不過應(yīng)該只需要做一些小修改就可以在 OSX 上運行。編譯指令如下。https://github.com/ryanjay0/miles-deep#compiling

使用方法

例子：

miles-deep -t sex_back,sex_front movie.mp4

這能找到后向和前向的性愛（sex from the back or front）場景，并輸出結(jié)果到 movie.cut.avi

例子：

miles-deep -x movie.avi

這能編輯去除 movie.avi 中所有的非性愛場景，并將結(jié)果輸出到 movie.cut.avi。

例子：

miles-deep -b 16 -t cunnilingus -o /cut_movies movie.mkv

這能將批大小（batch size）減小到 16（默認為 32）。篩選出舔陰（cunnilingus）的場景，結(jié)果輸出到 /cut_movies/movie.cut.mkv

注：如果你的內(nèi)存不夠，可以減小批大小

在多種批大小情況下的 GPU VRAM 用量和運行時間：

　　

該結(jié)果是在帶有 4GB VRAM 的 Nvidia GTX 960 上測試得到的，樣本是一段 24.5 分鐘的視頻文件。當 batch_size = 32 時，處理 1 分鐘的輸入視頻大約需要 0.6 秒，也就是說每小時大約 36 秒。

除了 batching 之外，Miles Deep 還使用了 threading，這讓其可以在分類的過程中截取和處理截圖（screenshot）。

預(yù)測權(quán)重

這里是一個預(yù)測一段視頻中每一秒的例子：

　　

通過你自己的 Caffe 模型使用 Miles Deep

找貓

下面這個例子是如果通過你自己的模型（或一個預(yù)訓練的模型）使用這個程序：

MODEL_PATH=/models/bvlc_reference_caffenet/

miles-deep -t n02123045 \

-p caffe/${MODEL_PATH}/deploy.prototxt \

-m caffe/data/ilsvrc12/imagenet_mean.binaryproto \

-w caffe/${MODEL_PATH/bvlc_reference_caffenet.caffemodel \ -l caffe/data/ilsvrc12/synsets.txt \ movie.mp4

這能找到在 movie.mp4 中的所有帶有虎斑貓（tabby cat）的場景，并返回僅帶有這些部分的結(jié)果 movie.cut.mp4。

代碼中的 n02123045 是虎斑貓的類別。你可以在 caffe/data/ilsvrc12/synset_words.txt 查找這些類別的代碼。你也可以使用一個來自 model zoo 的預(yù)訓練的模型：https://github.com/BVLC/caffe/wiki/Model-Zoo

注：這個例子只是展示了其中的句法。但不知怎的，在我的經(jīng)歷中它的表現(xiàn)很差，很可能是因為分類有 1000 個。這個程序也能完美適合帶有一個「other」類別的分類數(shù)量更小的模型。

模型

該模型是一個用 pynetbuilder 創(chuàng)建的帶有殘差連接（residual connections）的卷積神經(jīng)網(wǎng)絡(luò)（CNN）。這些模型都是 ImageNet 上預(yù)訓練的。然后其最終層經(jīng)過調(diào)整以適應(yīng)新的分類數(shù)量和微調(diào)（fine-tuned）。

正如 Karpathy et al 的論文《Large-scale Video Classification with Convolutional Neural Networks》建議的那樣，我訓練了最上面 3 層的權(quán)重而不只是最頂層的，這稍微提升了一些準確度：

　　

下面使用不同的模型微調(diào)最上面 3 層所得到的結(jié)果，該結(jié)果是在 2500 張訓練圖像上測試得到的，這些圖像來自與訓練集不同的視頻。

　　

訓練損失和測試精度：

　　

在所有測試的模型中，resnet50_1by2 在運行時間、內(nèi)存和準確度上表現(xiàn)出了最佳的平衡。我認為全 resnet50 的低精度是因為過擬合（overfitting）的關(guān)系，因為它有更多的參數(shù)，也許其訓練可以按不同的方式完成。

上面的結(jié)果是通過 mirroring 而非 cropping 得到的。使用 cropping 能夠?qū)⒃?resnet50_1by2 上的結(jié)果稍微提升至 95.2%，因此它被用作了最終的模型。

使用 TensorFlow 微調(diào)（fine-tuning）Inception V3 也能實現(xiàn) 80% 的準確度。但是，這是使用 299x299 的圖像大小，而不是 224x224 的大小，也沒有 mirroring 或 cropping，所以它們的結(jié)果不能直接進行比較。這個模型可能也會有過擬合的問題。

編輯電影

給定對于每一秒的幀的預(yù)測，它會獲取這些預(yù)測的 argmax（最大值參數(shù)）并創(chuàng)建這段影片的截斷塊（cut blocks），其中的 argmax 等于目標（target），而其分數(shù)（score）也比一些閾值要大。其中的差距大小、匹配每個模塊中目標的幀的最小比例（minimum fraction）和分數(shù)閾值（score threshold）都是可以調(diào)整的。FFmpeg 支持很多編解碼器（codecs），包括 mp4、avi、flv、mkv、wmv 等等。

單幀 vs 多幀

這個模型并不使用任何時間信息，因為它分別處理每一張圖像。Karpathy et al 的論文表明其它使用多幀（multiple frames）的模型的表現(xiàn)并不會好很多。它們難以應(yīng)對相機的移動。將它們的慢融合模型（slow fusion model）與這里的結(jié)果進行比較仍然是很有趣的。

數(shù)據(jù)

其訓練數(shù)據(jù)庫包含了 36,000（和 2500 測試圖像）張圖像，分成了 6 個類別：

1. blowjob_handjob

2. cunnilingus

3. other

4. sex_back

5. sex_front

6. titfuck

這些圖像的大小都調(diào)整為了 256x256，并且?guī)в兴界R像（horizontal mirroring），并且為了數(shù)據(jù)增強（data augmentation）還隨機剪切（cropping）成了 224×224 的大小。有很多實驗沒有剪切，但這能稍微提升 resnet50_1by2 的結(jié)果。

目前來說，這個數(shù)據(jù)集還受限于兩個異性戀表演者。但鑒于這種方法的成功，我計劃擴大分類的數(shù)量。因為這些訓練很敏感，我個人并不會放出這些數(shù)據(jù)庫；而只會提供訓練出來的模型。

前向和后向性愛

這里的前向和后向性愛（sex front and back）是由相機的位置決定的，而非表演者的方向。如果女性表演者的身體面向相機，那么性器官的前面就展示了出來，這就是前向性愛（sex front）。如果女性的后面被展示了出來，就是后向性愛（sex back）。這創(chuàng)造了兩種在視覺上不同的分類。其中在性交和肛交之間不做區(qū)分；前向性愛和后向性愛可能兩者都包含。

編譯

• 克隆包含 Caffe 作為外部依賴包的 git repository

• 按步驟指令（http://caffe.berkeleyvision.org/installation.html）安裝 Caffe 依賴包以用于你的平臺。Ubuntu 指令（http://caffe.berkeleyvision.org/install_apt.html）。默認的是 OpenBlas。不要擔心編輯 Makefile.config 或使用 Caffe 的問題。在 Ubuntu 16.04 上嘗試這個，并在其上附加依賴包：

sudo apt install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler

sudo apt install --no-install-recommends libboost-all-dev

sudo apt install libopenblas-dev python-numpy

#Add symbolic links for hdf5 library#(not necessary on LinuxMint 18)cd /usr/lib/x86_64-linux-gnu

sudo ln -s libhdf5_serial.so libhdf5.so

sudo ln -s libhdf5_serial_hl.so libhdf5_hl.so

• 默認的是不帶 CuDNN 的 GPU。如果你想用其它的工具，請編輯 Makefile 和 Makefile.caffe。注釋掉和取消注釋這兩個文件中對應(yīng)的行即可。

• make

證書

代碼（包括訓練好的模型）按 GPLv3 授權(quán)。Caffe 使用的是 BSD 2 授權(quán)。

?本文由機器之心編譯， 轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán) 。

　　 ?------------------------------------------------

加入機器之心（全職記者/實習生）：hr@almosthuman.cn

投稿或?qū)で髨蟮溃篹ditor@almosthuman.cn

廣告&商務(wù)合作：bd@almosthuman.cn