Skip to content

Imagenet(for image classification, 2012) 데이터 셋 다운로드 및 정리 방법 정리

Notifications You must be signed in to change notification settings

developer0hye/Setup-for-Imagenet

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

31 Commits
 
 
 
 
 
 

Repository files navigation

설치

이미지넷 분류 데이터셋(ILSVRC 2012) 설치 방법으로는 크게 두 가지 방법이 있습니다.

각 방법에는 설치 속도에 차이가 있으므로 환경에 따라 적합한 방법을 택해서 진행하시길 바라며 데이터 셋의 용량이 100GB 에 달하다 보니 시간이 오래 걸릴 수 있습니다.

첫 째, 공식 홈페이지 에서 설치할 수 있습니다.

default

Test set 은 LSVRC 2012 대회가 열렸을 당시에 대회에 제출된 모델에 대한 성능 평가를 위한 데이터셋으로 이에 대한 Label 을 따로 공개하지 않기 때문에 Test set 에 대한 성능 평가를 할 수 없습니다. 따라서 Test set 은 다운로드 받지 않아도 됩니다.

이러한 이유로 이미지넷 분류 데이터셋을 이용한 많은 CNN(Convolutional Neural Network) 연구들이 Validation set 을 통해 성능 평가를 하는 것을 확인할 수 있습니다.

VGG

vgg2

RESNET

resnet2_down_2

DENSENET

densenet2_down_2

둘 째, 토렌트 를 이용해서 설치할 수 있습니다.

default

체크를 한뒤 Download 버튼을 누르면 설치가 진행됩니다.

1

2

데이터 정리

모든 설치가 완료되면 아래의 파일들이 설치됨을 확인할 수 있습니다.

files

이 후, 각 파일의 압축을 해제합니다.

Training set 의 경우 압축 파일 내부에 물체 종류 별로 압축 파일이 추가적으로 존재합니다. 이 파일들 또한 압축을 해제하도록 합니다.

train_files

모든 파일에 대해 압축을 해제하고 나면 데이터 셋은 다음과 같은 경로로 구성됩니다.

../
  ILSVRC2012_img_train/
    n01440764/
      n01440764_18.JPEG ... n01440764_32420.JPEG
    .
    .
    .
    n15075141/
      n15075141_27.JPEG ... n15075141_53286.JPEG
      
  ILSVRC2012_img_val/
    ILSVRC2012_img_val_00000001.JPEG ... ILSVRC2012_img_val_00050000.JPEG

Validation set 정리

Training set은 이미지에 대해 폴더 별로 Label 이 정리 되어있는 반면, Validation set의 경우 이미지에 대한 Label 이 분류되어 있지 않음을 확인할 수 있습니다.

Training set 예시

training set inside

Validation set 예시

validation set inside

추후에 이를 이용할 때, 처리가 용이하도록 Validation set 또한 Training set 과 동일하게 이미지에 대해 폴더 별로 분류를 시켜주도록 하겠습니다.

분류 방법은 아래와 같습니다.

  1. 본 repository 에 업로드 된 Imagenet_val_setup.sh 을 설치합니다.

  2. Imagenet_val_setup.sh 를 ILSVRC2012_img_val 폴더 내부로 이동시킵니다.

파일 경로 예시

../
  ILSVRC2012_img_val/
    ILSVRC2012_img_val_00000001.JPEG ... ILSVRC2012_img_val_00050000.JPEG
    Imagenet_val_setup.sh
  1. Imagenet_val_setup.sh 를 더블 클릭하여 실행 혹은 cmd 창에서 실행시켜줍니다.

sh run1

sh run2

  1. 정리가 완료될 때 까지 기다립니다. 생각보다 시간이 오래 소요됩니다. 느긋히 기다리며 다른 일을 하시면 됩니다.

  2. Validation set 또한 각 이미지에 대하여 폴더 별로 분류가 되었음을 확인할 수 있습니다.

val_after_cleanining

About

Imagenet(for image classification, 2012) 데이터 셋 다운로드 및 정리 방법 정리

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages