main.py 수행중 11시간후 Killed 문제

[merliongolden]

Title

• main.py 수행중 11시간후 Killed 문제

Description

python ./bin/main.py model=ds2 train=ds2_train train.dataset_path=$DATASET_PATH

1. 위 명령어 수행시 i5 desk top은 8시간만에 Killed
   재수행시 동일 시간대 Killed됩니다.
2. i7 Surface Pro 8 11세대에서 실행시 11시간에서 Killed
   Docker run -it DeepSpeech2Korean bash
   실행후
   cd /home/user/kospeech
   위에서 실행한 python ./bin/main.py … 실행
   0 Epoch started 후
   380/38750 단계에서
   Killed
   [커서]
   이렇게 나옵니다. 혹시 메모리 부족 으로 보여 재실행중입니다. Desktop & Surface Pro 8
   메모리채크시# free 체크
   메모리 8GB
   스왑 1GB
   여기서 Killed 된듯하여 다시 실행했어요
   C:> docker run —memory=32g —memory-swap=-1 -it Deepspeech:latest bash
   cd /home/user/kospeech
   python ./bin/main.py … &
   free 체크 해봐도 메모리 스왑은 그대론데 용량증가는 실행하면서 늘리나 생각하며 살행상태 확인중이며 내일 사무실에서 재확인예정입니다.
   한 2주 데이터셋만들고 PCM->wav 변환
   train 96%, test 2%, val 2% 스크립트 사용이동 랜덤함수
   transcript.txt, ai_all_vocab.csv? 등을만들고
   prerequisite shell 돌리니(main.py) 자꾸 killed 되네요
   혹시나 해서 서버 구입중입니다
   i9-12세대 32GB DDR5, 1TB SSD OS용, RTX3080TI
   쉽지 않네요 데이터 처리는 엄청시간들어가고요
   항상감사합니다
   보통 1 Epoch 당 14시간소요라는데 70번 반복 Train 학습으로 되어 거의 40일 걸리던데 맞는지요?
   aihub.or.kr에 AI 컴퓨팅하려니 5월에나 신청가능예상, didim365는 연락중이먀 구글 CoLab 컴퓨팅도 검토 중입니다.
   영어로 올려야 하면 다시 올리겠습니다 감사합니다

Linked Issues

• resolved #

[merlionfish]

%UsersProfile%.wslconfig파일에서 Memory 8GB를 16GB로 늘리니 잘되기는 합니다. 시간이 엄청오래 걸리네요.
아래와 같이 설정을 했는데도 docker 실행해서 보면 8GB mem, 2GB swap mem에서 16GB mem, 4GB swap mem로 늘어남
swap mem -1은 무제한의미
config/train/ds2_train.yaml에서
use_cuda: true -> use_cuda: false로 수정(NVIDIA RTX 3080 Ti 구매후 수정해서 결과확인 예정), 현재는 i5 UHD Graphics 630)
save_result_every: 1000 -> 10
checkpoint_every: 5000 -> 300
resume: false -> 두개의 장치에서 시험하고 있기 때문에 Surface Pro 8은 5시간 또는 11시간 실행중 Killed, resume: true로 수정, 기존 checkpoint.py에 버그가 있는듯 해서 수정함
kospeech/checkpoint/checkpoint.py 파일에서 수정후 resume: true시 정상동작 확인함. Surface Pro 8에서 리줌 잘됨.
금일 i9-12세대, 64GB, ASUS, 1TB SSD, RTX 3080 Ti에서 데이터셋 트레이닝시 얼마나 걸리는지 올리겠습니다.
동시에 디딤365서버사용(Tesla V100 그래픽카드 4장) 얼마걸리는지도 시험해보겠습니다. 가능하면요.
STT -> TTS 시간이 무척 많이 들어가네요.

[중략]
def get_latest_checkpoint(self):
"""
returns the path to the last saved checkpoint's subdirectory.
Precondition: at least one checkpoint has been made (i.e., latest checkpoint subdirectory exists).
"""
checkpoints_path = sorted(os.listdir(self.LOAD_PATH), reverse=True)[0]
sorted_listdir = sorted(os.listdir(os.path.join(self.LOAD_PATH, checkpoints_path)), reverse=True)
print("sorted_listdir[0]= ", sorted_listdir[0])
print("sorted_listdir[1]= ", sorted_listdir[1])
# print("sorted_listdir[2]= ", sorted_listdir[2])
checkpoints_path = os.path.join(checkpoints_path, sorted_listdir[1])
print("checkpoints_path: ", checkpoints_path)
checkpoints_path = os.path.join(self.LOAD_PATH, checkpoints_path)
print("Checkpoints_path: ", checkpoints_path)
return checkpoints_path

C:\Users\username>type .wslconfig
[wsl2]
memory=32GB
swap=-1