Lifehack-и при работе с Google Colab

Как закачать файл на colab?

При работе в Notepad Google Colab нередковозникает необходимость подгрузки DataSet-ов.

Самый простой вариант — подгружать вручную с помощью

from google.colab import files
files.upload()

Но при дисконнекте придется подгружать dataset вручную. Это неудобно. Можно использовать подгрузку файлов с Google Drive, но в этом случае при каждом дисконнекте придется вводить авторизационный код, что также отнимает время.

На мой взгляд проще выложить dataset на http/ftp с публичным доступом, или с паролем и забирать файл wget-ом. Например, для тренировки сети необходмо скачивать файл «cars_new.zip» запакованный zip. Код следующий:

URL = ".../COLAB/"
filename = "Writers_texts.zip"
fullpath = URL + filename
print(fullpath)

#!rm $filename #Если нужно удалить файл для получения новой версии

c = !ls filename
if len(c) > 0:
  if (filename in c[0]) and not("No such file" in c[0]):
    print("File \"", filename, "\" has already downloaded.")
  else:
    !wget $fullpath
!ls

!unzip $filename

Чуть более расширенный вариант, если хочется положить файлы в отдельные папки

!apt install unzip #Установить unzip (на colab уже есть)
!mkdir file_destination
!unzip file_location -d file_destination