Архив рубрики: IT рецепты

Cкачивание данных с сайтов защищенных от роботов (Python)

Для построения моделей в нейронных сетях нужны большие объемы данных. Нередко они тщательно охраняются владельцами и просто так их не получить. Когда данные нужны в коммерческих целях — можно и заплатить. Но если они нужны для решения образовательных задач, то … Читать далее

Рубрика: IT рецепты | Оставить комментарий

Custom callback в Keras

Наиболее «красивый» вариант реализации Callback-а для Keras через наследование от класса keras.callbacks.Callback. В этом случае не нужно создавать глобальные переменные для сохранения расчета на предыдущих этапах, поскольку объект этого класса инициализируется однократно при запуске model.fit и в дальнейшем не удаляется. … Читать далее

Рубрика: IT рецепты | Оставить комментарий

Решение задачи регрессии полносвязной нейронной сетью

«Перевариваю» лекцию Дмитрием Романовым по регрессии из курса «Нейронные сети на Python» читаемого в «Университете искуственного интеллекта«. Задача прогнозирования данных по известным цифровым рядам решалась с помощью различных методов регрессионного анализа. Чтобы сделать качественный прогноз приходилось использовать различные варианты уравнений регрессии, … Читать далее

Рубрика: IT рецепты, IT решения для бизнеса | Оставить комментарий

Удаленное управление домофонами

В некоторых случаях нужно открывать домофон без ключа, удаленно. Например, в случае, когда сдаешь квартиру и нужно впустить гостей в подъезд находясь в другой месте. К сожалению, варианты передачи жетона от домофона ненадежны и требуют время. Например, у меня несколько … Читать далее

Рубрика: IT рецепты | Оставить комментарий

Тренировка нейронной сети на ноутбуке с eGPU

Многим разработчикам комфортнее работать на ноутбуках, которые нередко обладат достаточно слабыми GPU, а тренировка нейронных сетей быстрее всего идет на многоядерных графических картах. Как разрешить это противоречие? Можно использовать два варианта: Облачные сервера с GPU. Из наиболее распространенных бесплатных: Google … Читать далее

Рубрика: IT рецепты, IT решения для бизнеса | Оставить комментарий

Анализ авторства текста полносвязной нейронной сетью в Keras

Рассмотрим как в простейшем случае решается задача определения автора текста. Дано: тексты 6+1 авторов в *.txt, кодировка UTF8. Разделены на обучающую и проверочную выборку, т.е. на каждого автора по 2 текста. +1 — два текста Марининой идут в отдельном архиве. … Читать далее

Рубрика: IT рецепты, IT решения для бизнеса | Оставить комментарий

Lifehack-и при работе с Google Colab

Как закачать файл на colab? При работе в Notepad Google Colab нередковозникает необходимость подгрузки DataSet-ов. Самый простой вариант — подгружать вручную с помощью Но при дисконнекте придется подгружать dataset вручную. Это неудобно. Можно использовать подгрузку файлов с Google Drive, но … Читать далее

Рубрика: IT рецепты | Оставить комментарий