Архивы автора: Andrey Fedorov

Схемы развода на eBay

В статье по схемам развода на Avito я описал несколько используемых мошенниками вариантов. Настал черед сравнить какая ситуация с eBay. Развод eBay + PayPal Кейс у меня был такой. Я купил на eBay б/у материнскую плату к моему ноутбуку Dell … Читать далее →

Рубрика: О жизни | Метки: , , , , | Оставить комментарий

Seq2Seq модель для построения чатбота на Keras

В предыдущей статье я подробно разобрал учебный пример использования seq2seq модели для разработки чатбота. В этой реализации seq2seq используется преобразование обучающей последовательности подаваемой на выход декодера модели в One Hot Encoding. Поскольку на выходе получается гигантская разреженная матрица, то она … Читать далее →

Рубрика: IT рецепты, Нейронные сети | Метки: , , , , , | Оставить комментарий

Scraping (парсинг) сайта HistData.com на Python c Google Colab

В прошлой статье я довольно подробно разобрал пример парсинга поисковых запросов Google и статей Bloomberg. Для обучения нейронок данных нужно много. 🙂 В этой статье рассмотрю как выполнить парсинг слегка защищенных сайтов, вроде histdata.com Попиарю этот ресурс — он очень … Читать далее →

Рубрика: IT рецепты | Метки: | Оставить комментарий

Scraping (парсинг) текстов статей с Bloomberg на Python в Google Colab

Важный момент для аналитиков данных — где взять данные и максимально дешево, поскольку для обучения нейронных сетей их нужно много. Те, кто эти данные имеет, копит и улучшает расположены к тому, чтобы продать их подороже. При анализе данных нет уверенности, … Читать далее →

Рубрика: IT рецепты | Оставить комментарий

Named-Entity Recognition (NER) анализ текстов на Keras

Named-Entity Recognition (NER) довольно коряво переводится на русский как распознавание именованных сущностей. Рассмотрим пример обработки текста размеченного фрилансерами для решения задачи NER. В статье будут использоваться информация полученная на лекциях в курсе «Углубленный курс по текстам (Natural Language Processing)», читаемых … Читать далее →

Рубрика: IT рецепты | Оставить комментарий

Gensim Word2Vec при multi-label classification и sentiment analysis

В предыдущей статье я подробно рассмотрел как выглядит внутреннее устройство embedding. Там же рассмотрен один из способов использования Gensim embedding word2vec. В этой статье рассмотрю второй способ встраивания слоя embedding в нейронную сеть. Embedding, помимо уменьшения требований к памяти, ценен … Читать далее →

Рубрика: IT рецепты | Оставить комментарий

Парсинг финансовой информации с Yahoo Finance

Для анализа финансовых данных необходимо их получить. Near realtime данные проще забирать с Yahoo Finance, нежели с Bloomberg. Видимо из-за новостной ориентации Bloomberg защита от web scraping значительно серьезнее. Если неосторожно забирать данные, то легко получить страницу с запросом captcha. … Читать далее →

Рубрика: IT рецепты | Метки: , , , , , , | Оставить комментарий