Scraping (парсинг) текстов статей с Bloomberg на Python в Google Colab
Важный момент для аналитиков данных — где взять данные и максимально дешево, поскольку для обучения нейронных сетей их нужно много. Те, кто эти данные имеет, копит и улучшает расположены к тому, чтобы продать их подороже. При анализе данных нет уверенности, … Читать далее
Named-Entity Recognition (NER) анализ текстов на Keras
Named-Entity Recognition (NER) довольно коряво переводится на русский как распознавание именованных сущностей. Рассмотрим пример обработки текста размеченного фрилансерами для решения задачи NER. В статье будут использоваться информация полученная на лекциях в курсе «Углубленный курс по текстам (Natural Language Processing)», читаемых … Читать далее
Gensim Word2Vec при multi-label classification и sentiment analysis
В предыдущей статье я подробно рассмотрел как выглядит внутреннее устройство embedding. Там же рассмотрен один из способов использования Gensim embedding word2vec. В этой статье рассмотрю второй способ встраивания слоя embedding в нейронную сеть. Embedding, помимо уменьшения требований к памяти, ценен … Читать далее
Парсинг финансовой информации с Yahoo Finance
Для анализа финансовых данных необходимо их получить. Near realtime данные проще забирать с Yahoo Finance, нежели с Bloomberg. Видимо из-за новостной ориентации Bloomberg защита от web scraping значительно серьезнее. Если неосторожно забирать данные, то легко получить страницу с запросом captcha. … Читать далее
Разметка текста для multi-label classification нейронной сетью
Для тренировки нейронной сети нужен размеченный текст. Нередко разметку текста производят фрилансеры. Файл для разметки может быть подготовлен разными способами. Один из таких вариантов — разметка непосредственно в Word. Например, есть отзывы о продукте, которые нужно разметить силами фрилансеров. Отзывы … Читать далее
Анализ текстов нейронными сетями. Bag Of Words vs. Embedding.
Анализ текстовой информации — весьма полезный инструмент. Я ранее публиковал уже статьи на тему анализа текстов. Например, анализ авторства текста, генеративные сети с условием (в этих GAN-ах использовался слой embedding), чатботы и пр. Пора систематизировать способы представления текстов в числовой … Читать далее
Как работает реккурентная нейронная (RNN) сети при анализе текстов
Эта статья — конспект лекции Константина Слепова, читаемой в «Университете искуственного интеллекта» в курсе «Углубленный курс по текстам (Natural Language Processing)». Предположим есть задача последовательного предсказания букв некоторой последовательности. Например, мы хотим получить модель в которой по трем буквам происходит … Читать далее
