Извлечение информации из данных
| English | Русский |
|---|---|
| information/ˌɪnfəˈmeɪʃn/ | интернет |
| data sets/ˈdeɪtə sets/ | наборы данных |
| patterns/ˈpætnz/ | паттерны |
| trends/trendz/ | тенденции |
| Filtering/ˈfɪltərɪŋ/ | Фильтрация |
| Cleaning/ˈkliːnɪŋ/ | Очистка |
| correlation/ˌkɒrɪˈleɪʃn/ | корреляцию |
| Causation/kɔːˈseɪʃn/ | Причинность |
| Metadata/ˌmetəˈdeɪtə/ | Метаданные |
| visualization/ˌvɪʒuːəlaɪˈzeɪʃn/ | визуализация |
| bias/ˈbaɪəs/ | предвзятость |
От сырых данных к информации
- Сырые данные сами по себе — это просто числа и текст.
- Цель — превратить их в полезную информацию — то, что отвечает на реальный вопрос.
- Программы могут сканировать огромные наборы данных гораздо быстрее человека.
- При сканировании они находят паттерны (повторяющиеся элементы) и тенденции (изменения со временем).
Превращение сырых данных в то, что отвечает на реальный вопрос, дает:
Информация — это данные, ставшие полезными — закономерности и тренды, отвечающие на вопрос.
Соотнесите каждый термин с его значением.
Программы сканируют наборы данных, чтобы найти оба этих аспекта.
Подготовка неструктурированных данных
- Реальные данные часто неструктурированы, поэтому их нужно сначала подготовить.
- Фильтрация оставляет только нужные строки и скрывает остальные.
- Очистка исправляет проблемы — удаляет дубликаты, заполняет пропуски, исправляет ошибки.
- Такая подготовка делает последующий анализ осмысленным и надежным.
Фильтрация или очистка?
Фильтрация оставляет только нужные вам строки; очистка исправляет проблемы в данных (дубликаты, пустые поля, ошибки) перед анализом.
Удаление дублирующихся строк и заполнение пропущенных значений является частью очистки данных.
Очистка устраняет проблемы, чтобы анализ можно было доверять.
Корреляция не означает причинно-следственную связь
- Корреляция означает, что две вещи изменяются вместе (продажи мороженого и солнечные ожоги растут летом).
- Причинно-следственная связь означает, что одно событие действительно вызывает другое.
- Корреляция не доказывает причинно-следственную связь.
Не путайте эти понятия. Мороженое не вызывает солнечные ожоги — жаркая солнечная погода вызывает оба явления. Две вещи, растущие вместе, могут иметь скрытую общую причину, поэтому одна лишь корреляция никогда не доказывает, что одно вызывает другое.
Продажа мороженого и солнечные ожоги растут летом. Это показывает:
Жаркая погода вызывает оба явления — общий источник, а не причинно-следственная связь между ними.
"Данные о данных", такие как дата и местоположение фото, называются ______.
Метаданные помогают организовывать, искать и находить информацию.
Опрос только людей, скачавших приложение, о том, насколько оно популярно, вводит:
Метод сбора искажает результат — смещенная выборка.
Метаданные, визуализация и предвзятость
- Метаданные — это «данные о данных»: дата снимка, камера и местоположение. Они помогают организовывать и искать информацию.
- Визуализация превращает данные в изображение (диаграмму или график), чтобы паттерн был очевиден с первого взгляда.
- Всегда спрашивайте, как были собраны данные: предвзятость — это перекос, который толкает выводы в одну сторону.
Предвзятое опрос. Компания спрашивает: «Популярен ли наше приложение?», но опрашивает только тех, кто его уже скачал. Почти все отвечают «да», но неудовлетворенные пользователи никогда не участвовали в опросе, поэтому позитивный результат вводит в заблуждение.
Программы превращают сырые наборы данных в информацию, находя паттерны и тенденции. Подготовьте данные с помощью фильтрации (оставить релевантные строки) и очистки (исправить проблемы). Остерегайтесь: корреляция никогда не доказывает причинно-следственную связь, а предвзятость в сборе данных может ввести в заблуждение. Метаданные и визуализация помогают организовать данные и выявить инсайты.