09 Урок. Анализ данных
Анализ данных с помощью Excel
Откройте полученный файл данных в Excel. Нажмите Ctrl-O и выберите папку, содержащую файл. По умолчанию Excel не открывает файлы формата txt, тогда введите * в поле и нажмите Enter, будут показаны все файлы. Выберите файл данных и нажмите Открыть.
Это запустит мастер импорта. Нажмите Далее. На первой странице укажите форму данных "с разделителями".
На второй странице укажите, что разделителем столбцов является пробел.
Убедитесь, что в окне с примером данных все столбцы разделены вертикальными линиями, затем нажмите Далее.
Формат данных столбца должен оставаться "общий". Нажмите "Готово", данные будут записаны в лист Excel.
Очевидно, данные разделены пустыми строками. Чтобы удалить пустые строки, выберите первый столбец.
Нажмите F5, затем нажмите "Выбрать" в отображаемом окне.
Установите флажок "пустые ячейки" и нажмите ОК.
Будут выбраны все пустые ячейки из первого столбца.
Теперь удалите строки, в которых есть пустые ячейки. Нажмите.
Теперь данные готовы для анализа и построения диаграмм.
Обратите внимание! Первые строки содержат идентичные данные, потому что OrbiCraft начал вращение с задержкой в 5 секунд. Вставьте в документ диаграмму точек с плавными кривыми и нажмите кнопку выбора данных.
Нажмите кнопку добавления данных.
Не вводите название строки. Нажмите на окно "Х значения" и выберите все ячейки из первого столбца, нажав на заголовок столбца.
Затем нажмите "Y значения", удалите символы "{1}", чтобы осталась только знак равенства, а затем выберите весь второй столбец с данными, кликнув на заголовок столбца.
В окне выбора источника данных будет отображена первая строка данных.
Нажмите ОК, чтобы закрыть окно выбора данных. Поместите курсор в верхний правый угол второго столбца и перетащите его вправо, чтобы захватить все данные.
Выберите столбцы с "В" по "I".
Теперь диаграмма будет включать все данные, собранные от солнечных датчиков. Обратите внимание на "всплески" на диаграмме - это ошибки измерения.
Поставьте курсор на "всплеск" и найдите строку с ошибочными данными в таблице.
Обратите внимание, что ошибочные значения сильно отличаются от соседних значений.
Вручную измените неправильные значения, заменив их средними значениями соседних ячеек.
Диаграмма, построенная на очищенных данных, должна быть приблизительно как на приведенной ниже диаграмме:
Обратите внимание! Первые строки содержат идентичные данные, это видно из диаграммы.
Подготовка данных
Все десятичные значения в нашей таблице закреплены за левыми границами ячеек: это означает, что Excel интерпретирует их как данные текста. Конечно, в Excel для десятичных чисел используется не точка, а запятая, разделяющая целую часть от десятичной. Нам необходимо заменить все точки на запятые в нашем файле. Для этого нажмите Ctrl-H и в верхнем окне введите точку, а в нижнем окне введите запятую.
Прокрутите таблицу вниз и запомните последнее значение измеренного угла.
Удалите все данные в начале таблицы до этого угла.
Теперь данные будут начинаться и заканчиваться примерно на одном и том же угле, это значит, что OrbiCraft совершил одно вращение вокруг своей радиальной оси. Учитывая, что магнитометр измеряет углы с некоторой погрешностью, его показания не являются надежным базисом для позиционирования солнечных датчиков. Поскольку OrbiCraft во время сбора данных вращался равномерно, мы можем рассчитать точные углы. Посчитайте общее количество строк данных (в примере получилось 441 строка).
Это число может быть немного меньше или больше в зависимости от скорости вращения OrbiCraft. Поскольку круг обычно делится на 360 градусов, значение угла на каждой строке нашей таблицы должно отличаться от предыдущего значения на 360/441 = 0,816327 градуса. В верхнюю ячейку столбца К (ячейка К1) скопируйте значение угла из ячейки J1. В ячейку К2 введите эту формулу:
Дважды щелкните в правом нижнем углу ячейки К2, формула будет скопирована во все ячейки столбца К.
Теперь все значения углов должны быть нормализованы в диапазоне от -180 до 180 градусов. Найдите строку, где значение угла превышает 180 градусов, измените формулу в этой строке.
Формулы в других ячейках не должны быть изменены. Теперь все значения углов в таблице находятся в диапазоне от -180 до 180.
Для визуальной оценки ошибки магнитометра построите диаграмму по внешним правым столбцам со значениями углов.
Диаграмма четко показывает, что даже откалиброванный магнитометр ошибается в измерении углов. Теперь нам нужно удалить все избыточные данные из таблицы. Скопируйте столбец К и вставьте данные в столбец L, как значения. Теперь удалите столбцы J и K, а также первый столбец А с временем измерения. Хотя в Excel целая часть разделяется от десятичной запятой, в Python для этого используется точка. Используя функцию замены (Ctrl-H), замените все запятые на точки в файле.
Теперь перенесите все обработанные данные обратно в Notepad ++. Выделите все данные в Excel и нажмите Ctrl-C. Откройте Notepad ++, создайте новый проект и вставьте данные, используя Ctrl-V.
Вставленные данные разделены табуляциями и символами перевода строки, но нам нужно разделение по правилам языка Python - разделение запятой и пробелом. Нажмите Ctrl-H, введите \t в верхнем окне, введите запятую с пробелом в нижнем окне. Нажмите "Заменить все" или "Заменить во всех открытых документах".
Теперь мы заменим символы перевода строки аналогичным образом. Нажмите Ctrl-H, введите \r\n в верхнем окне, введите запятую с пробелом в нижнем окне. Нажмите "Заменить все" или "Заменить во всех открытых документах".
Теперь все данные перечислены в одной строке. Мы создать массив на основе этой строки. Сохраните файл данных в формате .txt.