https:/.../hd.mp4

Сейчас мы поработаем с различными функциями для Gephi. И сначала обсудим лабораторию данных. И панели, что вообще у нас здесь есть.

В верхнем углу левом вы видите три вкладки: это обработка, лаборатория данных и просмотр. Начнём с лаборатории данных, в которой находится

в общем-то наш dataset. Чуть ниже вкладок вы видите вкладку "Узлы" и "Рёбра", щёлкните по ним и обратите внимание на разницу между этими вкладками.

Мы импортировали таблицу смежности, в общем-то таблицу рёбер, Gephi также автоматически создаст таблицу узлов. И ID и Label здесь совсем не отличаются.

Эта таблица содержит всех героев, которых мы адаптировали в таблице рёбер. Затем взгляните на таблицу рёбер. Здесь снова можно увидеть "Источник" и "Цель".

Gephi автоматически создал таблицу "Тип" и "Идентификатор". Также мы видим столбец "Вес", который показывает как часто

те или иные герои встречались в разных выпусках. Ну что ж, давайте перейдём на панель обработки данных. В нашем верхнем левом углу это основное рабочее

пространство, как я уже сказал, для визуализации нашей сети. Давайте разберём различные панели на этой вкладке, чтобы понять что делает каждая из них.

Appearance - внешний вид, здесь вы можете определить цвет и размер узлов, рёбер и меток. Внешний вид разделён на две вкладки: узлы и рёбра (nodes and edges).

На этих вкладках есть ещё три вкладки: уникальные, разделённые и рейтинг. Схема. Здесь вы определите алгоритм, в общем-то слой, укладка.

Везде он называется почему-то по-разному, который вы будете использовать в сети, который придаст её форму. График - здесь отображается ваша сеть.

Сейчас это чёрный квадрат. Но это изменится, не беспокойтесь. Кроме того, левая и нижняя строка меню позволяет вам вносить изменения в визуализацию.

Удерживая правую кнопку мыши перетаскиваем мышь, чтобы перемещаться по графику. Увеличение можно выполнить с помощью колеса прокрутки.

Если график теряется в пустоте, используйте значок зеркала в левом нижнем углу, точнее значок лупы. И он отцентрирует всё по вашему графику.

Контекст. Здесь отображается количество рёбер и количество узлов, которые есть в вашем графе. Пока они показаны все, но это можно

регулировать с помощью фильтров, о которых я расскажу чуть позже. Фильтры и статистика. Вы можете использовать фильтры для фильтрации

определённых узлов, рёбер или атрибутов в установке различных параметров для этих фильтров. На вкладке статистики вы можете

применить алгоритм для анализа набора данных. И запросы. Здесь отображаются использованные фильтры. И здесь кроме того вы можете настроить

все фильтры и применить их к визуализации. Что ж, давайте приступим к визуализации и изучению набора наших данных. Начнём с применения

алгоритма компоновки ForceAtlas к набору данных. Его можно выбрать здесь. Дальше вы нажимаете пуск. И он запускается.

В правом нижнем углу вы можете видеть, что алгоритм работает. Вот здесь вот. Через пару минут, мы дадим поработать ему около 5ти минут.

И через пару минут чёрный квадрат изменится на что-то вроде этого. Возможно у вас он будет выглядеть немного по-другому, но это вполне

возможно, т.к. у каждого Gephi работает по-своему. Поэтому важно записывать то что вы делаете. Как работает алгоритм ForceAtlas?

Алгоритм определяет положение узлов в сети относительно других узлов. Узлы с большим количеством связей располагаются ближе друг к другу.

Если связи между ними меньше, то они отталкиваются. И так у нас получается то, что вы сейчас видите на моём экране. Затем под выбором алгоритма

находится меню, в котором вы можете настроить свойства визуализации, такие как масштабирование, гравитация. Можно навести указатель мыши

на любое свойство и вы поймёте за что он отвечает. Например, мы не хотим чтобы одни узлы перекрывали другие и мы можем выбрать

запрет перекрытия, что поможет нам видеть каждый узел лучше. Как вы заметили, при импорте набора данных, данные изначально

отображаются в виде чёрного ящика. В Gephi есть невидимая рамка, в которой будут отображаться ваши данные. Это означает,

что данные также могут выходить за эти границы. Можно изменить настройки алгоритма, особенно масштаб, чтобы убедиться что график

полностью находится внутри квадрата. Чтобы никакие узлы не терялись в пустоте. Давайте оставим ForceAtlas пока запущенным и отметим поле LinLog,

которое покажет нам кластеры которые будут образовываться и разряженность можем им поставить на 3, что поможет нам лучше ориентироваться в графе.

После этого мы можем сохранить алгоритм ещё раз и перейти к статистикам, внешнему виду и фильтрам.

Отлично. Мы получили что-то вроде большого квадрата. И можем обратиться к статистикам. Вы можете видеть, что на визуализации уже есть несколько

кластеров, например здесь, здесь, здесь. И теперь можем перейти к статистикам. Вы сразу получите отчёт о степени с результатами.

Вы можете закрыть этот отчёт или сохранить его на свой компьютер. Обратите внимание, что на вкладке узла в лаборатории данных,

если мы зайдём убавляется как раз таки столбец "суммарная мощность", который мы только что рассчитали. Ну что же, давайте перейдём обратно в обработку

и кое-что посмотрим. Мы заходим в "внешний вид", "узлы" -> "вид" и мы можем выбрать атрибут, по которому мы хотим ранжировать.

В нашем случае есть "Degree" и "Суммарная мощность". И мы можем выбрать как раз минимальный размер, который мы хотим, пусть он будет 20.

И максимальный размер, который мы хотим, пусть 500. Дальше нажмём "применить". И некоторые узлы станут более явными. Что нам это даёт?

Допустим, нас интересуют наиболее известные герои в этой вселенной и мы хотим выделить их на диаграмме. Благодаря внешности и ранжированию

мы можем выбрать размер, изменить параметр по которому будут изменяться узлы и применить это к графику. Некоторые узлы, как мы заметили,

стали больше, потому что это узлы с наименьшей степенью и следовательно наиболее популярные герои. График всё ещё немного запутан,

мы можем повысить читаемость, применив фильтр. На правой панели перейдите в "фильтры", найдите "атрибуты", "диапазон". И здесь должна быть

суммарная мощность, которую можно перетащить в фильтр. Здесь у нас теперь мы видим, что есть диапазон, от 0 идёт до 1905.

И здесь например можно написать 30, чтобы все узлы в которых степень меньше 30ти не отображались. Выбрали 30. Нажимаем "отфильтровать".

И если посмотреть, то график стал немного прозрачнее. И здесь в контексте можем посмотреть, что мы видим только 37% всех узлов и 72% всех рёбер.

Важно что понимать, что фильтры полезны для обеспечения удобочитаемости, визуализации или фильтрации любых данных, которые вам не интересны.

И для более внимательного изучения интересующих вас данных. С помощью фильтра вы можете определить информацию, которую вы хотите

представить визуализации. Кроме того, Gephi позволяет применять отфильтрированный контент к новому рабочему пространству, выбирая второй значок

прямо под вкладкой. Затем снова давайте запустим ForceAtlas и посмотрим, что произойдёт. Смысл в том, что можно вносить изменения в граф

даже во время работы алгоритма. Что интересно, при выделении графа в рабочем пространстве также выделяются все узлы, с которыми он связан.

В нашем случае можно предположить, что этот узел связан почти со всеми другими узлами. Чтобы увидеть, кого представляет узел, мы можем добавить имена.

И также отобразить степень на экране графика. Можно щёлкнуть стрелку на правом нижнем углу, выбрать Label. Настроить что мы хотим отображать.

Мы хотим отображать label и суммарную мощность, степень. Сейчас лучше остановить. И мы можем нажать "текст". Текстом, ну как вы можете видеть,

что вроде бы ничего не появилось. Поэтому нам нужно поработать с размером текста. Отлично. Мы уже что-то увидели. И теперь с цветом.

Посмотрим что получится. Отлично. Что-то мы увидели. Но теперь это какой-то бардак и как раз таки мы можем поработать с функцией "Спрятать невыделенное",

которая уберёт всё что нам не нужно. И когда мы будем кого-то выделять одного, мы сможем увидеть кто это и степень узла.

Самый большой узел у нас представлен пока Капитаном Америка. А если мы хотим узнать больше, то мы можем напрямую обратиться

к лаборатории данных, мы нажали "выбрать" и мы видим всю информацию о нём. Кроме того, мы можем извлекать кластеры в нашей сети,

для этого Gephi реализует алгоритм обнаружения сообществ. Для измерения модулярности перейдите к статистике в правом верхнем углу,

как мы уже говорили. И здесь должна быть модулярность или modularity, если вы используете Gephi на английском. Запуск. Рандомизировать.

Использовать веса. Нажимаем ОК. Здесь мы можем увидеть, что у нас появилось 12 сообществ всего. Можно закрыть отчёт. Или сохранить, если вы хотите.

Дальше мы можем перейти во вкладку "внешний вид". Выбрать цвет. Выбрать разделение. И выбрать модулярность.

Если вас не устраивают цвета, то в Gephi есть встроенный генератор цветов, пресеты можно не менять. Нажмём на кнопку "generate" и он создаст для вас новые цвета.

Дальше нажать ОК и применить. Что мы можем увидеть на этом графе? Во-первых, наша визуализация стала более красочной. И давайте обсудим,

что же такое модулярность. С помощью модулярности вы можете находить сообщества в сети и измерять их силу. Высокая модулярность

означает, что группы узлов прочно связаны, создавая плотное сообщество, в котором герои в основном взаимодействуют только друг с другом,

а не с другими героями. И сообществами в этой сети, которая у нас получилась. Сообщества с низкой модулярностью менее плотные

и больше взаимодействуют с другими сообществами. Gephi реализует алгоритм. Давайте немного поговорим о числах, которые у нас находятся слева и справа.

Левое число - это случайное число, присвоенное сообществом, по сути это число мало что говорит. Однако правый процент важнее, например

класс модулярности 3 имеет процент 21. Таким образом, это сообщество довольно большое. И например класс модулярности 5 имеет всего 5%.

Что в общем-то уже в сравнении не так много. В таком сценарии, когда вы запускаете модулярность на фильтрованном графе, Gephi

будет вычислять модулярность фильтрованного графа, а не всей исходной сети. Мы раскрасили 8 крупнейших сообществ. Остальные сообщества

окрашены в серый цвет. Как вы можете заметить, их всего осталось 4. Во-первых, остановим ForceAtlas. Теперь главное сохранить свой проект,

потому что если что-то пойдёт не так и визуализация вам не понравится, мы всё равно сможем вернуться к нашему старому сохранению.

Советую вам всегда сохранить несколько файлов, чтобы вы сохраняли разный этап процесса. Грани в этой визуализации и рёбра довольно маленькие.

Поэтому можем сделать их чуть-чуть пошире. Используя этот ползунок, вы можете делать рёбра шире или уже. Так как мы дошли до границ квадрата,

который был виден нам до этого, я предлагаю вам уменьшить разряженность. Если у вас она была 1, то так и оставьте. У меня она была 3,

поэтому мой граф пришёл ко всем границам и теперь мне приходится это исправлять. Мой граф выглядит примерно так. Ваш может выглядеть по-другому.

И что из этого можно извлечь? Gephi - это инструмент, позволяющий исследовать сети в нашем наборе данных различными способами.

Сейчас мы используем одно рабочее пространство, мы можем создать другие, чтобы рассмотреть его поближе. Зайдите в "фильтры" и нажмите на этот значок.

И у нас появляется вторая рабочая область. Точно с таким же графиком. Если вы хотите поэкспериментировать с разными фильтрами,

всегда рекомендуется делать это в новом рабочем пространстве. Если вы отключите фильтры в нашей первой исходной рабочей области,

все узлы снова станут видимыми. К примеру вот так. Их стало даже больше. Давайте запустим ещё одну статистику в нашем новом рабочем пространстве,

которая называется "диаметры графа" или Network Diameter. Выберите ненаправленный. Запуск. И нормировать результаты.

Это займёт какое-то время, потому что граф у нас большой. В нём 2000 узлов, и рёбер ещё 120 тысяч, поэтому нам придётся немного подождать.

Вы можете видеть процесс расчёта вот здесь. Что мы в итоге получим? Во-первых, эта статистика будет добавлена в лабораторию данных

и она измеряет 3 вещи: это центральность по посредничеству, центральность по близости и центральность по эксцентричности.

Что они все значат? Центральность по посредничеству - это измерение, основанное на количестве кратчайших путей между двумя узлами.

Это показатель центральности или важности узла в сети. Высокое значение предполагает, что узел соединяет части сетей вместе.

Меньшее значение означает, что узлы не являются центральными в сети. Центральность по близости, эта мера указывает

на близость узла к другим узлам. Более высокое значение означает, что среднее расстояние от узла до других узлов сети больше.

Меньшее значение означает, что среднее расстояние короче. Это может быть индикатором скорости, с которой информация течёт по сети.

И центральность по эксцентричности - эта мера подразумевает расстояние от узла до самого дальнего от него узла.

Высокое значение означает, что это расстояние большое. Низкое значение означает, что расстояние небольшое. Что мы можем сделать

с этими измерениями? Чтобы увидеть какие узлы являются центральными в этой сети, мы можем ранжировать узлы по размерам.

Для этого перейдите в Appearance, выберите Nodes. Изменение по размеру. Ranking. И вместо Degree можно выбрать центральность по посредничеству

или Betweenness Centrality. И также оставить минимальный размер 20, максимальный размер - 500. Нажать "применить".

Центральные узлы в нашей сети теперь стали больше. Вместо того чтобы придать размеры узлов в соответствии с их степенью,

они теперь имеют размер в соответствии с центральностью по посредничеству. Давайте запустим алгоритм ForceAtlas ещё раз, только не забудьте

выбрать LinLog режим. И можно запускать. Давайте поговорим про диаметры сети, которые также вычисляются вместе с тремя метриками

центральности, о которых мы говорили до этого. Эта статистика измеряет длину самого длинного пути между двумя узлами в сети.

В данном случае диаметр у нас равен четырём. Давайте поговорим про то что у нас получилось. Установим алгоритм. И посмотрим на те узлы,

которые у нас являются самыми большими, так как это новое рабочее пространство, то у нас все настройки немного сбились. Мы можем вернуться

в это меню. Выбрать Label. Настроить. Также можно выбрать суммарную мощность. Не забыть выбрать шрифт побольше. Выбрать узел.

Скрыть невыделенное. И посмотреть кто это такой. Всё ещё Капитан Америка, скорее всего потому что он считается одним из самых первых героев.

Здесь есть Тор. И это Человек-паук. Теперь что можно сделать для подготовки нашего графика к экспорту? Мы можем нажать просмотр.

Здесь у меня уже открыт график. Вы можете нажать кнопку "обновить". И теперь у нас будет первая версия для работы. В настройках мы можем

регулировать то что мы хотим видеть на визуализации или что не хотим. Например, мы можем выбрать пункт "отобразить рёбра кривыми".

И нажать "обновить", чтобы увидеть как меняет график этот параметр. Но самое важное, чтобы вы пытались настроить его так,

чтобы вы могли передавать информацию о наборе данных. Таким образом нужно подумать о том что мы хотим рассказать этой визуализацией и на чём нам надо сделать акцент.