Analyse sozialer Netzwerke in Echtzeit

Das Internetzeitalter und die Verbreitung sozialer Netzwerke haben die Geisteswissenschaften grundlegend verändert. Früher mussten Forscher und Analysten Datenerfassungsprozesse sorgfältig entwerfen, jetzt teilen die Menschen ihre Gedanken und Bedenken täglich (oder stündlich) mit. Beispielsweise kann der Einzelhandel dadurch sofort Feedback zu neuen Produkten erhalten.

Die häufige Frequenz der Posts macht die Datenerfassung und -analyse jedoch äußerst schwierig. Darüber hinaus kann das Datenvolumen aus den sozialen Netzwerken die Kapazität interner Datenverarbeitungssysteme überschreiten.

In diesem Anwendungsfall werden Datenpipelines entwickelt, um die Daten mithilfe der Cloud Pub / Sub-, Cloud Dataflow- und BigQuery-Dienste der Google Cloud Platform zu sammeln, zu verarbeiten und zu speichern. Die Lösung ermöglicht eine effektive und ganzheitliche Datenerfassung und einen Schutz vor Datenverlust, was das Vertrauen in die Datenanalyse erhöht. Darüber hinaus werden die für ein solches System erforderlichen Investitions- und Betriebskosten durch die Verwendung von Infrastruktur und Diensten, die von Google Cloud verwaltet werden, drastisch reduziert. Mithilfe der API für natürliche Sprache der Google Cloud (Cloud Natural Language API) in den Pipelines können Sie außerdem die Texte der erfassten Inhalte im laufenden Betrieb analysieren und die Ergebnisse der Analyse (z. B. Stimmungsanalyse) zusammen mit den erfassten Daten in BigQuery laden.

Diese Lösung wurde als praktischer Workshop am IWR (Interdisciplinary Center for Scientific Computing) der Universität Heidelberg vorgestellt.