Interdisciplinarity

Data driven sonification visualisation.

"The L-Systems, also known as Lindenmayer Systems, are a class of algorithms for the production of structures based on recursive rewriting rules. “The L-systems are widely used in the composition of graphics mainly for the production of complex forms of plants as well as the imitation of other natural forms ”(Prusinkiewicz and Lindenmayer 1990; Rozenberg and Grzegorz 1992). The technique of the L-systems is akin to other techniques such as Fractals and Generative Grammars. The L-systems have also been used to a limited extent for the production of musical structures. The proposed thesis will attempt the direct application of the L-systems onto the digital composition of sound signal. In this case, the L-systems will be used for the development of new methods of Granular Synthesis which combine features of the technique of micro montage. There was made a depth research on Phasor, Patterns, (Dseq, Pbind) , GrainBuf, Wavelet Transform techniques. The implementation of this work was done with the software SuperCollider"(form Agiomyrgianakis V.Undergraduate thesis. 2012 "ΜΙΑ ΤΕΧΝΙΚΗ ΣΥΝΘΕΣΗΣ ΗΧΟΥ ΒΑΣΙΣΜΕΝΗ ΣΤΑ L-SYSTEMS").

This is the L-system in SuperCollider with the axiom and the production rules

The code on the right panel shows the way I mapped numbers to the symbols of an L-system.

L-systems SuperCollider

<aside class="code"> L-system algorithm. </aside>

a = LSys("F", ["F" ->"F+F--/]&F+F", "F" -> "]/F+&FF+-"]);

<aside class="code"> Mapping L-system's symbols to numbers SuperCollider. </aside>

mapping - Assosiations (relate two objects) can be created via the -> operator

~ls = [
           “F” -> 1,
           “+” -> 2,
           “-“ -> 3,
           “/“ -> 5,
           “]” -> 8,
           “&” -> 13
           ];

Finally, I have used patterns in SuperCollider to manipulate the arguments of the synth.

<aside class="code"> Pbind Patterns </aside>

Pbind Pattern

 Pbind(\ls, \instrument, \synth01,
 \volume,Pseq(~ls*0.05),
 \frequency, Pseq(~ls*440)).play;

• NOA'S ENIGMA

10ο Πανελλήνιο Συνέδριο Ερασιτεχνικής Αστρονομίας

Σύνθεση ήχου σε πραγματικό χρόνο από δεδομένα περιγραφής μαγνητικών καταιγίδων.

<p><var>Β. Αγιομυργιανάκης<var><sup>1</></var> , <var>Φ.Α. Μεταλληνού<var><sup>2</></var> ,<var>Γ. Ζάννος<var><sup>1</></var></p>

1. Τμήμα Τεχνών Ήχου και Εικόνας, Ιόνιο Πανεπιστήμιο.

2. Ινστιτούτο Αστρονομίας, Αστροφυσικής, Διαστημικών Εφαρμογών και Τηλεπισκόπισης, Εθνικό Αστεροσκοπείο Αθηνών.

Περίληψη

Η μετατροπή επιστημονικών δεδομένων σε ήχο και η χρήση του ήχου ως μεθόδου κατανόησης των φυσικών φαινομένων, αλλά και διδασκαλίας των φυσικών επιστημών, αποτελεί μια μέθοδο, διαθεματική και σύγχρονη. Αποτελεί δε ένα πολύ χρήσιμο εργαλείο για την εξαγωγή και δημοσίευση πρωτότυπων αποτελεσμάτων. Στην παρούσα εργασία μετατρέπουμε σε ήχο, δεδομένα που περιγράφουν μεταβολές του γεωμαγνητικού πεδίου και ειδικότερα δεδομένα που περιγράφουν την ανάπτυξη και εξέλιξη των μαγνητικών καταιγίδων στο κοντινό μας διάστημα. Στην διαστημική φυσική, οι μαγνητικές καταιγίδες καταγράφονται από επίγεια όργανα, τα μαγνητόμετρα, τα οποία μετρούν μεταβολές του γεωμαγνητικού πεδίου. Χρησιμοποιούμε δεδομένα από τα μαγνητόμετρα του Εθνικού Αστεροσκοπείου Αθηνών τα οποία συλλέγει, διαχειρίζεται και επεξεργάζεται το ερευνητικό πρόγραμμα ENIGMA (Hellenic Geomagnetic Array). Οι μαγνητικές καταιγίδες αποτελούν φαινόμενα που σχετίζονται άμεσα με την ηλιακή δραστηριότητα. Κατά την διάρκεια μιας μαγνητικής καταιγίδας, ενέργεια που φέρεται από τον ηλιακό άνεμο εισέρχεται στο μαγνητικό πεδίο της γης προκαλώντας πλήθος φαινομένων, τα οποία μπορούν να δημιουργήσουν προβλήματα στην λειτουργία των δορυφόρων, στις εργασίες των αστροναυτών στο διάστημα και άλλες ανθρώπινες δραστηριότητες στο έδαφος. Έκφανση των μαγνητικών καταιγίδων στο οπτικό παράθυρο του ηλεκτρομαγνητικού φάσματος αποτελεί το σέλας. Η ιδέα της ηχοποίησης μαγνητοσφαιρικών φαινομένων, μοιραία συνδέεται με την ελληνική σκέψη του 6ου αι. π.Χ. όπου οι πυθαγόρειοι, φιλόσοφοι, μαθηματικοί και θεωρητικοί της μουσικής θέλησαν να συνδυάσουν την Αστρονομία με τη Μουσική αναφερόμενοι στη «αρμονία των σφαιρών». Χρησιμοποίησαν τον ήχο ως μέσο για την κατανόηση και την μελέτη φυσικών φαινομένων, με χαρακτηριστικό το παράδειγμα του Αρχύτα ο οποίος συνδύασε την περιστροφή των ουρανίων σωμάτων με συχνότητες, αντιμετωπίζοντας την αρμονία των σφαιρών ως ένα πρόβλημα φυσικής. Ο δε Πλάτωνας αναφέρει την μουσική και αστρονομία ως αδελφές επιστήμες (Πολιτεία, VII, 530d).

Μέθοδος Επεξεργασίας των Δεδομένων

Τα δεδομένα που επεξεργαζόμαστε αφορούν τις μεταβολές της έντασης του γεωμαγνητικού πεδίου, όπως αυτές καταγράφονται από επίγεια όργανα, τα μαγνητόμετρα. Χρησιμοποιούμε δεδομένα από δύο αρχεία με συνολικά 80.000 μετρήσεις ανά αρχείο. Οι μετρήσεις περιγράφουν την ένταση του μαγνητικού πεδίου στις τρείς διαστάσεις (x, y, z). Τα αριθμητικά μεγέθη των διαδοχικών μετρήσεων έντασης του μαγνητικού πεδίου στις τρεις διαστάσεις του χώρου (x-y-z) προβάλλονται διαδοχικά σαν σημεία σε έναν δυνητικό τρισδιάστατο χώρο, και συνδέονται μεταξύ τους για να δημιουργήσουν ένα σχήμα που αντιπροσωπεύει την εξέλιξη του μαγνητικού φαινομένου στον χρόνο. Συγχρόνως, τα ίδια σημεία χρησιμοποιούνται σαν είσοδος σε ένα μοντέλο υδροδυναμικής ροής που προβάλλεται σαν φόντο στην εικόνα δίνοντας μιαν εντύπωση της ροής της καταιγίδας. Για την ηχοποίηση, τα δεδομένα αποτελούν παραμέτρους εισόδου σε διαδικασίες ψηφιακής σύνθεσης ήχου, σχεδιασμένες σε σειρά πειραμάτων ώστε να ανταποδίδουν την εντύπωση της αυξομείωσης της έντασης και κατεύθυνσης του μαγνητικού πεδίου. Η έρευνα σκοπεύει στην ανάπτυξη εργαλείων για την προβολή αστροφυσικών δεδομένων σε περιβάλλον εμβύθισης τύπου δυνητικής πραγματικότητας. Η διαδικασία παραγωγής ήχου σε πραγματικό χρόνο, επιδεικνύεται ζωντανά, με κώδικα που γράφεται επί τόπου για την εξερεύνηση δυνατοτήτων του συστήματος. Για να ηχοποιήσουμε τα δεδομένα, χρησιμοποιήσαμε το SuperCollider ένα εργαλείο προγραμματισμού για τη σύνθεση ήχου. Στο SuperCollider κατασκευάσαμε έναν αλγόριθμο για να συλλέξουμε τα δεδομένα και στην συνέχεια να τα μεταφράσουμε έτσι ώστε να ελέγξουμε τις παραμέτρους του συνθετητή μας. Σε αυτήν την εργασία παρουσιάζεται η μέθοδος της χαρτογράφησης παραμέτρων (Parameter Mapping) (Kramer, Gregory 1994). Το πλαίσιο για τη χαρτογράφηση παραμέτρων μαγνητικής καταιγίδας σε ήχο περιγράφεται από την ακόλουθη διαδικασία πέντε λειτουργιών: (1) τη εισαγωγή δεδομένων απο τα αρχεία, (2) την επιλογή των στηλών προς χρήση, (3) την κατασκευή του συνθετητή, (4) την παραμετροποίηση και αποστολή των ροών στις παραμέτρους του συνθετητή, (5) απλοποίηση της διαδικασίας ηχοποίησης με τη χρήση γραφιστικών διεπαφής χρήστη-υπολογιστή απο έξυπνες συσκευές. Επιπλέον, παρουσιάζουμε τα εργαλεία μας για ηχοποίηση και καλλιτεχνική παρέμβαση για παρουσιάσεις σε πραγματικό χρόνο κάνοντας χρήση γραφιστικών διεπαφών χρήστη-υπολογιστή (GUIs). Για παράδειγμα, δημιουργήσαμε λειτουργίες και κλάσεις που ενσωματώνουν τον κώδικα και με το πρωτόκολλο επικοινωνίας Open Sound Control (OSC) καταφέραμε να ελέγχουμε τη διαδικασία ηχοποίησης μέσω έξυπνων συσκευών. Η εφαρμογή που χρησιμοποιήσαμε για έξυπνες συσκευές είναι το TouchOSC.

Συμπεράσματα

Η εργασία αυτή σκοπεύει στην ανάδειξη της ηχοποίησης ως μεθόδου ανάλυσης επιστημονικών δεδομένων και ειδικότερα δεδομένων που περιγράφουν την ανάπτυξη και εξασθένιση μαγνητικών καταιγίδων στο γεωδιάστημα. Με την κατασκευή αλγορίθμου στο SuperCollider καταφέραμε να ηχοποιήσουμε τα δεδομένα και παράλληλα να εξερευνήσουμε την αισθητική δυνατότητα της ηχοποίησης δεδομένων για παραστάσεις σε πραγματικό χρόνο. Μέσω της χρήσης γραφιστικών διεπαφών χρήστη-υπολογιστή (GUIs) διανθήσαμε την ηχοποίηση σε πραγματικό χρόνο φτιάχνοντας με την δική μας ερμηνεία, μία αφήγηση. Τα αποτελέσματα της συγκεκριμένης έρευνας στοχεύουν στη βελτίωση των παρόντων, αλλά και η ανάπτυξη νέων, τεχνικών ηχοποίησης, ενισχύοντας έτσι την διεπιστημονική συνεργασία στην διάχυση της επιστήμης. Επιπλέον, τα αποτελέσματα μπορούν να χρησιμοποιηθούν στην δημόσια κατανόηση της διαστημικής φυσικής προς το ευρύ κοινό, αλλά και στην διδασκαλία της σε ειδικές ομάδες, όπως σε άτομα με προβλήματα όρασης. Αρχικά αποτελέσματα, έχουν ήδη παρουσιαστεί στο ευρύ κοινό, με το "Storm Trio" AKOYSMATA - AVARTS Festival (Μέγαρο Μουσικής, Αθήνα 21 Μαΐου 2017), στην «Βραδιά του Ερευνητή» (Ελληνικός Κόσμος, Αθήνα 29 Σεπτέμβρη 2017), όπου ο ήχος μιας μαγνητικής καταιγίδας μας θύμισε τον άνεμο, καθώς παρουσιάζει μεταβολές στην ένταση, την συχνότητα και την χροιά.

Ευχαριστίες

Ευχαριστούμε τον Δρ. Γιώργο Μπαλάση, ερευνητή του Εθνικού Αστεροσκοπείου Αθηνών για την παροχή των δεδομένων ώστε να ηχοποιήσουμε περιόδους έντονης γεωμαγνητικής δραστηριότητας, που αντιστοιχούν σε φαινόμενα μαγνητικών καταιγίδων.

Αναφορές

Hermann, Thomas, and Helge Ritter. 1999. “Listen to Your Data: Model-Based Sonification for Data Analysis.” In Advances in Intelligent Computing and Multimedia Systems. https://pub.uni-bielefeld.de/publication/2017409.

Kramer, Gregory. 1994. Auditory Display: Sonification, Audification, And Auditory Interfaces. Edited by * EDITOR. Reading, Mass: Westview Press.

Madhyastha, Tara. and Reed, Daniel. 1994. A frame-work for sonification design. In Auditory Display, G. Kramer (ed.), Addison-Wesley.

Roads, Curtis. 2001. Microsound. Cambridge, Mass.: MIT Press.

Scaletti, Carla. 1994. Sound synthesis algorithms for auditory data representations. In Auditory Display. G. Kramer (ed.), Addison-Wesley.

Wanda L. Diaz-Merced, Robert M. Candey, NanStephen Brewster et al. 2011. Sonification of Astronomical Data. New Horizons in Time-Domain Astronomy, Proceedings IAU Symposium.

// =====================================================================
// SuperCollider Workspace
// =====================================================================
// Data driven sonification of Magnetic storm

//load data files

~files = "~/Documents/data/MagneticStorm12-15\ March2016_NOA\'s\
magnetometer/*.dat.txt".pathMatch;

//:load and collect data
	"load data".postln;
	(
~load = { | path |
	var data;
	// select only these rows which contain 7 columns exactly:
	data = CSVFileReader.read(path) select: { | row, column |
		row.size == 7;
	};
// collect 2 to 4 rows from the list and replace symbols such as "+"
	data.flop[2..4].flop collect: { | row |
		row collect: { | string |
			string.replace("+", "").interpret;
		}
	};
};
	)
//: Create Synths

"create and add synthdef 1".postln;

(
// first load the sound sample in the buffer

	~buffers = Buffer.read(s,"~/Documents/sounds/PianoSample01.wav");

// Create synthdef granulator

	SynthDef(\granulatorAn, {| gate = 1, freq = 1000, freq2
= 5000, freqblow = 10, rq = 0.25,
modfreq = 122, ind = 0.5, amp = 0.5, bufnum, envbuf, trig = 1,
dur = 0.01, rate = 1, pos = 0.3, pan = 0, vol = 0.1|

var env, modulator, source;

		modulator= SinOsc.kr(modfreq,0,10*modfreq*ind, freq);

		env = EnvGen.kr(Env.perc, gate, doneAction: 2);

source = GrainBuf.ar(2, Dust.kr(trig), dur*LFNoise1.ar(1).range(1, 3),
bufnum, BufRateScale.kr(bufnum)*(modulator/440)*rate, pos, 2,
LFNoise1.ar(pan).range(-1, 1), envbuf)*env;
source = LPF.ar(source, freq2);
Out.ar(0, source*vol)!2
}).add;



// Create synthdef klank

SynthDef(\klank01, {|out = 0, gate = 1, vol = 0.0001, freq = 440, freq3 = 999,
freq2 = 444  decay = 0.02, cutoff = 2000, amp = 0.01, trig = 1,
freqs (#[100, 200, 300, 600]),
amps (#[0.3, 0.2, 1, 0.05]),
rings (#[1, 0.1, 0.5, 2]), pan = 0|

 var env, source, filter;
         env = EnvGen.kr(Env([0, 0.8, 0], [2, 2]), gate, doneAction: 2);

source = DynKlank.ar([freqs*freq, amps, rings],
Dust.ar(trig)+WhiteNoise.ar(amp)+SinOsc.ar(SinOsc.ar(freq*2, freq2, freq3), 0,
0.3)*SinOsc.ar(SinOsc.ar(freq*2.43, freq2*2/35+12, 1.2.rand+[2000, 200.202]), 0,
0.3)*0.003);

	source = LPF.ar(source, cutoff, 0.4, amp).softclip;
	source =  LeakDC.ar(source, 0.995);

         Out.ar(out, Pan2.ar(source*env*vol, pan))
}).add;
	)

// load from the data files the first one
		(
			{
	var data;
	data = ~load.(~files.first);

			10.wait;

			"run data: storm starts".postln;

	data do: { | row |

		var addr = NetAddr("127.0.0.1", 12345);
		"TO - SYNTH".postln;

// Parameter mapping

~nodedkl = [Synth( \granulatorAn, [\bufnum, ~buffers, dur: 0.3, \trig,
row[0].abs.postln, \dur, row[0].abs.sin.postln, \pos,
row[0].abs.cos.postln, \rate, 1, \freq2, row[1].pow(2).postln, \vol, 1, \pan,
row[0].abs.sin.postln,\envbuf, -1]);,

Synth(\klank01, [\freq, row[0].abs.tan.postln, \freq2,
row[1].abs.squared.postln, \freq3, row[2].abs.squared.postln, \cutoff, 6000,
\amp, row[1].abs.tan.postln, \legato, 1, \vol, 1]);];

		0.1.wait;//100  miliseconds
	}

)

PhD thesis title: Audiovisual works in response to creative writing

I found that by using symbolism and metaphors I can tell a story in my own way. The manipulation of the semiotic process, both in image and music, is crucial for the formal structure of my works and my process of translation.

It is worth noticing how in my Haiku series there are notions of visual and audio fragmentation, generative systems, chaos and complexity as well as other conceptual influences. I have been inspired by the Jungian approach to symbolic interpretation. For example, I have interrelated the symbolism of Nekyia in Homer's narrative of Odysseus' descent into Hades, with the descent into the unconsciousness as Jung analysed it (in the collection of journalistic interviews in the book C.G Jung Speaking (1987) in the case of the modern artist). In In my work "Aranea" I translated an archetypical story of pride into a video game; expressing psychological complexes, like the Icarus' complex or narcissism, in relation to the concept of hubris and nemesis as they are found in the story of Arachne.

Spooky Walk

Delphi trip

Click the link on the right panel to watch short video series.