Interpretación de melodías en teclado por parte de un robot Nao a partir de partituras

Abstract

Problema de ingeniería o necesidad a tratar:

El fin inmediato del presente proyecto es mostrar a través de un ejemplo la importancia de proporcionar a los robots funcionalidad y adaptabilidad en el ámbito social y de entretenimiento, de tal forma que mejore la Interacción Humano-Computador.

Propuesta central:

Se propone diseñar y elaborar un sistema inteligente para la interpretación de melodías en un piano por parte de un robot NAO ante las partituras como estímulos audiovisuales. El sistema de procesamiento de partituras tiene como principal alcance la capacidad de producir un archivo MIDI (exportable) a partir de fotos de las partituras. El sistema de interpretación tiene como principal alcance la capacidad de procesar un archivo MIDI, e interpretar su contenido en un teclado físico.

Diseño: El sistema se basa en dos sub-sistemas principales: uno para la adquisición y procesamiento de los estímulos audiovisuales, que exporta un archivo MIDI a partir de fotos de partituras tomadas con la cámara del robot; y uno para la interpretación de la melodía, que convierte mensajes MIDI en acciones del robot.

Síntesis de Resultados y Conclusiones: Al final del proyecto se consiguió implementar y poner a prueba satisfactoriamente el sistema planteado y diseñado. El robot es capaz de interpretar melodías en un teclado a partir de partituras y de archivos MIDI. También es capaz de exportar archivos MIDI a partir de partituras.

Engineering problem:

The immediate end of the current project is to show by example the importance of giving the robots the means to adapt on the social and entertainment fields, so that it improves the Human-Computer interaction.

Central Proposal:

It is proposed to design an intelligent system for the performance of melodies on a piano by a NAO robot using music scores as audiovisual stimuli. The main scope of the music score processing system is to generate an exportable MIDI file from pictures of the music score. The main scope of the performance system is to process a MIDI file, to play its content on a physical keyboard.

Design: The system is based on two main sub-systems: one for the acquisition and processing of the visual stimuli, that exports a MIDI file from pictures of the music score taken by the NAO’s camera; and one that handles the performance of the melody, that processes MIDI messages into robot actions.

Results and conclusions: At the end of the project the implementation and testing of the proposed and designed system was achieved. The robot is able to play melodies on a piano keyboard from music scores and MIDI files. It is also able to export MIDI files generated from music score pictures.