manipulatoare si roboti industriali

ROBOTI INDUSTRIALI 1

Comunicarea prin voce

• Metodele uzuale de introducere a datelor, sau

de programare a RI, sunt greoaie, necesita

operatori specializati, dureaza timp indelungat si

determina cresterea gabaritului terminalului.

• Robotii din ultima generatie sunt dotati cu

sisteme de comunicare in limbaj natural.


Principiul comunicarii prin

voce

Receptorul

(Emitatorul)

robotuluiCanal de

transmitere

Sursa de

informatii


Sursa de informatii = om - prelucreaza informatiile,

elaboreaza mesajul si il transmite verbal

Canalul de transmitere = spatiul aerian om-robot

Receptor = dispozitiv sau organ care capteaza oscilatiile

acustice, realizeaza decodificarea si transmite mesajul

calculatorului robotului, respectiv sistemului nervos.

Emitator (codificator) = dispozitiv sau organ fonator

care transforma mesajul sistemului de comanda al

robotului, respectiv impulsurile nervoase ale cortexului

uman, in oscilatii acustice (vorbire).


Avantajele comunicarii directe

• Eliminarea terminalelor de comanda

complicate

• Se estimeaza ca timpul de transmitere al

informatiei pe cale verbala se reduce la jumatate

fata de alte tipuri de transmitere a informatiei.


Caracteristicile semnalului

vocal

1. Continuitatea – nu exista separare intre cuvintele

sau silabele succesive.

2. Variabilitatea – pentru un continut fonetic egal,

semnalul sonor contine particularitati legate de

individ sau situatie.

3. Codarea – face referire la prelucrarea prealabila din

punct de vedere fonetic, semantic si lexical.


Fonemul

Este cea mai mica unitate fonica din componenta cuvintelor.

Fonemele reprezinta surse temporale care se utilizeaza la analiza

spectrului vocal.

Consoanele din structura cuvintelor se

caracterizeaza printr-o variatie

nerepetabila a semnalului in timp.Consoana ‘t’

Vocalele sunt semnale nesinusoidale

care se repeta atata timp cat sunt

pronuntate.

Vocala ‘a’ Vocala ‘e’


Vorbirea in robotica

Recunoasterea

vorbiriiSinteza vorbirii


Sinteza vorbirii

Procesul prin care un robot raspunde intr-un limbaj inteligibil

pentru om. Acesta poate fi inteles si de catre un alt robot.

Metode in sinteza vorbirii:

• Utilizarea unor mesaje cu voce umana inregistrate anterior;

• Utilizarea cuvintelor digitizate preluate din vorbirea umana;

• Utilizarea circuitelor integrate fonice.


Exemplu


Utilizarea vocii umane

preinregistrate

La inceput s-a utilizat inregistrarea vocii umane pe

banda magnetica.

Primele servicii telefonice anuntand ora utilizau vocea

umana preinregistrata.

? – Mesajele inregistrate trebuie sa anticipeze posibilele

raspunsuri ce ar trebui oferite de robot.


Utilizare cuvinte digitizate

Un sistem care utilizeaza

vocea umana digitizata are

avantajul de a stoca

sunetele in memoria

calculatorului ca orice alta

informatie numerica.

R2D2


Conversii TEXT -> VORBIRE

www.nch.com.au/verbose/index.html


Exemplu - Digitalker

National Semiconductor

– sistem de digitizare a

vocii umane Digitalker -

utilizeaza 3-5 circuite

integrate speciale si alte

cateva pentru selectia

adreselor si amplificare

audio.


Utilizare circuite integrate

fonice

• Metoda simpla de sinteza a vorbirii.

• Un circuit integrat fonic utilizeaza fonemii pentru a

produce vorbirea.

• De exemplu pentru Limba Engleza un circuit fonic

include 5 pauze cu durate diferite si 59 de fonemi ( cum

ar fi "OY" in cuvantul „boy‟ sau "AY" in cuvantul

„sky‟).


Exemplu – circuit CTS256A-AL2 IC

Sinteza vorbirii

se realizeaza

prin trimiterea

unor caractere

ASCII

circuitului.


Exemplu

– circuit CTS256A-AL2 IC


Sinteza vorbirii – in concluzie

Sintetizoarele formantice – reproduc sub forma numerica

principiul de functionare al organului fonatoriu uman.

In locul cavitatii organului fonatoriu uman se utilizeaza un set

de filtre digitale inseriate, cu frecventa centrala si banda de

trecere comandate. Semnalele sunt sumate de catre blocul

sumator S.


Sinteza vorbirii – in concluzie

Generator

Generator

F1 F2 F3

FC1

FC2

FC3

Bloc

sumator

fonemi

filtre

Semnalele sunt sumate intr-un bloc sumator. Pentru sinteza

vocalelor se utilizeaza un set de filtre cu frecvente de 300-5100 Hz


Sintetizorul de voce

Memorie μP registreSintetizor

filtru

digital

Convertor

N/A

Amplif.

difuzor

Baze de

timp

- formele de unda corespunzatoare datelor se emit din

memoria μP catre convertorul N/A. Semnalul este

amplificat si convertit in sunet.

- un astfel de sintetizor necesita o memorie de 0.5-

4kb pentru a realiza vorbirea pe durata unei secunde.


Exemplu -Voice Extreme™

Development Board

http://www.generation5.org/content/2003/vekit.asp


VE module

http://www.generation5.org/content/2003/vekit.asp


Recunoasterea vorbirii

Intelegerea vorbirii

Recunoasterea vorbirii Intelegere cuvinte

Incercarea de a recunoaste ca o

anumita serie de sunete reprezinta

anumite cuvinte.

Intelegerea relatiilor intre diferite

cuvinte.

Oamenii sunt capabili sa inteleaga chiar si cand au auzit in jur de

50% din cuvinte.


Probleme

Procent redus in

recunoasterea vorbirii (Lb.

Engleza) datorita

multitudinii de omonime

(cuvinte ce suna aproape

identic dar au intelesuri

diferite).


Omonimie pe grupuri de

cuvinte



Subsistem de

analiza

Subsistem de

comparare Memorie

Afisare

rezultate

Subsistem de

invatare

Este o problema de recunoastere a formelor si cuprinde un sistem de

analiza format din microfon, analizor spectral si bloc de decizie.



Presupune determinarea parametrilor specifici ai unui cuvant si

compararea acestora cu parametrii memorati in faza de invatare.

Compararea ia in considerare abaterea datorata nepronuntatii identice

a cuvantului, chiar de catre o aceeasi entitate.

Sistemele de analiza si recunoastere a vorbirii efectueaza studiul

semnalului sonor convertit in semnal electric, in domeniul frecventei

si in domeniul timp. Pentru ca semnalul furnizat de microfon si

amplificat sa nu depinda de nivelul sonor sau de distanta dintre

vorbitor si microfon, amplificatorul trebuie sa aiba un reglaj automat

al amplificarii pentru o gama larga a semnalului de intrare.


Analiza in domeniul frecventei

Sistemele de analiza in domeniul frecventei se numesc

VOCODERE si se bazeaza pe posibilitatea descompunerii

semnalelor periodice intr-o suma de semnale sinusoidale de

amplitudini si faze diferite si cu frecvente in progresie aritmetica.

Microfon Amplif.

FTB

FTB

FTB

Decodificare

Semnalizare

detectieFiltre trece

banda


Vocoderul

Microfon Amplif.

FTB

FTB

FTB

Decodificare

Semnalizare

Lantul sistemului cuprinde microfon, amplificator, filtre analogice

trece banda, cuplate in paralel si urmate fiecare de catre un circuit

detector pentru determinarea amplitudinii medii si a valorii de varf

pe fiecare banda de frecventa.


Vocoderul

Microfon Amplif.

FTB

FTB

FTB

Decodificare

Semnalizare

Nivelurile de tensiune detectate se aplica unui bloc decodificator

care ataseaza fiecarui fonem cate un semnal specific.

Fonemul este analizat atunci cand nivelurile semnalelor de la iesirile

detectoarelor corespund nivelurilor de tensiune memorate pentru

respectivul fonem.


Vocoderul

Microfon Amplif.

FTB

FTB

FTB

Decodificare

Semnalizare

Pentru cresterea preciziei, in afara analizei in domeniul frecventei se

mai determina frecventa fundamentala, centrul de greutate al

frecventelor si formatii de vocale. Se folosesc in acest scop tehnici

de programare dinamica.


Analiza in domeniul timp

Se realizeaza prin esantionarea cuvantului in

transe de durate egale si codare dupa parametrul

determinant al fiecarui esantion.

Pentru fiecare esantion se determina numarul de

treceri prin zero ale semnalului si derivatelor I si

II si se compara cu informatiile similare stocate

in memoria sistemului.


Sistem recunoastere cuvinte

A

Subsistem

de invatare

Subsistem de

analiza in

frecventa

Subsistem

detectie treceri

prin zero

Subsistem

analiza

amplitudine-

timp

Microfon

Magis

trala

date

Magis

trala

de

ad

rese

PROM

PROM

μP

RAM



Sistemele pentru analiza si intelegerea vorbirii formate din

propozitii si fraze necesita analiza fonetica, lexicala, sintactica si

semantica.

Analiza fonetica – consta in obtinerea unui mesaj vocal divizat in

timp astfel incat fiecare element este imaginea unui fonem.

Fiecarui interval de timp i se atribuie o valoare codificata

(consoana, vocala, interval).

Analiza lexicala – realizeaza recunoasterea unui cuvant dintr-o

fraza sau dintr-un grup de cuvinte.



Analiza sintactica – analiza structurii frazei

Analiza semantica – studiaza semnificatia cuvintelor. Este

utilizata atunci cand analiza sintactica nu este suficienta pentru

intelegerea unor cuvinte sau propozitii.

Din punct de vedere semantic cuvintele au atasate pentru

identificare o serie de markeri de forma, culoare, natura.

Analiza semantica permite cunoasterea mediului inconjurator pe

baza relatiilor dintre obiecte si descrierea starii efectorului in

raport cu aceste obiecte (apucat, eliberat, cuplat etc.)


Exemplu

In cazul utilizarii acestor doua

cuvinte in comenzi diferentierea

intre ele se poate realiza prin

detectarea momentului trecerilor

prin zero.


Tipuri de comenzi pentru roboti


Vocabularul robotului!!! – trebuie sa fie cat mai redus posibil pentru o aplicatie, iar

cuvintele cat mai diferite.

Cuvintele Up, Down, Left si Right nu sunt chiar atat de diferite pe cat

ne-am dori pentru un sistem fiabil d.p.d.v al recunoasterii vorbirii.


Problema - asigurare fiabilitate in

recunoasterea cuvintelor !!!


Concluzii

• Comunicarea prin voce poate conduce la o

utilizare mai usoara si mai sigura a robotilor.

• Intelegerea limbajului natural implica

constructia unor masini sau roboti capabile sa

“auda”.

• Tipurile de sisteme de recunoastere a vorbirii

includ sisteme dependente de vorbitor sau

independente (capabile a intelege orice vorbitor).

Aplicatie – comanda prin

voce a unui robot


Sinteza voce difuzorComanda operator uman

Kit recunoastere voce VR

stamp


Arhitectura microcontroller-ului RSC-4128

- procesor de semnal pe 8 biţi, 128 KB memorie ROM, ADC

pe 16 biţi, DAC pe 10 biţi, ieşire PWM pentru speaker, pre-

amplificator pentru microfon, 5 timere programabile, 24 de

pini ce pot fi configuraţi atât ca intrări cât şi ca ieşiri

Conectare


Kitul de recunoaştere voce VR Stamp

Pini de iesire

20,21,22,23

Pini de intrare ai

portului T

24-PT0,

25- PT1

26-PT2,

27- PT3

Conectare


COMANDA CODUL IN BINAR CODUL IN HEX

START 0000 0001 0 x 01

STOP 0000 1000 0 x 08

FORWARD 0000 0010 0 x 02

BACK 0000 0100 0 x 04

GREEN 0000 0011 0 x 03

RED 0000 1001 0 x 09

Comenzile trimise de kit-ul VR Stamp microcontroller-ului Mc9S12E128

Programare KIT VR


Integreaza tehnologia FluentChipTM capabilă să implementeze

recunoaşterea vorbirii bazată pe Modelul Markov Ascuns şi Reţele

Neuronale în familia de microcontrollere RSC-4x produse de firma

Sensory.

Realizare aplicatie


Quick T2SI-LiteTM

– prin intermediul

căruia se defineşte

prin text

vocabularul de

recunoscut şi

modele gramaticale

şi acustice ale

cuvintelor;

Realizare aplicatie


In submeniul

„Prompts” se

asigneaza cate un

raspuns fiecarei

comenzi (fisiere wav

(fie luate gata facute

fie inregistrate). Pentru

a inregistra

raspunsurile s-a folosit

programul „Audicity”.

Realizare aplicatie


In submeniul „Tuning”

se poate lucra la

finetea descrierii

fonetice.

Realizare aplicatie


QuickSynthesisTM 4 –

comprima fişierele

audio ce conţin cuvinte

înregistrate, pentru a

ocupa un loc cât mai

mic în memoria

microcontroller-ului

(selectie metode de

compresie SXL-2400

biti/s; … SXH-9000

biti/s);

Pentru redarea fisierelor audio se folosesc functiile din biblioteca

fluentChip-ului SxTalk si PlaySnd(_SxTalk si _PlaySnd pentru

programele in C)

QS4


Cand un proiect QS4 este compilat se creaza 4 fisiere:

<numele proiectului>.mca: cod sursa in limbaj de asamblare

referitor la datele modulului de sunet

<numele proiectului>.mco iesirea asamblorului, modul cu

datele de sunet linkeditabil

<numele_proiectului>.inc fisier de tip include in limbaj

de asamblare, defineste etichetele pentru sunete individuale

<numele_proiectului>.h fisier header in C, defineste

etichete pentru diferite sunete

Realizare program final


Pyton IDE: program de creare proiecte, compilare, asamblare si

linkeditare (reunire fisiere create cu programele Quick T2SI si QS4

Sensory Loader

4 – prin

intermediul

acestui program

se pot incarca in

microcontroller

fişierele .hex sau

.bin obţinute în

urma compilării.

manipulatoare si roboti industriali

Documents