Fuzzy k­NN Lung Cancer Identification by an Electronic Nose

Rossella Blatt1, Andrea Bonarini1, Elisa Calabrò2 Matteo Della Torre3, Matteo Matteucci1 and Ugo Pastorino2

1 Politecnico di Milano, Department of Electronics and Information, Milan, Italy1 Istituto Nazionale Tumori of Milan, Toracic Surgery Department, Milan, Italy

1 SACMI Imola S.C., Automation & Inspection Systems, Imola (BO), Italy

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  2 

Outline Objective:  Lung  Cancer  diagnosis  classifying  the 

Olfactory Signal acquired by an Electronic Nose Motivation Functioning of the Electronic Nose

• Signal Acquisition• Signal­preprocessing • Dimensionality Reduction• Pattern Classification and Validation

Comparison with other classifiers, state of the art and current diagnostic techniques

Discussion the importance of obtained results and further directions of research

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  3 

Outline Objective:  Lung  Cancer  diagnosis  classifying  the 

Olfactory Signal acquired by an Electronic Nose Motivation Functioning of the Electronic Nose

• Signal Acquisition• Signal­preprocessing • Dimensionality Reduction• Pattern Classification and Validation

Comparison with other classifiers, state of the art and current diagnostic techniques

Discussion the importance of obtained results and further directions of research

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  4 

Outline Objective:  Lung  Cancer  diagnosis  classifying  the 

Olfactory Signal acquired by an Electronic Nose Motivation Functioning of the Electronic Nose

• Signal Acquisition• Signal­preprocessing • Dimensionality Reduction• Pattern Classification and Validation

Comparison with other classifiers, state of the art and current diagnostic techniques

Discussion the importance of obtained results and further directions of research

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  5 

Outline Objective:  Lung  Cancer  diagnosis  classifying  the 

Olfactory Signal acquired by an Electronic Nose Motivation Functioning of the Electronic Nose

• Signal Acquisition• Signal­preprocessing • Dimensionality Reduction• Pattern Classification and Validation

Comparison with other classifiers, state of the art and current diagnostic techniques

Discussion the importance of obtained results and further directions of research

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  6 

Outline Objective:  Lung  Cancer  diagnosis  classifying  the 

Olfactory Signal acquired by an Electronic Nose Motivation Functioning of the Electronic Nose

• Signal Acquisition• Signal­preprocessing • Dimensionality Reduction• Pattern Classification and Validation

Comparison with other classifiers, state of the art and current diagnostic techniques

Discussion the importance of obtained results and further directions of research

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  7 

Outline Objective:  Lung  Cancer  diagnosis  classifying  the 

Olfactory Signal acquired by an Electronic Nose Motivation Functioning of the Electronic Nose

• Signal Acquisition• Signal­preprocessing • Dimensionality Reduction• Pattern Classification and Validation

Comparison with other classifiers, state of the art and current diagnostic techniques

Discussion the importance of obtained results and further directions of research

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  8 

Motivation Lung cancer causes more  than 160,000 deaths a year  in  the 

United States­­more than any other cancer Once the cancer has been detected, only 14% survives after 5 

years  of  therapy;  the  survival  rate  increases  to  48%  if  the cancer is discovered in its earliest stage

Current  diagnostic  techniques  are  invasive,  very    expensive, have  a  high  risk  of  complications  and  a  not  so  good performance

Efforts at early detection and treatment have been frustrating to date and hence the overall prognosis remains poor

NECESSITY OF A NON INVASIVE, MORE ACCURATE AND CHEAPER DIAGNOSTIC TECHNIQUE, ABLE TO IDENTIFY THE PRESENCE OF LUNG CANCER IN ITS EARLY STAGE

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  9 

Motivation Lung cancer causes more  than 160,000 deaths a year  in  the 

United States­­more than any other cancer Once the cancer has been detected, only 14% survives after 5 

years  of  therapy;  the  survival  rate  increases  to  48%  if  the cancer is discovered in its earliest stage

Current  diagnostic  techniques  are  invasive,  very    expensive, have  a  high  risk  of  complications  and  a  not  so  good performance

Efforts at early detection and treatment have been frustrating to date and hence the overall prognosis remains poor

NECESSITY OF A NON INVASIVE, MORE ACCURATE AND CHEAPER DIAGNOSTIC TECHNIQUE, ABLE TO IDENTIFY THE PRESENCE OF LUNG CANCER IN ITS EARLY STAGE

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  10 

Motivation Lung cancer causes more  than 160,000 deaths a year  in  the 

United States­­more than any other cancer Once the cancer has been detected, only 14% survives after 5 

years  of  therapy;  the  survival  rate  increases  to  48%  if  the cancer is discovered in its earliest stage

Current  diagnostic  techniques  are  invasive,  very    expensive, have  a  high  risk  of  complications  and  a  not  so  good performance

Efforts at early detection and treatment have been frustrating to date and hence the overall prognosis remains poor

NECESSITY OF A NON INVASIVE, MORE ACCURATE AND CHEAPER DIAGNOSTIC TECHNIQUE, ABLE TO IDENTIFY THE PRESENCE OF LUNG CANCER IN ITS EARLY STAGE

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  11 

Motivation Lung cancer causes more  than 160,000 deaths a year  in  the 

United States­­more than any other cancer Once the cancer has been detected, only 14% survives after 5 

years  of  therapy;  the  survival  rate  increases  to  48%  if  the cancer is discovered in its earliest stage

Current  diagnostic  techniques  are  invasive,  very    expensive, have  a  high  risk  of  complications  and  a  not  so  good performance

Efforts at early detection and treatment have been frustrating to date and hence the overall prognosis remains poor

NECESSITY OF A NON INVASIVE, MORE ACCURATE AND CHEAPER DIAGNOSTIC TECHNIQUE, ABLE TO IDENTIFY THE PRESENCE OF LUNG CANCER IN ITS EARLY STAGE

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  12 

Motivation Fundamental Principle of Clinical Chemistry: “Every 

pathology  changes  people  chemical  composition, modifying  the concentration of  some chemicals  in  the human body”• In the medical field, clinicians have always considered 

odor as a fundamental information for the diagnosis of several diseases

It has been demonstrated (Gordon et al, 1985) that the presence of lung cancer alters the percentage of some volatile  organic  compounds  (VOCs)  present  in human breath• These VOCs can be considered as lung cancer markers

and thus used to diagnose it 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  13 

Motivation Fundamental Principle of Clinical Chemistry: “Every 

pathology  changes  people  chemical  composition, modifying  the concentration of  some chemicals  in  the human body”• In the medical field, clinicians have always considered 

odor as a fundamental information for the diagnosis of several diseases

It has been demonstrated (Gordon et al, 1985) that the presence of lung cancer alters the percentage of some volatile  organic  compounds  (VOCs)  present  in human breath• These VOCs can be considered as lung cancer markers

and thus used to diagnose it 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  14 

Motivation Fundamental Principle of Clinical Chemistry: “Every 

pathology  changes  people  chemical  composition, modifying  the concentration of  some chemicals  in  the human body”• In the medical field, clinicians have always considered 

odor as a fundamental information for the diagnosis of several diseases

It has been demonstrated (Gordon et al, 1985) that the presence of lung cancer alters the percentage of some volatile  organic  compounds  (VOCs)  present  in human breath• These VOCs can be considered as lung cancer markers

and thus used to diagnose it 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  15 

Motivation Fundamental Principle of Clinical Chemistry: “Every 

pathology  changes  people  chemical  composition, modifying  the concentration of  some chemicals  in  the human body”• In the medical field, clinicians have always considered 

odor as a fundamental information for the diagnosis of several diseases

It has been demonstrated (Gordon et al, 1985) that the presence of lung cancer alters the percentage of some volatile  organic  compounds  (VOCs)  present  in human breath• These VOCs can be considered as lung cancer markers

and thus used to diagnose it 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  16 

Electronic Nose An  electronic  nose  is  an  instrument  able  to  acquire,  detect  and 

analyse the olfactory signal It is composed of an array of non specific electronic devices able to 

convert  a  physical  or  chemical  information  into  an  electrical signal• It is non specific because it does 

not  look  for  particular compounds  in  the  analyzed substance,  but  for  different patterns

• Each sensor reacts in a different way  to  the  analyzed  substance providing  multidimensional data  that  can  be  considered  as an  olfactory  blueprint  of  the substance itself

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  17 

Electronic Nose An  electronic  nose  is  an  instrument  able  to  acquire,  detect  and 

analyse the olfactory signal It is composed of an array of non specific electronic devices able to 

convert  a  physical  or  chemical  information  into  an  electrical signal• It is non specific because it does 

not  look  for  particular compounds  in  the  analyzed substance,  but  for  different patterns

• Each sensor reacts in a different way  to  the  analyzed  substance providing  multidimensional data  that  can  be  considered  as an  olfactory  blueprint  of  the substance itself

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  18 

Electronic Nose An  electronic  nose  is  an  instrument  able  to  acquire,  detect  and 

analyse the olfactory signal It is composed of an array of non specific electronic devices able to 

convert  a  physical  or  chemical  information  into  an  electrical signal• It is non specific because it does 

not  look  for  particular compounds  in  the  analyzed substance,  but  for  different patterns

• Each sensor reacts in a different way  to  the  analyzed  substance providing  multidimensional data  that  can  be  considered  as an  olfactory  blueprint  of  the substance itself

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  19 

Electronic Nose An  electronic  nose  is  an  instrument  able  to  acquire,  detect  and 

analyse the olfactory signal It is composed of an array of non specific electronic devices able to 

convert  a  physical  or  chemical  information  into  an  electrical signal• It is non specific because it does 

not  look  for  particular compounds  in  the  analyzed substance,  but  for  different patterns

• Each sensor reacts in a different way  to  the  analyzed  substance providing  multidimensional data  that  can  be  considered  as an  olfactory  blueprint  of  the substance itself

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  20 

Electronic Nose's Output According  to  the  used  pattern  analysis  algorithm,  the 

output of an electronic nose can be:• the detection of a specific substance• an estimate of the concentration of the odor• some particular characteristic of the odor that allows to 

associate it to a particular class

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  21 

Electronic Nose's Output According  to  the  used  pattern  analysis  algorithm,  the 

output of an electronic nose can be:• the detection of a specific substance• an estimate of the concentration of the odor• some particular characteristic of the odor that allows to 

associate it to a particular class

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  22 

Electronic Nose's Output According  to  the  used  pattern  analysis  algorithm,  the 

output of an electronic nose can be:• the detection of a specific substance• an estimate of the concentration of the odor• some particular characteristic of the odor that allows to 

associate it to a particular class

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  23 

Electronic Nose's Output According  to  the  used  pattern  analysis  algorithm,  the 

output of an electronic nose can be:• the detection of a specific substance• an estimate of the concentration of the odor• some particular characteristic of the odor that allows to 

associate it to a particular class

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  24 

Electronic Nose1.  Signal Acquisition

● Acquisition is done through a sensor array that measures a given physical or chemical quantity and convert it into an electrical signal

2.  Signal Processing● Preprocessing: aimed to reduce the impact of noise● Dimensionality Reduction: reduce the dimensionality of the problem, enhancing 

classification performance

3.  Classification and Validation● Classification between the two classes “healthy” and “sick”

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  25 

Electronic Nose1.  Signal Acquisition

● Acquisition is done through a sensor array that measures a given physical or chemical quantity and convert it into an electrical signal

2.  Signal Processing● Preprocessing: aimed to reduce the impact of noise● Dimensionality Reduction: reduce the dimensionality of the problem, enhancing 

classification performance

3.  Classification and Validation● Classification between the two classes “healthy” and “sick”

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  26 

Electronic Nose1.  Signal Acquisition

● Acquisition is done through a sensor array that measures a given physical or chemical quantity and convert it into an electrical signal

2.  Signal Processing● Preprocessing: aimed to reduce the impact of noise● Dimensionality Reduction: reduce the dimensionality of the problem, enhancing 

classification performance

3.  Classification and Validation● Classification between the two classes “healthy” and “sick”

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  27 

Electronic Nose1.  Signal Acquisition

● Acquisition is done through a sensor array that measures a given physical or chemical quantity and convert it into an electrical signal

2.  Signal Processing● Preprocessing: aimed to reduce the impact of noise● Dimensionality Reduction: reduce the dimensionality of the problem, enhancing 

classification performance

3.  Classification and Validation● Classification between the two classes “healthy” and “sick”

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  28 

Signal Acquisition

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  29 

Sensors' Technology Current types of electronic noses are different according to the used 

sensor  technology  and,  therefore,  according  to  the  measured physical or chemical quantity• Conductivity sensors

− Metal Oxide sensor (MOS)− Polymer sensors

• Piezoelectric sensors (Mass change)− Quartz Crystal Microbalance (QCM)− Surface Acoustic­wave (SAW)

• MOSFET sensors• OPTICAL­fiber sensor 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  30 

Sensors' Technology Current types of electronic noses are different according to the used 

sensor  technology  and,  therefore,  according  to  the  measured physical or chemical quantity• Conductivity sensors

− Metal Oxide sensor (MOS)− Polymer sensors

• Piezoelectric sensors (Mass change)− Quartz Crystal Microbalance (QCM)− Surface Acoustic­wave (SAW)

• MOSFET sensors• OPTICAL­fiber sensor 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  31 

Sensors' Technology Current types of electronic noses are different according to the used 

sensor  technology  and,  therefore,  according  to  the  measured physical or chemical quantity• Conductivity sensors

− Metal Oxide sensor (MOS)− Polymer sensors

• Piezoelectric sensors (Mass change)− Quartz Crystal Microbalance (QCM)− Surface Acoustic­wave (SAW)

• MOSFET sensors• OPTICAL­fiber sensor 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  32 

Sensors' Technology Current types of electronic noses are different according to the used 

sensor  technology  and,  therefore,  according  to  the  measured physical or chemical quantity• Conductivity sensors

− Metal Oxide sensor (MOS)− Polymer sensors

• Piezoelectric sensors (Mass change)− Quartz Crystal Microbalance (QCM)− Surface Acoustic­wave (SAW)

• MOSFET sensors• OPTICAL­fiber sensor 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  33 

Sensors' Technology Current types of electronic noses are different according to the used 

sensor  technology  and,  therefore,  according  to  the  measured physical or chemical quantity• Conductivity sensors

− Metal Oxide sensor (MOS)− Polymer sensors

• Piezoelectric sensors (Mass change)− Quartz Crystal Microbalance (QCM)− Surface Acoustic­wave (SAW)

• MOSFET sensors• OPTICAL­fiber sensor 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  34 

MOS Sensors VOCs  markers  of  lung  cancer  are  present  in  diseased 

people's  breath  in  very  small  quantities  (varying  from parts per million ­ ppm to parts per billion ­ ppb)

The most important  MOS sensors' peculiarity is their high sensitivity (in the order of ppb)• Moreover  they  result  to  be  characterized  by  low  cost,  high 

speed response and relatively simple electronics We  used  an  array  of  six  MOS  sensors

that  react  to  gases  with  a  variation  of resistance• The registered signal corresponds to the 

change of resistance through time produced by gas flow

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  35 

MOS Sensors VOCs  markers  of  lung  cancer  are  present  in  diseased 

people's  breath  in  very  small  quantities  (varying  from parts per million ­ ppm to parts per billion ­ ppb)

The most important  MOS sensors' peculiarity is their high sensitivity (in the order of ppb)• Moreover  they  result  to  be  characterized  by  low  cost,  high 

speed response and relatively simple electronics We  used  an  array  of  six  MOS  sensors

that  react  to  gases  with  a  variation  of resistance• The registered signal corresponds to the 

change of resistance through time produced by gas flow

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  36 

MOS Sensors VOCs  markers  of  lung  cancer  are  present  in  diseased 

people's  breath  in  very  small  quantities  (varying  from parts per million ­ ppm to parts per billion ­ ppb)

The most important  MOS sensors' peculiarity is their high sensitivity (in the order of ppb)• Moreover  they  result  to  be  characterized  by  low  cost,  high 

speed response and relatively simple electronics We  used  an  array  of  six  MOS  sensors

that  react  to  gases  with  a  variation  of resistance• The registered signal corresponds to the 

change of resistance through time produced by gas flow

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  37 

MOS Sensors' Response Each measure consists of three main phases:

• Before:  the  instrument  inhales  the reference air,  showing  in  its graph a relatively constant curve

• During: the electronic nose inhales the analyzed gas, producing a change in the sensors' response

− It contains informations about how sensors react to a particular substance

• After: during this phase the instrument returns to the reference line

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  38 

MOS Sensors' Response Each measure consists of three main phases:

• Before:  the  instrument  inhales  the reference air,  showing  in  its graph a relatively constant curve

• During: the electronic nose inhales the analyzed gas, producing a change in the sensors' response

− It contains informations about how sensors react to a particular substance

• After: during this phase the instrument returns to the reference line

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  39 

MOS Sensors' Response Each measure consists of three main phases:

• Before:  the  instrument  inhales  the reference air,  showing  in  its graph a relatively constant curve

• During: the electronic nose inhales the analyzed gas, producing a change in the sensors' response

− It contains informations about how sensors react to a particular substance

• After: during this phase the instrument returns to the reference line

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  40 

MOS Sensors' Response Each measure consists of three main phases:

• Before:  the  instrument  inhales  the reference air,  showing  in  its graph a relatively constant curve

• During: the electronic nose inhales the analyzed gas, producing a change in the sensors' response

− It contains informations about how sensors react to a particular substance

• After: during this phase the instrument returns to the reference line

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  41 

Involved Population We analyzed the breath of 101 volunteers

Total population101 volunteers

Healthy58

Lung Cancer43

Primary Lung Cancer

23

Pulmonary Metastasis

20

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  42 

Involved Population We analyzed the breath of 101 volunteers

Total population101 volunteers

Healthy58

Lung Cancer43

Primary Lung Cancer

23

Pulmonary Metastasis

20

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  43 

Involved Population We analyzed the breath of 101 volunteers

Total population101 volunteers

Healthy58

Lung Cancer43

Primary Lung Cancer

23

Pulmonary Metastasis

20

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  44 

Signal Acquisition

The  breath  acquisition  has  been  made inviting  all  volunteers  to  blow  into  a nalophan bag of approximately 400cm3

We considered only the portion of the breath exhaled directly form lung

Finally,  the  air  contained  in  the  bag  was  input into the electronic nose

For  each  person  we  took  two  measures  for  a  total  of  202 measurements (116 healthy, 86 diseased)

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  45 

Signal Acquisition

The  breath  acquisition  has  been  made inviting  all  volunteers  to  blow  into  a nalophan bag of approximately 400cm3

We considered only the portion of the breath exhaled directly form lung

Finally,  the  air  contained  in  the  bag  was  input into the electronic nose

For  each  person  we  took  two  measures  for  a  total  of  202 measurements (116 healthy, 86 diseased)

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  46 

Signal Acquisition

The  breath  acquisition  has  been  made inviting  all  volunteers  to  blow  into  a nalophan bag of approximately 400cm3

We considered only the portion of the breath exhaled directly form lung

Finally,  the  air  contained  in  the  bag  was  input into the electronic nose

For  each  person  we  took  two  measures  for  a  total  of  202 measurements (116 healthy, 86 diseased)

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  47 

Signal Acquisition

The  breath  acquisition  has  been  made inviting  all  volunteers  to  blow  into  a nalophan bag of approximately 400cm3

We considered only the portion of the breath exhaled directly form lung

Finally,  the  air  contained  in  the  bag  was  input into the electronic nose

For  each  person  we  took  two  measures  for  a  total  of  202 measurements (116 healthy, 86 diseased)

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  48 

Pre­processing & Dimensionality Reduction

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  49 

Signal pre­processing

Preprocessing:• Manipulation of the baseline: transformation of the sensor 

response  w.r.t.  its  baseline  for  the  purpose  of  contrast enhancement and drift compensation

• Reduction of humidity effects• Normalization:  compensation  for  the  scale  difference 

among the six sensors− Each sensor has been forced to have zero mean and variance 

equal to 1

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  50 

Signal pre­processing

Preprocessing:• Manipulation of the baseline: transformation of the sensor 

response  w.r.t.  its  baseline  for  the  purpose  of  contrast enhancement and drift compensation

• Reduction of humidity effects• Normalization:  compensation  for  the  scale  difference 

among the six sensors− Each sensor has been forced to have zero mean and variance 

equal to 1

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  51 

Signal pre­processing

Preprocessing:• Manipulation of the baseline: transformation of the sensor 

response  w.r.t.  its  baseline  for  the  purpose  of  contrast enhancement and drift compensation

• Reduction of humidity effects• Normalization:  compensation  for  the  scale  difference 

among the six sensors− Each sensor has been forced to have zero mean and variance 

equal to 1

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  52 

Signal pre­processing

Preprocessing:• Manipulation of the baseline: transformation of the sensor 

response  w.r.t.  its  baseline  for  the  purpose  of  contrast enhancement and drift compensation

• Reduction of humidity effects• Normalization:  compensation  for  the  scale  difference 

among the six sensors− Each sensor has been forced to have zero mean and variance 

equal to 1

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  53 

Dimensionality Reduction

Objective:  reduce  the  dimensionality  of  the  problem, improving the classification ability  1. Extraction  of  a  number  of  descriptors  able  to  represent  data 

characteristics in the most efficient way2.Feature Selection: maximization of the informative content3.Feature Extraction: projection in the lower dimensional space

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  54 

Dimensionality Reduction

Objective:  reduce  the  dimensionality  of  the  problem, improving the classification ability  1. Extraction  of  a  number  of  descriptors  able  to  represent  data 

characteristics in the most efficient way2.Feature Selection: maximization of the informative content3.Feature Extraction: projection in the lower dimensional space

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  55 

Dimensionality Reduction

Objective:  reduce  the  dimensionality  of  the  problem, improving the classification ability  1. Extraction  of  a  number  of  descriptors  able  to  represent  data 

characteristics in the most efficient way2.Feature Selection: maximization of the informative content3.Feature Extraction: projection in the lower dimensional space

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  56 

Dimensionality Reduction

Objective:  reduce  the  dimensionality  of  the  problem, improving the classification ability  1. Extraction  of  a  number  of  descriptors  able  to  represent  data 

characteristics in the most efficient way2.Feature Selection: maximization of the informative content3.Feature Extraction: projection in the lower dimensional space

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  57 

Descriptors Extraction

Extraction  of  a  number  of  descriptors  able  to  represent  data characteristics in the most efficient way

We considered 10 descriptors, calculated according to:

• resistance's variation• course of the curve• derivative• integral• FFT• resistance's minimum

Some of them were vectors, for a total of 39 descriptors Given 6 sensors, we obtained 234 dimensions   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  58 

Descriptors Extraction

Extraction  of  a  number  of  descriptors  able  to  represent  data characteristics in the most efficient way

We considered 10 descriptors, calculated according to:

• resistance's variation• course of the curve• derivative• integral• FFT• resistance's minimum

Some of them were vectors, for a total of 39 descriptors Given 6 sensors, we obtained 234 dimensions   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  59 

Descriptors Extraction

Extraction  of  a  number  of  descriptors  able  to  represent  data characteristics in the most efficient way

We considered 10 descriptors, calculated according to:

• resistance's variation• course of the curve• derivative• integral• FFT• resistance's minimum

Some of them were vectors, for a total of 39 descriptors Given 6 sensors, we obtained 234 dimensions   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  60 

Descriptors Extraction

Extraction  of  a  number  of  descriptors  able  to  represent  data characteristics in the most efficient way

We considered 10 descriptors, calculated according to:

• resistance's variation• course of the curve• derivative• integral• FFT• resistance's minimum

Some of them were vectors, for a total of 39 descriptors Given 6 sensors, we obtained 234 dimensions   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  61 

Descriptors Extraction

Extraction  of  a  number  of  descriptors  able  to  represent  data characteristics in the most efficient way

We considered 10 descriptors, calculated according to:

• resistance's variation• course of the curve• derivative• integral• FFT• resistance's minimum

Some of them were vectors, for a total of 39 descriptors Given 6 sensors, we obtained 234 dimensions   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  62 

Descriptors Extraction

Extraction  of  a  number  of  descriptors  able  to  represent  data characteristics in the most efficient way

We considered 10 descriptors, calculated according to:

• resistance's variation• course of the curve• derivative• integral• FFT• resistance's minimum

Some of them were vectors, for a total of 39 descriptors Given 6 sensors, we obtained 234 dimensions   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  63 

Descriptors Extraction

Extraction  of  a  number  of  descriptors  able  to  represent  data characteristics in the most efficient way

We considered 10 descriptors, calculated according to:

• resistance's variation• course of the curve• derivative• integral• FFT• resistance's minimum

Some of them were vectors, for a total of 39 descriptors Given 6 sensors, we obtained 234 dimensions   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  64 

Feature Selection Objective: maximization of the informative content

• Non­parametric test of Mann­Whitney­Wilcoxon• Scatter Plot• MANOVA

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  65 

Feature Selection Objective: maximization of the informative content

• Non­parametric test of Mann­Whitney­Wilcoxon• Scatter Plot• MANOVA

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  66 

Feature Selection

We found that the most discriminative features were:● Delta: sensors' resistance change during the measurement● Classic:  the  ratio  between  the  reference  line  and  the  minimum  value 

reached during the measurement● Phase  Integral:  the  closed  area determined by  the plot  of  the  state  of 

the graph of the measurement

Number of directions: 5 features x 6 sensors = 30 directions

● Integral● Single Point: the 

minimum value of the resistance reached during the measurement 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  67 

Feature Selection

We found that the most discriminative features were:● Delta: sensors' resistance change during the measurement● Classic:  the  ratio  between  the  reference  line  and  the  minimum  value 

reached during the measurement● Phase  Integral:  the  closed  area determined by  the plot  of  the  state  of 

the graph of the measurement

Number of directions: 5 features x 6 sensors = 30 directions

● Integral● Single Point: the 

minimum value of the resistance reached during the measurement 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  68 

Feature Extraction Objective:  project  data  in  a  lower  dimensional  space  maximizing  the 

classification accuracy ● Principal Component Analysis PCA 

● PCA  transforms  data  in  a  linear  way,  projecting  features  into  the direction with maximum variance

● It does not take in account sample labels● Non Parametric Linear Discriminant Analysis NPLDA (Fukunaga, 1983)

● A generalization of Fisher's  linear discriminant analysis: it looks for the projections able to maximize differences between classes and minimize those intra­class

● It  removes  the  unimodal  gaussian  assumption  by  computing  the between  scatter  matrix  S

b using  local  information  and  the  k­nearest 

neighbors rule● S

b is  full  rank,  allowing  to  extract  more  than  c­1  features

(c=number of classes)   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  69 

Feature Extraction Objective:  project  data  in  a  lower  dimensional  space  maximizing  the 

classification accuracy ● Principal Component Analysis PCA 

● PCA  transforms  data  in  a  linear  way,  projecting  features  into  the direction with maximum variance

● It does not take in account sample labels● Non Parametric Linear Discriminant Analysis NPLDA (Fukunaga, 1983)

● A generalization of Fisher's  linear discriminant analysis: it looks for the projections able to maximize differences between classes and minimize those intra­class

● It  removes  the  unimodal  gaussian  assumption  by  computing  the between  scatter  matrix  S

b using  local  information  and  the  k­nearest 

neighbors rule● S

b is  full  rank,  allowing  to  extract  more  than  c­1  features

(c=number of classes)   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  70 

Feature Extraction Objective:  project  data  in  a  lower  dimensional  space  maximizing  the 

classification accuracy ● Principal Component Analysis PCA 

● PCA  transforms  data  in  a  linear  way,  projecting  features  into  the direction with maximum variance

● It does not take in account sample labels● Non Parametric Linear Discriminant Analysis NPLDA (Fukunaga, 1983)

● A generalization of Fisher's  linear discriminant analysis: it looks for the projections able to maximize differences between classes and minimize those intra­class

● It  removes  the  unimodal  gaussian  assumption  by  computing  the between  scatter  matrix  S

b using  local  information  and  the  k­nearest 

neighbors rule● S

b is  full  rank,  allowing  to  extract  more  than  c­1  features

(c=number of classes)   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  71 

Feature Extraction Objective:  project  data  in  a  lower  dimensional  space  maximizing  the 

classification accuracy ● Principal Component Analysis PCA 

● PCA  transforms  data  in  a  linear  way,  projecting  features  into  the direction with maximum variance

● It does not take in account sample labels● Non Parametric Linear Discriminant Analysis NPLDA (Fukunaga, 1983)

● A generalization of Fisher's  linear discriminant analysis: it looks for the projections able to maximize differences between classes and minimize those intra­class

● It  removes  the  unimodal  gaussian  assumption  by  computing  the between  scatter  matrix  S

b using  local  information  and  the  k­nearest 

neighbors rule● S

b is  full  rank,  allowing  to  extract  more  than  c­1  features

(c=number of classes)   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  72 

Feature Extraction Objective:  project  data  in  a  lower  dimensional  space  maximizing  the 

classification accuracy ● Principal Component Analysis PCA 

● PCA  transforms  data  in  a  linear  way,  projecting  features  into  the direction with maximum variance

● It does not take in account sample labels● Non Parametric Linear Discriminant Analysis NPLDA (Fukunaga, 1983)

● A generalization of Fisher's  linear discriminant analysis: it looks for the projections able to maximize differences between classes and minimize those intra­class

● It  removes  the  unimodal  gaussian  assumption  by  computing  the between  scatter  matrix  S

b using  local  information  and  the  k­nearest 

neighbors rule● S

b is  full  rank,  allowing  to  extract  more  than  c­1  features

(c=number of classes)   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  73 

Feature Extraction Objective:  project  data  in  a  lower  dimensional  space  maximizing  the 

classification accuracy ● Principal Component Analysis PCA 

● PCA  transforms  data  in  a  linear  way,  projecting  features  into  the direction with maximum variance

● It does not take in account sample labels● Non Parametric Linear Discriminant Analysis NPLDA (Fukunaga, 1983)

● A generalization of Fisher's  linear discriminant analysis: it looks for the projections able to maximize differences between classes and minimize those intra­class

● It  removes  the  unimodal  gaussian  assumption  by  computing  the between  scatter  matrix  S

b using  local  information  and  the  k­nearest 

neighbors rule● S

b is  full  rank,  allowing  to  extract  more  than  c­1  features

(c=number of classes)   

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  74 

Feature Extraction: PCA vs NPLDA

No discrimination on the y­axis Poor  discrimination  with  very 

strong overlap on the x­axis

No discrimination on the y­axis Good discrimination on the x­axis

Best projection: the first NPLDA direction

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  75 

Feature Extraction: PCA vs NPLDA

No discrimination on the y­axis Poor  discrimination  with  very 

strong overlap on the x­axis

No discrimination on the y­axis Good discrimination on the x­axis

Best projection: the first NPLDA direction

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  76 

Feature Extraction: PCA vs NPLDA

No discrimination on the y­axis Poor  discrimination  with  very 

strong overlap on the x­axis

No discrimination on the y­axis Good discrimination on the x­axis

Best projection: the first NPLDA direction

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  77 

Classification

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  78 

Classification: Fuzzy k­NN  Fuzzy k­Nearest Neighbors (Keller, 1985)

A variation of the classic k­NN k­NN  assigns  a  sample  to  the  class  of  the  k  closest  samples  in  the 

training set It  has  been  demonstrated  that  the  k­NN  is  formally  a  non 

parametric  approximation  of  the  Maximum  a  Posteriori  MAP criterion

The asymptotic performance  is never higher  than  the double of the Bayesian error (with k=1)  

Critical  aspect:  choice  of  value  k  (with  a  limited  number  of samples)

too  large:  the problem  is  too much  simplified and  the  local information loses its relevance

too small: density estimation too sensitive to outliers

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  79 

Classification: Fuzzy k­NN  Fuzzy k­Nearest Neighbors (Keller, 1985)

A variation of the classic k­NN k­NN  assigns  a  sample  to  the  class  of  the  k  closest  samples  in  the 

training set It  has  been  demonstrated  that  the  k­NN  is  formally  a  non 

parametric  approximation  of  the  Maximum  a  Posteriori  MAP criterion

The asymptotic performance  is never higher  than  the double of the Bayesian error (with k=1)  

Critical  aspect:  choice  of  value  k  (with  a  limited  number  of samples)

too  large:  the problem  is  too much  simplified and  the  local information loses its relevance

too small: density estimation too sensitive to outliers

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  80 

Classification: Fuzzy k­NN  Fuzzy k­Nearest Neighbors (Keller, 1985)

A variation of the classic k­NN k­NN  assigns  a  sample  to  the  class  of  the  k  closest  samples  in  the 

training set It  has  been  demonstrated  that  the  k­NN  is  formally  a  non 

parametric  approximation  of  the  Maximum  a  Posteriori  MAP criterion

The asymptotic performance  is never higher  than  the double of the Bayesian error (with k=1)  

Critical  aspect:  choice  of  value  k  (with  a  limited  number  of samples)

too  large:  the problem  is  too much  simplified and  the  local information loses its relevance

too small: density estimation too sensitive to outliers

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  81 

Classification: Fuzzy k­NN  Fuzzy  k­NN  assigns  a  fuzzy  class  membership 

function to each sample  Neighbors are weighted according to their membership 

function to each class The  provided  output  will  be  a  fuzzy  vector  that  will 

express the membership value of the unknown sample to each class

The  fuzzy  output  can  be  used  to  investigate  the possibility of early detection and  to understand  the gravity of the disease 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  82 

Classification: Fuzzy k­NN  Fuzzy  k­NN  assigns  a  fuzzy  class  membership 

function to each sample  Neighbors are weighted according to their membership 

function to each class The  provided  output  will  be  a  fuzzy  vector  that  will 

express the membership value of the unknown sample to each class

The  fuzzy  output  can  be  used  to  investigate  the possibility of early detection and  to understand  the gravity of the disease 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  83 

Classification: Fuzzy k­NN  Fuzzy  k­NN  assigns  a  fuzzy  class  membership 

function to each sample  Neighbors are weighted according to their membership 

function to each class The  provided  output  will  be  a  fuzzy  vector  that  will 

express the membership value of the unknown sample to each class

The  fuzzy  output  can  be  used  to  investigate  the possibility of early detection and  to understand  the gravity of the disease 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  84 

Classification: Fuzzy k­NN  Fuzzy  k­NN  assigns  a  fuzzy  class  membership 

function to each sample  Neighbors are weighted according to their membership 

function to each class The  provided  output  will  be  a  fuzzy  vector  that  will 

express the membership value of the unknown sample to each class

The  fuzzy  output  can  be  used  to  investigate  the possibility of early detection and  to understand  the gravity of the disease 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  85 

Classification: Fuzzy k­NN The  membership  value  of  unlabeled  sample  x  to  ith  class  is 

given by the following formula:

where μij represents the membership of labeled x

j to the ith class

The parameter m determines how heavily the distance is weighted when  calculating  each  neighbor's  contribution  to  membership value 

μij can be crisp or calculated according to a fuzzy rule

We defined a fuzzy triangular membership function with maximum value at the average of the class and null outside the minimum and maximum value (multiplied by a constant)

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  86 

Classification: Fuzzy k­NN The  membership  value  of  unlabeled  sample  x  to  ith  class  is 

given by the following formula:

where μij represents the membership of labeled x

j to the ith class

The parameter m determines how heavily the distance is weighted when  calculating  each  neighbor's  contribution  to  membership value 

μij can be crisp or calculated according to a fuzzy rule

We defined a fuzzy triangular membership function with maximum value at the average of the class and null outside the minimum and maximum value (multiplied by a constant)

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  87 

Classification: Fuzzy k­NN The  membership  value  of  unlabeled  sample  x  to  ith  class  is 

given by the following formula:

where μij represents the membership of labeled x

j to the ith class

The parameter m determines how heavily the distance is weighted when  calculating  each  neighbor's  contribution  to  membership value 

μij can be crisp or calculated according to a fuzzy rule

We defined a fuzzy triangular membership function with maximum value at the average of the class and null outside the minimum and maximum value (multiplied by a constant)

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  88 

Cross­Validation Considering  the not  so big dimension of  population  and  that  for  each 

person we had two measures, we opted for a modified Leave­One­Outapproach: Each  test  set  is  composed  by  the  pair  of  measurements 

corresponding to the same person,  instead of a single measure as would have been in the normal leave­one­out method

Doing this way we avoided that one of these two measures could belong to  the  training set, while using the other one  in  the  test set 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  89 

Cross­Validation Considering  the not  so big dimension of  population  and  that  for  each 

person we had two measures, we opted for a modified Leave­One­Outapproach: Each  test  set  is  composed  by  the  pair  of  measurements 

corresponding to the same person,  instead of a single measure as would have been in the normal leave­one­out method

Doing this way we avoided that one of these two measures could belong to  the  training set, while using the other one  in  the  test set 

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  90 

Results: Confusion Matrix Performance  have  been  evaluated  through  confusion  matrix  and 

corresponding performance index We considered different values for k (k=1,3,5,9,101) 

Fuzzy k­NN demonstrated to be robust to these changes, keeping its  results invariant

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  91 

Results: Confusion Matrix Performance  have  been  evaluated  through  confusion  matrix  and 

corresponding performance index We considered different values for k (k=1,3,5,9,101) 

Fuzzy k­NN demonstrated to be robust to these changes, keeping its  results invariant

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  92 

Results: Confusion Matrix Performance  have  been  evaluated  through  confusion  matrix  and 

corresponding performance index We considered different values for k (k=1,3,5,9,101) 

Fuzzy k­NN demonstrated to be robust to these changes, keeping its  results invariant

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  93 

Results: Confusion Matrix Performance  have  been  evaluated  through  confusion  matrix  and 

corresponding performance index We considered different values for k (k=1,3,5,9,101) 

Fuzzy k­NN demonstrated to be robust to these changes, keeping its  results invariant

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  94 

Results: Performance Indexes

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  95 

Results: Performance Indexes

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  96 

Comparison to other classifiers In  order  to  prove  the  effectiveness  of  Fuzzy  k­NN  for  the  considered 

problem, we evaluated other families of classifiers: Classic k­NN Linear and Quadratic classifiers Feedforward Artificial Neural Network

sigmoidal activation function  one hidden layer with 3 neurons

All obtained results were comparable or worst than those achieved by Fuzzy k­NN

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  97 

Comparison to other classifiers In  order  to  prove  the  effectiveness  of  Fuzzy  k­NN  for  the  considered 

problem, we evaluated other families of classifiers: Classic k­NN Linear and Quadratic classifiers Feedforward Artificial Neural Network

sigmoidal activation function  one hidden layer with 3 neurons

All obtained results were comparable or worst than those achieved by Fuzzy k­NN

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  98 

Comparison to other classifiers

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  99 

Comparison to other classifiers Performing a student t­test  between all pairs of classifiers, no 

relevant differences emerged  All implemented classifiers result comparable  for the considered 

problem The  robustness  showed  by  Fuzzy  k­NN  to  k  changes  is  not 

verified  in  the  Classic  k­NN,  that  leads  to  different  results according to the value of k

Moreover the output given by Fuzzy k­NN can be used to extract informations  about  the  degree  of  membership  to  the assigned class In  further  works,  this  information  could  be  used  to  understand 

the  relation  between  the  given  pattern  and  the  stage  of  the disease

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  100 

Comparison to other classifiers Performing a student t­test  between all pairs of classifiers, no 

relevant differences emerged  All implemented classifiers result comparable  for the considered 

problem The  robustness  showed  by  Fuzzy  k­NN  to  k  changes  is  not 

verified  in  the  Classic  k­NN,  that  leads  to  different  results according to the value of k

Moreover the output given by Fuzzy k­NN can be used to extract informations  about  the  degree  of  membership  to  the assigned class In  further  works,  this  information  could  be  used  to  understand 

the  relation  between  the  given  pattern  and  the  stage  of  the disease

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  101 

Comparison to other classifiers Performing a student t­test  between all pairs of classifiers, no 

relevant differences emerged  All implemented classifiers result comparable  for the considered 

problem The  robustness  showed  by  Fuzzy  k­NN  to  k  changes  is  not 

verified  in  the  Classic  k­NN,  that  leads  to  different  results according to the value of k

Moreover the output given by Fuzzy k­NN can be used to extract informations  about  the  degree  of  membership  to  the assigned class In  further  works,  this  information  could  be  used  to  understand 

the  relation  between  the  given  pattern  and  the  stage  of  the disease

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  102 

Comparison to other classifiers Performing a student t­test  between all pairs of classifiers, no 

relevant differences emerged  All implemented classifiers result comparable  for the considered 

problem The  robustness  showed  by  Fuzzy  k­NN  to  k  changes  is  not 

verified  in  the  Classic  k­NN,  that  leads  to  different  results according to the value of k

Moreover the output given by Fuzzy k­NN can be used to extract informations  about  the  degree  of  membership  to  the assigned class In  further  works,  this  information  could  be  used  to  understand 

the  relation  between  the  given  pattern  and  the  stage  of  the disease

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  103 

Comparison to the state of the art methods In literature there are three main research works on lung cancer diagnosis by an e­nose

Sensors 8 QMB sensors 32 Polymer sensors Virtual SAW MOS

Classifier PLS­DA PCA­DA+SVM BP­ANN

Population 62 volunteers 76 volunteers 52 volunteers 101 volunteers

Test Set 1 sample * 62 times 10 volunteers 2 sample*101 times

Validation Leave­1­Out ABSENT ABSENT Modified Leave­1­OutAccuracy 90.3% 88.1% 80.0% 92.6%Sensitivity 100.0% 71.4% 80.0% 95.3%

Specificity 91.9% 80.0% 90.5%

100.0% 66.7% 100.0% 88.2%

93.4% 100.0% 96.3%

Tor Vergata University(1) Lerner Research Institue(2) Zhejang University(3)

Politecnico di Milano

FS­NPLDA­Fuzzy k­NN

76 volunteers (59 of them used in the training set+17 new) 

44.4% (w.r.t. diseased after surgery)94.4% (w.r.t. healthy people)

PrecisionPOS

PrecisionNEG

80.0% (w.r.t. diseased after surgery)

77.27% (w.r.t. healthy people)

American and Chinese researches did not consider any cross­validation technique Tor Vergata group considered 3 classes (Healthy, Diseased

before surgery and Diseased 

after surgery):

No medical foundation of it How would classifier perform merging the two diseased­subclasses?

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  104 

Comparison to the state of the art methods In literature there are three main research works on lung cancer diagnosis by an e­nose

Sensors 8 QMB sensors 32 Polymer sensors Virtual SAW MOS

Classifier PLS­DA PCA­DA+SVM BP­ANN

Population 62 volunteers 76 volunteers 52 volunteers 101 volunteers

Test Set 1 sample * 62 times 10 volunteers 2 sample*101 times

Validation Leave­1­Out ABSENT ABSENT Modified Leave­1­OutAccuracy 90.3% 88.1% 80.0% 92.6%Sensitivity 100.0% 71.4% 80.0% 95.3%

Specificity 91.9% 80.0% 90.5%

100.0% 66.7% 100.0% 88.2%

93.4% 100.0% 96.3%

Tor Vergata University(1) Lerner Research Institue(2) Zhejang University(3)

Politecnico di Milano

FS­NPLDA­Fuzzy k­NN

76 volunteers (59 of them used in the training set+17 new) 

44.4% (w.r.t. diseased after surgery)

94.4% (w.r.t. healthy people)

PrecisionPOS

PrecisionNEG

80.0% (w.r.t. diseased after surgery)

77.27% (w.r.t. healthy people)

American and Chinese researches did not consider any cross­validation technique Tor Vergata group considered 3 classes (Healthy, Diseased

before surgery and Diseased 

after surgery):

No medical foundation of it How would classifier perform merging the two diseased­subclasses?

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  105 

Comparison to the state of the art methods In literature there are three main research works on lung cancer diagnosis by an e­nose

Sensors 8 QMB sensors 32 Polymer sensors Virtual SAW MOS

Classifier PLS­DA PCA­DA+SVM BP­ANN

Population 62 volunteers 76 volunteers 52 volunteers 101 volunteers

Test Set 1 sample * 62 times 10 volunteers 2 sample*101 times

Validation Leave­1­Out ABSENT ABSENT Modified Leave­1­OutAccuracy 90.3% 88.1% 80.0% 92.6%Sensitivity 100.0% 71.4% 80.0% 95.3%

Specificity 91.9% 80.0% 90.5%

100.0% 66.7% 100.0% 88.2%

93.4% 100.0% 96.3%

Tor Vergata University(1) Lerner Research Institue(2) Zhejang University(3)

Politecnico di Milano

FS­NPLDA­Fuzzy k­NN

76 volunteers (59 of them used in the training set+17 new) 

44.4% (w.r.t. diseased after surgery)

94.4% (w.r.t. healthy people)

PrecisionPOS

PrecisionNEG

80.0% (w.r.t. diseased after surgery)

77.27% (w.r.t. healthy people)

American and Chinese researches did not consider any cross­validation technique Tor Vergata group considered 3 classes (Healthy, Diseased

before surgery and Diseased 

after surgery):

No medical foundation of it How would classifier perform merging the two diseased­subclasses?

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  106 

Comparison to current diagnostic methods The  use  of  an  electronic  nose  as  lung  cancer  diagnostic  tool  is 

reasonable if it gives some advantages compared to current diagnostic techniques

Electronic nose results better in terms of performance Electronic noses are cheaper, more robust, smaller (and thus eventually 

portable), very fast and non invasive instruments

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  107 

Comparison to current diagnostic methods The  use  of  an  electronic  nose  as  lung  cancer  diagnostic  tool  is 

reasonable if it gives some advantages compared to current diagnostic techniques

Electronic nose results better in terms of performance Electronic noses are cheaper, more robust, smaller (and thus eventually 

portable), very fast and non invasive instruments

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  108 

Comparison to current diagnostic methods The  use  of  an  electronic  nose  as  lung  cancer  diagnostic  tool  is 

reasonable if it gives some advantages compared to current diagnostic techniques

Electronic nose results better in terms of performance Electronic noses are cheaper, more robust, smaller (and thus eventually 

portable), very fast and non invasive instruments

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  109 

Extension and further direction of research The work could be extended into three parallel directions:

1. Improvement of Sensors Technology:• Development of longer­lyfe and more stable sensors• Development  of  hybrid  systems,  able  to  provide  both  selective 

and sensitive abilities  2. Improvement  of  Olfactory  Signal  Analysis  and  Classification 

Algorithms3. Medical Analysis

• According to the scientific literature, there are no studies on the variation of VOCs  in the breath before and after the surgery: this suggest as interesting the analysis, by an electronic nose, of the patterns' changes due to surgery 

• Individuation of risk factors connected to lung cancer• Involving  a  larger  population,  partitioning  it  according  to 

different stages and using the Fuzzy output information, it would be possible to study the possibility of early diagnose

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  110 

Extension and further direction of research The work could be extended into three parallel directions:

1. Improvement of Sensors Technology:• Development of longer­lyfe and more stable sensors• Development  of  hybrid  systems,  able  to  provide  both  selective 

and sensitive abilities  2. Improvement  of  Olfactory  Signal  Analysis  and  Classification 

Algorithms3. Medical Analysis

• According to the scientific literature, there are no studies on the variation of VOCs  in the breath before and after the surgery: this suggest as interesting the analysis, by an electronic nose, of the patterns' changes due to surgery 

• Individuation of risk factors connected to lung cancer• Involving  a  larger  population,  partitioning  it  according  to 

different stages and using the Fuzzy output information, it would be possible to study the possibility of early diagnose

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  111 

Extension and further direction of research The work could be extended into three parallel directions:

1. Improvement of Sensors Technology:• Development of longer­lyfe and more stable sensors• Development  of  hybrid  systems,  able  to  provide  both  selective 

and sensitive abilities  2. Improvement  of  Olfactory  Signal  Analysis  and  Classification 

Algorithms3. Medical Analysis

• According to the scientific literature, there are no studies on the variation of VOCs  in the breath before and after the surgery: this suggest as interesting the analysis, by an electronic nose, of the patterns' changes due to surgery 

• Individuation of risk factors connected to lung cancer• Involving  a  larger  population,  partitioning  it  according  to 

different stages and using the Fuzzy output information, it would be possible to study the possibility of early diagnose

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  112 

Extension and further direction of research The work could be extended into three parallel directions:

1. Improvement of Sensors Technology:• Development of longer­lyfe and more stable sensors• Development  of  hybrid  systems,  able  to  provide  both  selective 

and sensitive abilities  2. Improvement  of  Olfactory  Signal  Analysis  and  Classification 

Algorithms3. Medical Analysis

• According to the scientific literature, there are no studies on the variation of VOCs  in the breath before and after the surgery: this suggest as interesting the analysis, by an electronic nose, of the patterns' changes due to surgery 

• Individuation of risk factors connected to lung cancer• Involving  a  larger  population,  partitioning  it  according  to 

different stages and using the Fuzzy output information, it would be possible to study the possibility of early diagnose

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  113 

Extension and further direction of research The work could be extended into three parallel directions:

1. Improvement of Sensors Technology:• Development of longer­lyfe and more stable sensors• Development  of  hybrid  systems,  able  to  provide  both  selective 

and sensitive abilities  2. Improvement  of  Olfactory  Signal  Analysis  and  Classification 

Algorithms3. Medical Analysis

• According to the scientific literature, there are no studies on the variation of VOCs  in the breath before and after the surgery: this suggest as interesting the analysis, by an electronic nose, of the patterns' changes due to surgery 

• Individuation of risk factors connected to lung cancer• Involving  a  larger  population,  partitioning  it  according  to 

different stages and using the Fuzzy output information, it would be possible to study the possibility of early diagnose

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  114 

Extension and further direction of research The work could be extended into three parallel directions:

1. Improvement of Sensors Technology:• Development of longer­lyfe and more stable sensors• Development  of  hybrid  systems,  able  to  provide  both  selective 

and sensitive abilities  2. Improvement  of  Olfactory  Signal  Analysis  and  Classification 

Algorithms3. Medical Analysis

• According to the scientific literature, there are no studies on the variation of VOCs  in the breath before and after the surgery: this suggest as interesting the analysis, by an electronic nose, of the patterns' changes due to surgery 

• Individuation of risk factors connected to lung cancer• Involving  a  larger  population,  partitioning  it  according  to 

different stages and using the Fuzzy output information, it would be possible to study the possibility of early diagnose

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  115 

Extension and further direction of research The work could be extended into three parallel directions:

1. Improvement of Sensors Technology:• Development of longer­lyfe and more stable sensors• Development  of  hybrid  systems,  able  to  provide  both  selective 

and sensitive abilities  2. Improvement  of  Olfactory  Signal  Analysis  and  Classification 

Algorithms3. Medical Analysis

• According to the scientific literature, there are no studies on the variation of VOCs  in the breath before and after the surgery: this suggest as interesting the analysis, by an electronic nose, of the patterns' changes due to surgery 

• Individuation of risk factors connected to lung cancer• Involving  a  larger  population,  partitioning  it  according  to 

different stages and using the Fuzzy output information, it would be possible to study the possibility of early diagnose

Fuzzy k­NN Lung Cancer Identification by an Electronic Nose  116 

The end

Thanks!