Teorema lui Cover
Capacul teoremă este o declarație a teoriei învățării mașinii și este una dintre principalele motivații teoretice pentru utilizarea kernel truc neliniară în aplicații de învățare mașină . Teorema afirmă că, având în vedere un set de date de antrenament care nu este separabil printr-un clasificator liniar , se poate transforma cu mare probabilitate într-un set care poate fi separat liniar prin proiectarea acestuia într-un spațiu cu dimensiuni superioare prin intermediul unei transformări neliniare. Teorema este numită după teoreticianul informației Thomas M. Cover care a declarat-o în 1965. În propria formulare, se citește după cum urmează:
„ O problemă complexă de clasificare a modelelor, aruncată într-un spațiu cu dimensiuni ridicate neliniar, este mai probabil să fie separabilă liniar decât într-un spațiu cu dimensiuni reduse, cu condiția ca spațiul să nu fie dens populat. "Demonstrație
Dat fiind eșantioane, le asociem cu vârfurile unui simplex în spațiul dimensional real . Deoarece fiecare partiție a probelor în două seturi este separabilă printr-un separator liniar, urmează teorema.
Note și referințe
- „O problemă complexă de clasificare a modelelor, transpusă neliniar într-un spațiu cu dimensiuni ridicate, este mai probabil să fie separabilă liniar decât într-un spațiu cu dimensiuni reduse, cu condiția ca spațiul să nu fie dens populat.”.
- Simon Haykin , Rețele neuronale și mașini de învățat , Upper Saddle River, New Jersey, Pearson Education Inc,2009( ISBN 978-0-13-147139-9 ) , p. 232–236
- Thomas.M. Coperta, „ Proprietăți geometrice și statistice ale sistemelor de inegalități liniare cu aplicații în recunoașterea tiparelor ”, IEEE Transactions on Electronic Computers , vol. EC-14, nr . 3,1965, p. 326–334 ( DOI 10.1109 / pgec.1965.264137 , citiți online )
- Kishan Mehrotra , Chilukuri K. Mohan și S. Sanjay , Elemente ale rețelelor neuronale artificiale , MIT Press,1997, A 2 -a ed. ( ISBN 0-262-13328-8 , citit online ) (Secțiunea 3.5)