Update/Oggi parliamo di Jeffrey Hinton e del Premio Nobel per la Fisica. A proposito, vai un po' oltre.

Hinton è l'indiscusso "padre del deep learning" nel campo dell'intelligenza artificiale. Il suo contributo fondamentale deriva dalla teoria degli algoritmi di backpropagation ampiamente utilizzati nel deep learning. Nel tardo autunno dello scorso anno a San Jose, ho visto per la prima volta Hinton intervistato su YouTube e ne sono rimasto affascinato. L'apparizione di Hinton è indimenticabile. Assomiglia molto a Pinocchio, soprattutto per il naso appuntito dell'omino di legno. A quel tempo, il mondo intero conosceva OpenAI e ChatGPT. Ma al di fuori della comunità dell’intelligenza artificiale, poche persone conoscono il nome di Hinton.

Ho preso in giro il vecchio parlando di Pinocchio.

Un piccolo burattino innocente e curioso che vuole diventare una persona reale. Allo stesso modo, Hinton è stato ridicolizzato per i suoi sforzi volti a rendere l’intelligenza artificiale una realtà. Le persone che hanno familiarità con la storia dello sviluppo dei computer dovrebbero sapere che il campo dell’intelligenza artificiale ha una strada accidentata, gli investimenti tecnici hanno vissuto alti e bassi e i professionisti sono stati ridicolizzati lungo il percorso. Se guardi il discorso di Hinton, i suoi occhi e le sue espressioni sono un po' più eleganti di quelli di Nochio.

La telefonata che annunciava il Premio Nobel arrivò dalla Svezia alle due di notte.

ha chiesto al telefono da Stoccolma. Dove sei? "Sono in un albergo economico in California e l'ambiente di rete qui è relativamente scadente." La risposta di Hinton è stata un po' imbarazzante. In questo momento, hai la sensazione di vincere il premio della fisica. Hinton ha detto che pensava fosse uno scherzo e ha scherzato, quindi ha usato la parola "sogno fantastico", che era come un sogno.

"Come ti descriveresti?

Uno scienziato informatico o un fisico che cerca di capire la biologia? "

Hinton non ha dato la risposta tra due semplici scelte.

Da quello che ho osservato nel corso degli anni, chiunque risponda direttamente alle domande a scelta multipla poste da altri non è una persona veramente forte.

Non importa quanto siano alti i tuoi titoli accademici, non serve a niente. Molti di noi sono molto abituati a risolvere i problemi. Una volta laureati, entriamo in uno stato di assenza di gravità e ci sentiamo fluttuanti e impotenti. Perché le persone sono entrate in una fase in cui non risolvono i problemi, ma trovano una strada. In realtà, la maggior parte delle domande iniziali presupposte da altri sono spesso di natura metafisica. Inoltre, le persone chiedevano semplicemente casualmente senza pensarci troppo. La strada la si fa da soli.

Hinton ha detto di essere "una persona che ha passato tutta la vita a pensare a come funziona il cervello umano. Nel tentativo di capire come funziona il cervello, ho trovato una tecnica che ha funzionato sorprendentemente bene".

Questa risposta è molto bella. Gli sforzi e la tenacia di una vita di Hinton hanno finalmente reso l’intelligenza artificiale una realtà. Quando era giovane, Hinton studiò all'Università di Cambridge. Per capire come pensa il cervello umano, cercò di specializzarsi contemporaneamente in fisica e fisiologia. Dopo aver rinunciato, dopo un anno, passò ad architettura e poi abbandonò. Un anno dopo passò alla filosofia. Due anni dopo non fu d'accordo con il suo tutor e alla fine conseguì una laurea in psicologia sperimentale. Quindi sarai disoccupato dopo la laurea.

Molte persone non sanno che Hinton ha effettivamente lavorato come falegname per un anno dopo la laurea. Ahah, Pinocchio di prima è sepolto qui.

Finché non ho sentito che esiste una specializzazione chiamata intelligenza artificiale.

Hinton andò decisamente all'Università di Edimburgo e conseguì un dottorato in intelligenza artificiale. Dopo la laurea, andò a insegnare alla Carnegie Mellon (CMU) negli Stati Uniti. "Sono rimasto sorpreso che tutti qui fossero in laboratorio una volta si sono lamentati". che la sua cerchia nel Regno Unito Dopo essere uscito dal lavoro, vado al bar. Inizialmente, Hinton ha affermato che non c'era quasi nessuna comunicazione all'interno del campus della CMU. L'unica comunicazione era con un professore di un'altra università degli Stati Uniti e un esperto di statistica che successivamente è entrato nella CMU, in modo che potessero discutere della direzione accademica dell'intelligenza artificiale. insieme. Incapace di trovare un modo o qualcuno per innamorarsi dell'intelligenza artificiale, Hinton in realtà lesse "Delitto e castigo" dello scrittore russo Fyodor Dostoevskij nel suo periodo più noioso.

Hinton pubblicò la teoria dell'algoritmo di backpropagation (BP) nel 1986. È difficile descriverlo in una parola e ci vuole un certo sforzo per spiegarlo.

In una parola, BP offre la capacità del deep learning di addestrarsi su set di dati di grandi dimensioni, che si tratti di riconoscimento di immagini, riconoscimento vocale o elaborazione del linguaggio naturale. Può anche fornire la capacità di generalizzazione di scenari di dati invisibili per il modello di grandi dimensioni Transfomer molto popolare di oggi. . Oggi, ChatGPT closed source di OpenAI e LLaMA open source di Meta stanno iniziando a essere familiari al settore. Infatti, sono entrambi basati sull'architettura Transfomer. Pre-formazione su grandi quantità di dati di testo. L'algoritmo di backpropagation può regolare i parametri del modello durante questo processo, consentendo al modello di catturare meglio le leggi statistiche del linguaggio.

Nei tutorial di machine learning per le lezioni universitarie di informatica, la backpropagation deve essere un capitolo chiave.

Ricordo che sette anni fa lessi (Apprendimento automatico) scritto dal professor Zhou Zhihua dell'Università di Tsinghua (perché c'è un'anguria sulla copertina, si chiama Libro dell'anguria nel cerchio). Reti", c'è una sezione speciale che spiega "Algoritmo di propagazione all'indietro dell'errore" è quello che solitamente chiamiamo algoritmo di propagazione all'indietro (algoritmo BP). Questo algoritmo è una tecnologia chiave nell'addestramento delle reti neurali e viene utilizzato per aggiornare i pesi della rete attraverso il "metodo di discesa del gradiente" per ridurre al minimo l'errore di previsione della rete.

Di fronte al boom tecnologico come personal computer, Internet, smartphone e cloud computing, Hinton, che è profondamente impegnato anche nel campo dell’informatica, e il sogno dell’intelligenza artificiale da lui inseguito, stanno seduti in panchina da trenta o quaranta anni.

Quando aveva quasi settant’anni, Hinton vide che l’intelligenza artificiale in tutto il mondo utilizzava l’algoritmo di deep learning da lui proposto.

Le persone che hanno familiarità con Hinton devono sapere che Ilya Sutskever, l'ex capo scienziato di OpenAI, era suo studente quando insegnava all'Università di Toronto, ed era considerato un suo stretto discepolo. Hinton ha riconosciuto le capacità sensoriali e ingegneristiche dello studente. Hinton ha raccontato che Ilya voleva scrivere un'interfaccia API per lo strumento di calcolo matematico MatLab per rendere più semplice per il proprio team organizzare dati complessi in un formato coerente. L'insegnante Hinton ha detto che non dovremmo perdere tempo con la ricerca. Questo lavoro richiederà un mese. Lo studente Ilya ha detto che ho finito di scrivere il programma stamattina. Nel 2013, Google ha acquisito DNNresearch, una startup di intelligenza artificiale co-fondata da Hinton e Ilya. Va detto che questa azienda era uno spin-off del gruppo di ricerca di Hinton, che stava conducendo ricerche sull'apprendimento automatico nel campo del riconoscimento delle immagini. Google ha utilizzato questa tecnologia per migliorare funzioni come la ricerca di foto.

Hinton è britannico.

Molti dicono che gli inglesi non sono più bravi. Gli inglesi non sono più così energici come lo erano durante l’impero sul quale il sole non tramontava mai. Quest'estate sono andato in giro per il Regno Unito e i miei amici a Londra mi hanno avvertito di stare attento agli speedster. Parliamo delle due università britanniche legate a Hinton, e saprete che non possiamo accontentarci. All'interno dell'Università di Cambridge, del Trinity College, solo nello studio della fisica teorica, qui emersero Newton, Maxwell e Hawking, gettando quasi le basi per tre importanti epoche della fisica. In campo informatico, similmente, oltre allo Xu Zhimo che conosciamo, ci sono anche Alan Turing e Hinton del King's College. Turing pose la famosa domanda: come verificare se una macchina è intelligente? Hinton ha passato la vita a risolvere problemi. Nel 2018, Hinton e altri due scienziati dell’intelligenza artificiale hanno vinto il Turing Award. Turing era un vero genio a quel tempo, ma soffrì di un grande dolore mentale e se ne andò dopo aver dato un morso a una mela ricoperta di cianuro di potassio. Oggi gli inglesi hanno iniziato a mettere il ritratto di Turing sulla banconota da 50 sterline.

Detto questo, molte persone non hanno idea di SANY nella cultura europea e americana e pensano che significhi la stessa cosa di SANY Heavy Industry.

"Trinità" si riferisce alla "Trinità" nella dottrina cristiana, cioè alla Trinità del Padre, del Figlio e dello Spirito Santo. In realtà è un concetto puramente teologico. In queste importanti università del Regno Unito, oltre alle aule, alle biblioteche e alle chiese, sono frequenti le presenze di dei e uomini.

Hinton trovò una casa accademica presso l'Università di Edimburgo.

Edimburgo è così bella. Il misterioso stile medievale nero può far riflettere la gente sulla fonte e sulla destinazione. Maxwell, il padre dell'elettromagnetismo, fu anche il primo a studiare matematica e fisica a Edimburgo. Cento anni fa, Gu Hongming, che conosceva sei lingue straniere all'Università di Pechino, indossava la cortesia vecchio stile in testa e teneva una teiera in mano durante le lezioni. Era quasi solo in opposizione al Partito rivoluzionario del 4 maggio. Aveva studiato per un dottorato in filosofia a Edimburgo. La nostra Università di Pechino a quel tempo era rumorosa sia all'interno che all'esterno della scuola e poteva accogliere sia rivoluzionari che conservatori come il signor Gu. L'insegnante di Mao Zedong quando studiava all'Università Normale di Changsha, Yang Changji, si laureò al Dipartimento di Filosofia dell'Università di Edimburgo. A Yang Changji piacque molto Mao. Successivamente venne all'Università di Pechino, gli promise sua figlia e trovò un lavoro per Mao in biblioteca. Mao ha cambiato la Cina L’illuminazione ideologica di Mao è arrivata da Yang Changji, laureato all’Università di Edimburgo.

Molti dicono che dare il Premio Nobel per la Fisica agli informatici sia un po' poco professionale. In realtà, questa non è la prima volta che il Premio Nobel viene assegnato al campo dei computer. Shockley e il team dei Bell Labs erano già presenti. Nel 1958 vinse il premio per l'invenzione del transistor. Il suo contributo promosse direttamente la tecnologia dei chip per computer. L'Accademia Militare di Whampoa nell'industria dei chip della Silicon Valley negli Stati Uniti dovrebbe raccomandare per prima il Laboratorio Shockley. A causa della cattiva gestione da parte degli scienziati, esso andò in pezzi per fondare la Fairchild Semiconductor e la Intel Moore, che propose la Legge di Moore un impiegato del suo laboratorio e un famoso Uno degli "Otto Ribelli" della Silicon Valley. Nvidia e TSMC di oggi sono in realtà i loro discendenti.

Hinton, uno scienziato, ha lavorato presso Google per dieci anni come vicepresidente prima di andarsene.

Non è che abbiano opinioni diverse, ma hanno lasciato il lavoro in azienda perché erano preoccupati per i rischi che l'intelligenza artificiale non potesse essere controllata dagli esseri umani. Hanno lasciato l'azienda per poter discutere liberamente dei rischi dell'intelligenza artificiale senza essere limitato dalle politiche interne dell'azienda, Hinton divenne un critico nel campo dell'intelligenza artificiale. Osservando la storia moderna, ho scoperto che i veri scienziati, una volta entrati nel mondo degli affari e della politica, sono sempre pieni di amore e odio. Lo stesso disaccordo nasce tra Ilya e Altman a causa dell '"ingenuità". Per favore, lasciatemi andare, gangster. Le mie parole qui sono un grande complimento.

Durante la seconda guerra mondiale, il fisico Oppenheimer aiutò l'esercito americano a creare la bomba atomica. Dopo la guerra, si oppose all'uso continuato delle bombe all'idrogeno per tutta la vita.

Scoprì di aver utilizzato la tecnologia per cambiare il mondo, ma nelle mani di alcune persone, questa tecnologia poteva andare fuori controllo in qualsiasi momento. Oppenheimer aveva ottenuto molti risultati nella ricerca scientifica e poteva candidarsi per il Premio Nobel, ma come si poteva assegnare il Premio Nobel a una persona che aveva costruito la bomba atomica? L'ultima parte della sua vita fu dolorosa e solitaria. Come Oppenheimer, anche Hinton ha tali preoccupazioni. Ha criticato pubblicamente il disprezzo di OpenAI per la sicurezza dell'intelligenza artificiale definendolo "ricerca di profitto capitalista". Se guardiamo indietro alla "Macchina del tempo" dello scrittore di fantascienza George Orwell più di cento anni fa, dovremmo sapere che oggi siamo già nel mondo della fantascienza che scrissero. Tuttavia, fino a che punto può andare avanti l’umanità oggi? Perché la perdita di controllo, la disillusione e la salvezza sono sempre il tema principale della fantascienza?

Se dovessi scrivere fantascienza, il primo capitolo riguarderebbe la guerra tra i due paesi se stessi, si riproducono e governano la terra. I big data di cui già disponiamo sono stati trasformati in sangue e cellule umane a base di silicio. L'odierna civiltà terrestre è diventata preistoria interstellare. Solo poche persone andarono su Marte con Noah e, ​​dopo diverse generazioni di duro lavoro, erano pronte a tornare in patria.

Pensi che la sceneggiatura sia un cliché?

Sono mortale.

La scienza è una componente fondamentale nella scala della civiltà umana e nella sua evoluzione a balza. Non è né buona né cattiva. Ma i primi oggetti di applicazione della scienza dopo i tempi moderni furono quasi sempre utilizzati in ambito militare.

Cos'è un "cuore scientifico"? Non oso trarre una conclusione. Ci sono molti scienziati come Hinton. Sono puliti di cuore, curiosi e si concentrano su una cosa senza essere disturbati dal mondo esterno. Lo sento. I grandi scienziati, dall’amore per l’esplorazione guidato dalla curiosità per una piccola cosa, alla fine passano all’amore per la preoccupazione per il destino dell’umanità. Il pensiero migliore deriva da una sola parola, amore. Nel frattempo c’è spesso tristezza.

Diciamo spesso che le cose belle arrivano solo col tempo.

Ma forse, le cose belle richiederanno una vita.