Neural Network คืออะไร ? รู้จักเครือข่ายประสาทเทียม เทคโนโลยีเบื้องหลัง AI

Neural Network คืออะไร ?

ในปัจจุบันนี้ โลกเทคโนโลยีเติบโตไปข้างหน้าอย่างรวดเร็ว การประมวลผลข้อมูลมีความสำคัญมากขึ้นกว่าที่เคยเป็น เพราะมันคือเบื้องหลังที่เป็นหัวใจสำคัญของ ปัญญาประดิษฐ์ (AI) และ การเรียนรู้ของเครื่อง (Machine Learning) หนึ่งในเทคนิคที่สำคัญคือ แนวคิดของ "เครือข่ายประสาทเทียม" หรือ "Neural Network" ที่เป็นเสมือนรากฐานในการพัฒนา AI ที่สามารถเรียนรู้ และปรับปรุงตัวเองได้

บทความนี้จะมาอธิบายให้คุณผู้อ่านเข้าใจ Neural Network กันมากขึ้น โดยเริ่มตั้งแต่ความหมายพื้นฐาน, หลักการทำงาน จนถึงการนำมันไปประยุกต์ใช้ในหลากหลายด้าน ถ้าพร้อมแล้ว มาเริ่มต้นกันครับ

เครือข่ายประสาทเทียม คืออะไร ? (What is Neural Network ?)

Neural Network หรือแปลเป็นภาษาไทยได้ว่า เครือข่ายประสาทเทียม หมายถึงโปรแกรม หรือโมเดลจำลองการเรียนรู้ของเครื่องจักร (Machine Learning) ที่มีคุณสมบัติในการตัดสินใจในลักษณะที่คล้ายกับการทำงานของสมองมนุษย์ โดยอาศัยกระบวนการที่เลียนแบบการทำงานของเซลล์ประสาทของสมองมนุษย์ ในการวิเคราะห์สถานการณ์, ชั่งน้ำหนักทางเลือกอย่างมีเหตุผล ก่อนที่จะสรุปเป็นผลลัพธ์ออกมา

โดย Neural Network ทุกโมเดล จะประกอบด้วย "ชั้น (Layer)" ของ "โหนด (Note)" เพื่อทำหน้าที่เลียนแบบเซลล์ประสาทเทียม โดยมีทั้ง ชั้นนำเข้า (Input Layer), ชั้นแฝง (Hidden Layer) จำนวนอย่างน้อย 1 ชั้น และ ชั้นนำออก (Output Layer) Node เหล่านี้จะเชื่อมต่อหากันเป็นเครือข่าย โดยแต่ละ Node จะมีน้ำหนักเหตุผล และหลักเกณฑ์ของตัวเอง หากผลลัพธ์ของ Node ใดก็ตาม มีค่าสูงกว่าเกณฑ์ที่กำหนดไว้ Node ดังกล่าวจะทำงาน และส่งข้อมูลไปยัง Layer ถัดไปของเครือข่าย แต่หากผลลัพธ์ไม่ถึงเกณฑ์ ข้อมูลก็จะไม่ถูกส่งต่อไปยัง Layer ถัดไป

ภาพจาก : https://becominghuman.ai/introduction-to-neural-networks-and-machine-learning-f76c756a567a

น้ำหนักเหตุผล และหลักเกณฑ์ ที่ถูกกำหนดภายใน Neural Network เกิดมาจากการฝึกอบรมเพื่อเรียนรู้ และปรับปรุงความแม่นยำ เมื่อโมเดลได้รับการปรับแต่งให้มีความแม่นยำสูงสุดแล้ว Neural Network จะกลายเป็นเครื่องมือที่ทรงพลังในการทำงานของ AI มันช่วยให้เราสามารถจำแนก และจัดกลุ่มข้อมูลได้อย่างรวดเร็ว งานที่เกี่ยวข้องกับการจดจำเสียง หรือภาพ จะใช้เวลาเพียงไม่กี่นาทีก็เสร็จ ในขณะที่หากใช้มนุษย์ในการระบุอาจต้องใช้เวลานานหลายชั่วโมง

ตัวอย่างที่รู้จักกันดี และหลายคนน่าจะเคยใช้งานมันอย่างแน่นอน ก็คือระบบค้นหาของ Google Search ที่มันสามารถแสดงผลลัพธ์ได้อย่างแม่นยำ ตรงความต้องการของเราได้อย่างชาญฉลาด เบื้องหลังก็อาศัย Neural Network ในการทำงาน

บางครั้ง Neural Network ก็จะถูกเรียกว่า Artificial Neural Networks (ANNs) หรือ Simulated Neural Networks (SNNs) ถือเป็นส่วนหนึ่งของ Machine Learning และหัวใจสำคัญของ การเรียนรู้เชิงลึก (Deep Learning)

ภาพจาก : https://www.mlguru.ai/Learn/concepts-deep-learning

เครือข่ายประสาทเทียม ทำงานอย่างไร ? (How does Neural Networks work ?)

ภายในแต่ละ Node ของ Neural Network นั้น จะทำงานในลักษณะที่เหมือนมีโมเดลการถดถอยเชิงเส้น (Linear Regression) เป็นวิธีการทางสถิติที่ใช้หาความสัมพันธ์ระหว่างตัวแปรต้น และตัวแปรตาม โดยมักใช้สมการเชิงเส้นในการทำนายค่าตัวแปรตามจากตัวแปรต้น ซึ่งประกอบด้วย การนำเข้าข้อมูล (Input Data), น้ำหนักของเหตุผล (Weight), อคติ (Bias), กฏเกณฑ์ (Threshold) และผลลัพธ์ (Output) โดยสูตรที่ใช้มักจะมีลักษณะ ดังต่อไปนี้

เมื่อ Input Layer ได้รับข้อมูลที่ถูกป้อนเข้าไปจะเริ่มมีการกำหนดน้ำหนัก ค่าน้ำหนักเหล่านี้จะถูกใช้ในการกำหนดความสำคัญของตัวแปรแต่ละตัว โดยข้อมูลที่มีค่าน้ำหนักมาก จะมีอิทธิพลส่งผลกระทบต่อผลลัพธ์ได้มากกว่าข้อมูลตัวอื่นที่มีค่าน้ำหนักน้อยกว่า หลังจากที่ข้อมูลทั้งหมดได้รับการชั่งน้ำหนักครบถ้วนแล้ว มันจะถูกส่งผ่านไปยังฟังก์ชันกระตุ้น (Activation Function) เพื่อกำหนดผลลัพธ์ หากผลลัพธ์ของ Node นั้นเกินเกณฑ์ที่กำหนดไว้ มันจะถูกกระตุ้น และส่งข้อมูลไปยังชั้น Layer ถัดไป กระบวนการที่ข้อมูลจาก Layer หนึ่ง ถูกผลักดันไปยัง Layer ถัดไป จะเรียกว่า "Feedforward Network"

ภาพจาก : https://www.doc.ic.ac.uk/~nuric/posts/teaching/imperial-college-machine-learning-neural-networks/

มาเจาะลึก การทำงานภายใน Node กันสักหน่อย โดยใช้ค่า ไบนารี (Binary) ในการอ้างอิง ตัวอย่างเช่น เราจะออกไปทานข้าวข้างนอกบ้านหรือไม่ ? "ใช่ : 1, ไม่ใช่ : 0" สมมติให้มี 3 เงื่อนไข (3 Node) ที่ส่งผลต่อการตัดสินใจ ดังนี้

1. อาหารอร่อยไหม ? ("ใช่ : 1, ไม่ใช่ : 0")
2. ต้องรอคิวหรือไม่ ? ("ใช่ : 1, ไม่ใช่ : 0")
3. รับการสแกนจ่ายไหม ? ("ใช่ : 1, ไม่ใช่ : 0")

ตัวเลือกถัดมา

• X1 = 1, ร้านนี้อาหารอร่อย
• X2 = 0, คิวยาวมาก
• X3 = 1, รองรับการสแกนจ่าย

ทีนี้ เรามาลองชั่งน้ำหนักเหตุผล เพื่อกำหนดความสำคัญว่าตัวแปรไหนที่มีผลต่อการตัดสินใจ และผลลัพธ์มากที่สุด

• W1 = 5, เพราะสำหรับอาหารแล้ว รสชาติสำคัญที่สุด
• W2 = 2, ชินกับการต่อคิวอยู่แล้ว
• W3 = 4,  เพราะคุณเลิกพกเงินสดมานานแล้ว

สุดท้าย สมมติว่าเรากำหนดค่าอคติ (Bias) เอาไว้ที่ "3" จากนั้นก็นำข้อมูลไปป้อนในสูตรเพื่อหาผลลัพธ์ ซึ่งเราจะเรียกมันว่า "y-hat" (ค่าผลลัพธ์ที่เราคาดการณ์ หรือคำนวณจากแบบจำลองทางสถิติ หรือ Machine Learning) 

ตอนนี้เราได้ผลลัพธ์ออกมาเป็น "6" นั่นหมายความว่า เราจะตัดสินใจเลือก Node แรก เพราะค่าน้ำหนักของ Node นี้มีค่าเท่ากับ "5" 

น่าจะพอเห็นหลักการทำงานของ Neural Network กันแล้ว ซึ่งกระบวนการนี้จะถูกแบ่งออกโครงสร้างพื้นฐานเป็น Layer ได้ ดังนี้

ชั้นนำเข้า (Input Layer)

ข้อมูลจากโลกภายนอกจะถูกป้อนเข้าสู่ Neural Network ที่ชั้น Input Layer นี้ เพื่อประมวลผลข้อมูล, วิเคราะห์ หรือจัดหมวดหมู่ ก่อนจะส่งต่อไปยังชั้นถัดไป

ชั้นแฝง (Hidden Layer)

Hidden Layer หรือชั้นแฝง จะรับข้อมูลนำเข้าจากชั้น Input Layer หรือชั้น Hidden Layer อื่น ๆ โดยภายใน Neural Network สามารถมีชั้น Hidden Layer จำนวนกี่ชั้นก็ได้ โดยแต่ละชั้นจะวิเคราะห์ผลลัพธ์จากชั้นก่อนหน้า เพื่อประมวลผลเพิ่มเติม ก่อนส่งต่อไปยังชั้นถัดไป

ชั้นนำออก (Output Layer)

Output Layer หรือชั้นนำออก จะให้ผลลัพธ์สุดท้ายที่ได้จากการประมวลผลข้อมูลทั้งหมด โดยภายใน Neural Network สามารถมีชั้น Outer Layer กี่ Node ก็ได้ ขึ้นอยู่กับจำนวนคำตอบที่เราต้องการ หากเป็นปัญหาแบบ Binary ที่ต้องการคำตอบแค่ ใช่ หรือไม่ใช่ ก็มีแค่ Node เดียว ซึ่งจะให้ผลลัพธ์เป็น 1 หรือ 0 อย่างไรก็ตาม หากปัญหามีการจำแนกได้เป็นหลายคำตอบ ชั้น Output Layer ก็อาจประกอบด้วย Node จำนวนมากกว่าหนึ่ง

สถาปัตยกรรมของเครือข่ายประสาทเทียมเชิงลึก (Deep Neural Network Architecture)

สำหรับสถาปัตยกรรมแบบ Deep Neural Network Architecture หรือเครือข่ายประสาทเทียมเชิงลึก จะประกอบขึ้นจาก Hidden Layer ที่มีจำนวน Node นับล้านเชื่อมโยงกัน ในทางทฤษฎีแล้ว เครือข่ายประสาทเทียมเชิงลึกสามารถวิเคราะห์ข้อมูลได้ทุกประเภทเพื่อหาผลลัพธ์ อย่างไรก็ตาม พวกมันก็ยังต้องได้รับการฝึกฝนด้วยตัวอย่างข้อมูลจำนวนมหาศาลหลายล้านตัวอย่างด้วยเช่นกัน 

ประเภทของ เครือข่ายประสาทเทียม (Types of Neural Network)

เครือข่ายประสาทเทียมมีอยู่หลายรูปแบบ ขึ้นอยู่กับลักษณะงานที่ต้องการนำไปใช้ แต่ละแบบจะมีโครงสร้าง และหน้าที่ที่เป็นเอกลักษณ์ Neural Network ที่นิยมใช้งานกันอย่างแพร่หลายในปัจจุบัน ก็อย่างเช่น

เครือข่ายประสาทเทียมเชิงคอนโวลูชัน (Convolutional Neural Networks - CNNs)

Convolutional Neural Networks (CNNs) เป็นเครือข่ายประสาทเทียมเ ที่สามารถป้อนข้อมูลภาพ, ระบุวัตถุในภาพ และแยกแยะวัตถุต่าง ๆ จากกันได้ CNNs ถูกนำมาใช้ในงานด้านที่เกี่ยวข้องกับการจำแนกรูปแบบ, รูปภาพ และการตรวจจับวัตถุ

โครงสร้างของ CNNs ประกอบด้วยชั้น Layer หลักสามชั้น ชั้นแรกคือ ชั้น Convolutional Layer ซึ่งเป็นชั้นหลัก การคำนวณส่วนใหญ่จะเกิดขึ้นในชั้นนี้, ชั้นที่สองคือ ชั้น Pooling Layer ซึ่งจะลดจำนวนพารามิเตอร์ของข้อมูลที่ถูกป้อนเข้ามา สุดท้ายคือชั้น Connected Layer ซึ่งจะทำการจำแนกคุณสมบัติที่ดึงมาจากชั้นก่อนหน้า

2. เครือข่ายประสาทเทียมแบบเรียกซ้ำ (Recurrent Neural Networks - RNNs)

Recurrent Neural Networks (RNNs) มีความสามารถในการแปลภาษา, รู้จำเสียง, การประมวลผลภาษาธรรมชาติ (NLP) และการอธิบายภาพ ตัวอย่างเทคโนโลยีที่ใช้ RNNs ในการทำงานอยู่เบื้องหลัง ก็อย่างเช่น การสั่งงานด้วยคำสั่งเสียงบนสมาร์ทโฟน หรือลำโพงอัจฉริยะ

โดย Feedback Loops ที่มีในโครงสร้างของ RNNs จะช่วยให้ข้อมูลถูกเก็บไว้ในลักษณะที่คล้ายกับการทำงานของความทรงจำในสมองมนุษย์

3. เครือข่ายฟังก์ชันฐานแบบรัศมี (Radial Basis Functions Networks - RBFs)

Radial Basis Function (RBF) หรือเครือข่ายฟังก์ชันฐานแบบรัศมี มีความแตกต่างจาก Neural Network อื่น ๆ เพราะในชั้น Input Layer จะไม่มีการคำนวณ แต่ข้อมูลจะถูกส่งตรงไปยัง Hidden Layer ทำให้ RBF มีความเร็วในการเรียนรู้ที่ค่อนข้างสูง การประยุกต์ใช้งานที่ได้รับความนิยม ก็จะเป็นงานประเภทการคาดการณ์อนุกรมเวลา, การประมาณค่าฟังก์ชัน ฯลฯ

4. เครือข่ายหน่วยความจำระยะสั้น-ยาว (Long Short-Term Memory Networks - LTSM)

Long Short-Term Memory (LSTM) มีคุณสมบัติที่เป็นเอกลักษณ์เฉพาะตัว โดยมันสามารถจัดการข้อมูลโดยแบ่งเป็นเซลล์หน่วยความจำระยะสั้น และระยะยาว ขึ้นอยู่กับว่า ข้อมูลนั้นจำเป็นต้องส่งกลับเข้าสู่เครือข่ายเป็น "จุดข้อมูล" (Data Point) หรืออนุกรมทั้งหมด (Entire Sequence) หรือไม่ ?

LSTM ยังสามารถใช้ในการระบบจดจำลายมือ และการแปลงวิดีโอให้เป็นข้อความได้อีกด้วย

5. เพอร์เซปตรอนแบบหลายชั้น (Multilayer Perceptrons - MLPs)

Multilayer Perceptrons (MLPs) เป็น Neural Network ที่สามารถเรียนรู้ความสัมพันธ์ระหว่างข้อมูลเชิงเส้น (Linear) และไม่เชิงเส้น (Non-Linear) ได้ โดยผ่านกระบวนการย้อนกลับ (Backpropagation) ด้วยกระบวนการดังกล่าว ช่วยให้ MLPs สามารถลดอัตราความผิดพลาดที่มีโอกาสเกิดขึ้นได้ 

โดย MLPs นิยมนำไปใช้ในงานประเภทการจดจำใบหน้า และ การมองเห็นของคอมพิวเตอร์ (Image Recognition)

6. เครือข่ายปัญญาประดิษฐ์ศัตรู (Generative Adversarial Networks - GANs)

Generative Adversarial Networks (GANs) เป็นระบบ Neural Network ที่สามารถสร้างชุดข้อมูลใหม่ที่มีลักษณะเดียวกับข้อมูลที่มันใช้ในการฝึกอบรมได้ และผลลัพธ์ที่ได้ก็มักจะสามารถผ่านการตรวจสอบว่าเป็นข้อมูลจริง

ตัวอย่างที่เราพบเห็นกันบ่อยในช่วงนี้คือ ผลงานศิลปะที่สร้างด้วย AI GANs ที่สามารถสร้างผลงานเลียนแบบสไตล์ผลงานของศิลปินที่มีชื่อเสียงได้อย่างแนบเนียนจนกลายเป็นกระแสดรามากันอยู่พักใหญ่ เนื่องจากตัวศิลปินไม่พอใจที่ผลงานถูกนำไปใช้โดยไม่ได้รับการขออนุญาต

7. เครือข่ายการเรียนรู้เชิงลึก (Deep Belief Networks - DBNs)

Deep Belief Networks (DBNs) มีความพิเศษตรงที่มันสามารถ "เรียงซ้อน" เครือข่ายย่อย ที่แต่ละเครือข่ายนั้น สามารถใช้ชั้น Hidden Layer ของเครือข่ายอื่นเป็นอินพุตสำหรับชั้น Layer ถัดไปได้ ซึ่งช่วยให้เครือข่าย Neural Network สามารถฝึกได้เร็วขึ้น

DBNs ยังถูกนำไปประยุกต์ใช้ ในการสร้างภาพ และข้อมูลการจับการเคลื่อนไหว (Motion-Capture Data) อีกด้วย

8. แผนที่จัดระเบียบตัวเอง (Self-Organising Maps - SOMs)

Self-Organising Maps (SOMs) หรือที่รู้จักในอีกชื่อว่าแผนที่โคโฮเนน (Kohonen Map) เป็นโมเดลที่มีความสามารถในการสามารถแปลงชุดข้อมูลที่มีความซับซ้อนมากให้เป็นแผนที่สองมิติ ที่สามารถทำความเข้าใจได้ง่าย โดยสามารถมองเห็นความสัมพันธ์เชิงเรขาคณิตได้

นี่เป็นเพราะ SOMs ใช้อัลกอริธึมการเรียนรู้เชิงแข่งขัน (Competitive Learning Algorithms) ที่แต่ละ Node จะต้องแข่งขันกันเพื่อแสดงในผลลัพธ์ มีการตัดสินว่า Node ไหนที่เป็นตัวแทนของอินพุตได้ดีที่สุด งานที่มีการประยุกต์ใช้ SOMs อย่างเช่น วิเคราะห์แนวโน้มการลงคะแนนเสียงเพื่อการวิเคราะห์ และการจัดระเบียบข้อมูลที่ได้จากยานอวกาศอันซับซ้อน เพื่อให้นักดาราศาสตร์สามารถนำมาวิเคราะห์ได้ง่ายขึ้น

ภาพจาก : https://medium.com/towards-data-science/the-mostly-complete-chart-of-neural-networks-explained-3fb6f2367464

ประวัติความเป็นมาของเครือข่ายประสาทเทียม (History of Neural Network)

ยุคนี้คำว่า Neural Network อาจไม่คุ้นหู เท่ากับคำว่า Deep Learning แต่อันที่จริงแล้ว การเรียนรู้เชิงลึก หรือ Deep Learning จัดว่าเป็นชื่อใหม่ Neural Networks

Neural Nets ค.ศ. 1944 (พ.ศ. 2487)

แนวคิด Neural Networks ถูกเสนอเป็นครั้งแรกในปี ค.ศ. 1944 (พ.ศ. 2487) โดย Warren McCullough และ Walter Pitts สองนักวิจัยจากมหาวิทยาลัยชิคาโก ที่ภายหลังย้ายไปทำงานที่ สถาบันเทคโนโลยีแมสซาชูเซตส์ (Massachusetts Institute of Technology (MIT) ในปี ค.ศ. 1952 (พ.ศ. 2495) ในฐานะสมาชิกผู้ก่อตั้ง "แผนกวิทยาศาสตร์ทางปัญญา" (Cognitive Science Department) แห่งแรกของโลก

Neural Nets ที่ทาง Warren McCullough และ Walter Pitts นิยามไว้ในปี ค.ศ. 1944 (พ.ศ. 2487) จะมีค่าเกณฑ์ และน้ำหนัก กำกับไว้ในแต่ละ Node แต่พวกมันไม่ได้ถูกจัดเรียงเป็นชั้น ๆ และไม่ได้ระบุวิธีการฝึกอบรมใด ๆ เลย สิ่งที่ McCullough และ Pitts เสนอ เป็นเพียงหลักการเท่านั้น จุดประสงค์คือ เพื่อเสนอว่าสมองมนุษย์สามารถถูกมองว่าเป็นอุปกรณ์คำนวณได้

เครือข่ายประสาทเทียม (Neural Nets) เป็นสาขาการวิจัยสำคัญทั้งในด้านประสาทวิทยา และวิทยาการคอมพิวเตอร์ จนกระทั่งปี ค.ศ. 1969 (พ.ศ. 2512) มีเรื่องเล่ากันในวงการวิทยาการคอมพิวเตอร์ว่า สาขาเครือข่ายประสาทเทียมถูกสั่งยุบโดยนักคณิตศาสตร์จาก MIT คือ Marvin Minsky และ Seymour Papert ที่ในปีต่อมา พวกเขาได้กลายเป็นผู้ร่วมกำกับห้องปฏิบัติการปัญญาประดิษฐ์แห่งใหม่ของ MIT

โดยสิ่งที่ Neural Nets ค้นคว้า จะเป็นการพัฒนา Machine Learning ที่คอมพิวเตอร์สามารถเรียนรู้ที่จะทำงานบางอย่าง โดยการวิเคราะห์ตัวอย่างด้วยการฝึกอบรม ซึ่งตามปกติแล้ว ตัวอย่างเหล่านี้จะถูกระบุป้าย (Label) ไว้ล่วงหน้า ตัวอย่างเช่น ระบบจดจำวัตถุอาจถูกป้อนด้วยภาพที่มีป้ายกำกับของรถยนต์, บ้าน, แก้วกาแฟ และอื่น ๆ หลายพันภาพ และมันจะค้นหารูปแบบภาพที่มีความสัมพันธ์กับป้ายที่กำหนดอย่างต่อเนื่อง

Neural Nets กลายเป็นเครื่องมือที่มีประสิทธิภาพสำหรับการวิจัยทางประสาทวิทยา ตัวอย่างเช่น ทำให้เห็นคุณสมบัติที่สังเกตได้ของกายวิภาคประสาท และการรับรู้ของมนุษย์ 

Perceptron ค.ศ. 1957 (พ.ศ. 2500)

Neural Network แบบฝึกได้ตัวแรกของโลกคือ เพอร์เซปตรอน (Perceptron) ที่พัฒนาโดย Frank Rosenblatt นักจิตวิทยาของมหาวิทยาลัยคอร์เนลล์ (Cornell University) ในปี ค.ศ. 1957 (พ.ศ. 2500)

Perceptron ได้รับการออกแบบคล้ายกับ Neural Network ในปัจจุบันนี้ เพียงแต่ว่ามันมี Layer เพียงชั้นเดียวเท่านั้น ที่มีค่าเกณฑ์ และน้ำหนักที่ปรับได้ ซึ่งถูกแทรกอยู่ระหว่างชั้น Input Layer และชั้น Output Layer

Perceptron กลายเป็นสาขาการวิจัยที่สำคัญทั้งในด้านจิตวิทยา และวิทยาการคอมพิวเตอร์ที่กล่าวได้ว่ายังอยู่ในช่วงตั้งไข่ จนกระทั่งในปี ค.ศ. 1959 (พ.ศ. 2502) เมื่อ Marvin Minsky และ Seymour Papert ได้ตีพิมพ์หนังสือชื่อ "Perceptrons" ซึ่งแสดงให้เห็นว่างานด้านการคำนวณบางอย่างที่พบได้บ่อยใน Perceoptron จะใช้เวลามากเกินไปจนไม่สามารถใช้งานได้จริง หนังสือเล่มได้นี้สร้างผลกระทบต่อการวิจัยเครือข่ายประสาทเทียมในวงกว้าง ทั้งนี้ Tomaso Poggio ศาสตราจารย์แห่ง MIT ก็ได้เสนอทางออกว่า ปัญหานี้แก้ได้ด้วยการเพิ่มชั้น Layer เข้าไปอีก 1 ชั้น 

Periodicity ค.ศ. 1980 (พ.ศ. 2523)

แม้จะมองเห็นวิธีแก้ปัญหาข้อจำกัดของ Perceptron แล้ว แต่กว่าจะคิดค้นอัลกอริธึมที่นำมาใช้งานได้ เวลาก็เดินทางมาถึงทศวรรษ ค.ศ. 1980 (พ.ศ. 2523) ที่นักวิจัยประสบความสำเร็จในการพัฒนาอัลกอริธึมสำหรับการปรับค่าเกณฑ์ และน้ำหนัก ของเครือข่ายประสาทเทียมที่มีประสิทธิภาพเพียงพอสำหรับเครือข่ายที่มีมากกว่าหนึ่งชั้น มันได้ขจัดข้อจำกัดหลายประการที่ Minsky และ Papert ได้ระบุไว้ ทำให้สาขาการวิจัย Neural Network กลับมาฟื้นฟูอีกครั้ง

แต่มันก็ยังคงมีบางสิ่งที่ไม่น่าพึงพอใจเกี่ยวกับ Neural Network เพราะแม้จะตั้งค่า ฝึกอบรมให้มันสามารถจำแนก วิเคราะห์ได้อย่างแม่นยำ แต่พวกเขาก็ยังไม่เข้าใจว่า อันที่จริงแล้ว ระบบเข้าใจ และทำสิ่งเหล่านั้นได้อย่างไร ? งานบางอย่างมันจึงยังไม่สามารถทำได้ อย่างการให้มันถอดรหัส ทำให้เมื่อเวลาผ่าน Neural Network เริ่มถูกแทนที่ด้วย Support Vector Machines ซึ่งเป็นอีกแขนงหนึ่งในการพัฒนา Machine Learning ด้วยการอาศัยหลักคณิตศาสตร์เป็นพื้นฐาน ซึ่งมีความชัดเจนกว่า

Neural Networks (ปัจจุบัน)

แต่ Neural Networks ก็กลับมาอีกครั้ง จากผลพลอยได้ของอุตสาหกรรมเกม ที่ทำให้เทคโนโลยีของ การ์ดจอ (GPU) มีพัฒนาให้ดีขึ้นอย่างก้าวกระโดด ซึ่งนักวิจัยใช้พบว่าโครงสร้างการทำงานของ GPU นั้นคล้ายกับ Neural Networks อย่างน่าทึ่ง

GPU สมัยใหม่ทำให้เครือข่ายที่เคยมี Layer ได้แค่เพียง 1 ชั้น กลายเป็นหลายสิบชั้นได้ในปัจจุบันนี้ และจำนวนชั้นที่เพิ่มขึ้นนั้น ก็ทำให้เครือข่ายมี "ความลึก (Deep)" จนกลายมาเป็น "Deep Learning" รากฐานที่สำคัญที่สุดของการพัฒนา AI ในยุคปัจจุบันนี้นั่นเอง