จริยศาสตร์ของปัญญาประดิษฐ์: มุมมองเชิงพุทธ

จากงานเสวนา “Sci-Fi: พลังการสื่อสารแง่คิดวิทยาศาสตร์กับจินตนาการทางสังคม” ที่ถ่ายทอดแง่มุมของภาพยนตร์และวรรณกรรม Sci-Fi ในฐานะตัวกลางที่มีพลังในการสื่อสารข้อเท็จจริงทางวิทยาศาสตร์และสื่อสารจินตนาการถึงข้อท้าทายและคุณค่าของมนุษย์และสังคม ในครั้งนี้ STS Cluster พาทุกคนมาสนุกคิดกันต่อในประเด็นที่ใกล้ตัวและเป็นจริงกับทุกคนมากขึ้น เพราะในงานเสวนาครั้งนี้โจทย์สำคัญที่มุ่งเน้น คือ การตั้งคำถามกับปัญญาประดิษฐ์และหุ่นยนต์

เราปฏิเสธไม่ได้แม้แต่น้อยว่า ในโลกศิวิไลซ์ร่วมสมัยปัญญาประดิษฐ์และหุ่นยนต์เป็นเทคโนโลยีสำคัญที่เข้ามามีผลกระทบต่อมนุษย์และสังคม ผลที่เกิดขึ้นนั้นส่งผลทั้งในแง่ที่ก่อให้เกิดประโยชน์และแง่ที่สร้างให้มนุษย์เกิดความระมัดระวังและความกลัว จากผลกระทบทั้งด้านบวกและลบของปัญญาประดิษฐ์และหุ่นยนต์ที่เกิดขึ้น คำถามสำคัญที่เรามองข้ามไปไม่ได้เลย คือ ประเด็นถกเถียงทางจริยศาสตร์ของปัญญาประดิษฐ์และหุ่นยนต์รอบตัวที่ล้วนสัมพันธ์กันตัวเรา

หนึ่งในข้อถกเถียงที่อยู่ในกระแสโลกที่เป็นประเด็นร่วมของศาสตร์ปรัชญาและวิทยาศาตร์และเทคโนโลยี คือ การออกแบบและผลิตสร้างจริยศาสตร์ของปัญญาประดิษฐ์และหุ่นยนต์ที่มีคุณลักษณะบางอย่างทางจริยธรรม เช่น มีความสามารถในการให้เหตุผลทางจริยธรรม (moral reasoning capacities) ซึ่งนักวิชาการในต่างประเทศมักจะใช้กรอบคิดจากจริยศาสตร์ (ปรัชญาตะวันตก) มาเป็นฐานคิด เช่น การออกแบบสร้างปัญญาประดิษฐ์และหุ่นยนต์โดยพยายามสอนให้ระบบมีคุณลักษณะทางจริยศาสตร์แบบต่าง ๆ เช่น จริยศาสตร์เชิงกรณียธรรม (deontological ethics) จริยศาสตร์แบบอรรถประโยชน์นิยม (utilitarianism) หรือ จริยศาสตร์เชิงคุณธรรม (virtue ethics) และแทบจะไม่เห็นเลยว่ามีการนำกรอบคิดจากฐานคิดตะวันออกมาตอบคำถามในประเด็นนี้ ประกอบกับในช่วงกลางปี 2563 นี้ หนังสือน่าอ่านเล่มใหม่อย่าง The Ethics of AI and Robotics: A Buddhist Viewpoint พึ่งตีพิมพ์ออกมา หนังสือเล่มนี้เขียนโดย ศ.ดร. โสรัจจ์ หงศ์ลดารมณ์ อาจารย์ประจำภาควิชาปรัชญาและศาสนา คณะอักษรศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย และนายกสมาคมปรัชญาและศาสนาแห่งประเทศไทย เนื้อหาในหนังสือเกี่ยวข้องกับการใช้มุมมองเชิงพุทธอย่างแนวคิดเรื่องความกรุณาและการตระหนักรู้ถึงความสัมพันธ์กันของสรรพสิ่งมาเป็นแนวทางการสอนและออกแบบปัญญาประดิษฐ์และหุ่นยนต์ ในหนังสือเสนอแนวคิด เช่น Compassionate AI และ Machine Enlightenment  

จากคำถามต่อปัญญาประดิษฐ์ที่ชวนค้นหาคำตอบ ทาง STS Cluster Thailand ได้เชื้อเชิญ ศ.ดร. โสรัจจ์ หงศ์ลดารมณ์ เจ้าของหนังสือ มาร่วมแลกเปลี่ยนกับ ผศ.ดร. ชนิกานต์ ว่องวิริยะวงศ์  อาจารย์มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าธนบุรี CEO และ Founder บริษัท EATLAB และเสริมทัพวงเสวนาด้วย ดร. เจิด บรรดาศักดิ์ อาจารย์ด้านปรัชญาและศาสนา มหาวิทยาลัยราชภัฏนครสวรรค์ (ปัจจุบันเป็นอาจารย์ประจำภาควิชามนุษยศาสตร์ คณะสังคมศาสตร์และมนุษยศาสตร์ มหาวิทยาลัยมหิดล) ผู้เชี่ยวชาญและสนใจปรัชญาสารสนเทศ มาร่วมกันสื่อสารประเด็นอย่างสร้างสรรค์ผ่านงานเสวนา “จริยศาสตร์ของปัญญาประดิษฐ์: มุมมองเชิงพุทธ” ในวันจันทร์ที่ 28 กันยายน พ.ศ. 2563​ เวลา 19.00-21.00 น. ผ่านทาง Zoom webinar และ Facebook Live ผ่านเพจ STS Cluster Thailand และงานครั้งนี้ได้ ดร.ปิยณัฐ ประถมวงษ์ อาจารย์ประจำภาควิชามนุษยศาสตร์ คณะสังคมศาสตร์และมนุษยศาสตร์ มหาวิทยาลัยมหิดล อาจารย์ปรัชญาผู้สนใจด้านปัญญาประดิษฐ์ มาเป็นผู้ดำเนินรายการที่พาแตกประเด็นคำถามอย่างแหลมคม

วงเสวนาเริ่มขึ้น อาจารย์ปิยณัฐเล่าถึงที่มาทีไปของวงเสวนา “ในปัจจุบันปัญญาประดิษฐ์และหุ่นยนต์ถูกสร้างให้มีความสามารถในการตัดสินใจได้อย่างอิสระ จากการถูกออกแบบด้วยระบบ Machine Leaning ที่ทำงานอย่างอัตโนมัตินอกเหนือการควบคุมของมนุษย์ เมื่อตัดสินปัญญาประดิษฐ์และหุ่นยนต์เหล่านี้ผ่านมุมมองของมนุษย์ เรามักเห็นตรงกันว่าพวกมันมีความฉลาด เมื่อจินตนาการถึงอนาคตอันใกล้ที่กำลังจะมาถึง ในชีวิตประจำวันของมนุษย์มีเหตุผลหลายประการที่จำเป็นต้องสัมพันธ์เกี่ยวข้องกับปัญญาประดิษฐ์และหุ่นยนต์ ความสามารถหรืออำนาจในการตัดสินใจที่เทคโนโลยีเหล่านี้มีอยู่ที่เป็นอิสระจากผู้เขียนโปรแกรมให้มัน ทำให้เกิดการ Delegate หรือถ่ายโอนอำนาจการตัดสินใจ หรืออำนาจในฐานะผู้กระทำไปให้เหล่าเทคโนโลยีได้มากขึ้นกว่าในอดีต จากประเด็นที่ถกเถียงกันในศตวรรษที่ 20 อย่าง Computer Ethics เป็นแนวคิดที่มองว่าเทคโนโลยีหรือคอมพิวเตอร์ถูกเข้าใจในฐานะเครื่องมือที่ผลจากการทำงานของเครื่องมือจะดีหรือไม่นั้น ขึ้นอยู่กับผู้ใช้เครื่องมือ หากผู้ใช้มีวัตถุประสงค์ดี ผลทางจริยศาสตร์ของเทคโนโลยีก็เกิดขึ้นในทางดี หากผู้ใช้มีวัตถุประสงค์ร้ายผลทางจริยศาสตร์ ผลทางจริยศาสตร์ก็เกิดขึ้นในทางร้าย การตัดสินทางจริยศาสตร์ของแนวคิดนี้จึงโฟกัสยังตัวมนุษย์ผู้ใช้เป็นหลัก ภายหลังประเด็นถกเถียงได้เปลี่ยนจาก Computer Ethics ไปเป็นแนวคิดที่เรียกว่า Machine Ethics หรือเรียกอีกอย่างว่า Ethics of AI and Robotics กล่าวคือ การตัดสินทางจริยศาสตร์เปลี่ยนจากการโฟกัสที่มนุษย์ มาโฟกัสที่ตัวของเทคโนโลยีแทน ไม่ว่าจะเป็นปัญญาประดิษฐ์หรือโรบ๊อต ด้วยตัวของเทคโนโลยีเหล่านี้สามารถตัดสินใจและคิดเองได้ ประกอบกับแนวโน้มในอนาคตที่มนุษย์ส่งมอบความเป็นผู้กระทำให้เทคโนโลยีมากขึ้น เทคโนโลยีจึงมีความสามารถในการเป็นผู้กระทำ (Agent) การที่เทคโนโลยีได้รับสถานะในการเป็น Agent นี้ มันจึงเป็นตัวกระทำการที่มีผลทางจริยธรรม (Moral Agent) คำถามที่เกิดขึ้นคือ เทคโนโลยีอย่างปัญญาประดิษฐ์และหุ่นยนต์ที่มีเป็นตัวกระทำการทางจริยธรรม (Artificial Moral Agent/ AMA) เหล่านี้ เราจะสามารถตัดสินการกระทำของมันในทางจริยศาสตร์อย่างไร”

“ในต่างประเทศมีนักวิชาการหลายคนที่พูดถึง Artificial Moral Agent ที่เสนอถึงการออกแบบให้เทคโนโลยีในตัวมันเองมีคุณลักษณะในการให้เหตุผลทางจริยธรรมหรือมี Character ในการตัดสินใจหรือทำอะไรบางอย่างที่ตัวเทคโนโลยีเข้าใจจริยธรรมซึ่งมีหลายทฤษฏี หลาย Approach ที่นักวิชาการฝั่งตะวันตกเสนอ ทั้งแนวคิดแบบ Deontogical Ethics ที่เสนอว่าให้เน้นจริยศาสตร์ที่ยึดตามกฎ อิงตามเหตุผลเด็ดขาด หรือ แนวคิดแบบ Utilitarianism ที่เน้นการตัดสินไปยังการเกิดประโยชน์แบบ Maximize Unity ต่อสังคม หรือ แนวคิด Virtue Ethics ที่เสนอให้สร้าง Character Agent ของเทคโนโลยีให้มีคุณธรรมที่ดี อย่างไรก็ตามยังมีแนวคิดที่น่าสนใจอีกแนวคิดหนึ่ง คือ มุมมองเชิงพุทธที่เกี่ยวข้องกับการสร้างปัญญาประดิษฐ์ซึ่งอาจารย์โสรัจจ์ได้เสนอเอาไว้ในหนังสือ The Ethics of AI and Robotics: A Buddhist Viewpoint เรามาฟังอาจารย์โสรัจจ์พูดถึงหนังสือเล่มนี้กัน”

 “จากความก้าวหน้าของเทคโนโลยีปัญญาประดิษฐ์ที่แทรกซึมอยู่ในหลาย ๆ อณูของหลาย ๆ มิติ หลาย ๆ มุมมองของชีวิต เป็นธรรมดาที่นักปรัชญาจะสนใจ เพราะว่าการที่สิ่งใดสิ่งหนึ่งมีบทบาทในชีวิตของมนุษย์เรามากก็มักจะก่อให้เกิดปัญหา ปัญหาที่ว่านี้ไม่ใช่ปัญหาในเชิงวิศวกรรมอย่างเดียว หรือปัญหาในเชิงวิทยาศาสตร์คอมพิวเตอร์อย่างเดียว แต่ยังเกี่ยวข้องถึงปัญหาในเชิงระบบคุณค่า ความหมาย และผลกระทบต่อสังคมด้านต่าง ๆ จนทำให้เราต้องหันมามองภาพกว้างของปัญญาประดิษฐ์ซึ่งสอดคล้องไปกับภารกิจของศูนย์วิทยาศาสตร์ เทคโนโลยี และสังคมโดยตรง ทั้งในส่วนของการทำวิจัยในมิติต่าง ๆ ที่เกี่ยวข้องกับการจัดวางวิทยาศาสตร์กับเทคโนโลยีในสังคม อย่างกลุ่มของ IEEE ที่เป็นการทำงานของกลุ่มวิศวกรที่ทำงานด้านวิศวกรรมและสนใจประเด็นทางจริยธรรมด้วย อย่าง Garrett Bilbee และ John C. Havens สองนักคอมพิวเตอร์ที่สนใจมิติทางสังคมของปัญญาประดิษฐ์ที่ชักชวนผมเข้ากลุ่ม ทั้งคู่อยากสร้างหลัก Artificial and Autonomous System ซึ่งเป็น Guideline เกี่ยวกับจริยธรรมของปัญญาประดิษฐ์และเทคโนโลยีที่มีอยู่ในปัจจุบัน ทั้งคู่ยังสนใจแนวคิดของคนที่อยู่ในโลกฝั่งตะวันออก จากคำชักชวนผมจึงเลือกหยิบมุมมองพุทธมาอธิบายปัญหานี้ นับเป็นจุดตั้งต้นของหนังสือเล่มนี้” อาจารย์โสรัจจ์เล่านำ

“ต่อมาผมได้มีโอกาสไปร่วมประชุมปรัชญาโลกที่ประเทศจีน ในงานประชุมมีนักวิชาการด้านปรัชญาหลายท่านที่กล่าวถึงประเด็นของปัญญาประดิษฐ์ซึ่งบ่งชี้ให้เห็นถึงความสำคัญของปัญญาประดิษฐ์อย่างเห็นได้ชัด เมื่อกลับมาจากงานประชุมก็ได้รับการติดต่อจาก Lexington Books ซึ่งเป็นกลุ่มหนังสือของสำนักพิมพ์ Rowman and Littlefield ชวนให้ส่งข้อเสนอตีพิมพ์ไปให้พิจารณา สำนักพิมพ์ตอบรับ อาจารย์โสรัจจ์เริ่มเขียนจนเสร็จเป็นรูปเล่มออกมา ส่งให้ต้นฉบับเมื่อธันวาคม 2562 จากนั้นสำนักพิมพ์รีวิว ตรวจแก้ และเขียนดรรชนี กว่าหกเดือน และได้ตีพิมพ์ออกมาเป็นเล่มจริงในอีกสองสามเดือนถัดมา” อาจารย์โสรัจจ์ขยายความ

“เนื้อหาในหนังสือแบ่งออกเป็นสองส่วน:

ส่วนที่ 1: ส่วนนี้มีความสำคัญเป็นอย่างมาก เนื้อหาส่วนแรกนี้เป็นส่วนที่เกี่ยวข้องกับเนื้อหาในทางปรัชญามากว่าส่วนที่ 2  กล่าวคือ ส่วนนี้เป็นวิธีคิดเกี่ยวกับหลักจริยศาสตร์ของปัญญาประดิษฐ์ว่าเราควรจะคิดกับมันแบบไหนอย่างที่อาจารย์ปิยณัฐกล่าวนำไป เราควรคิดแบบ คิดแบบ Kantian Ethics หรือ Utilitarian หรืออย่างอื่น ซึ่งเป็นหลักวิธีคิดว่าเราควรจะมองว่าการกระทำที่ดีจะต้องเป็นการกระทำแบบไหน เพราะเหตุใด รวมถึงการหาความถูกต้องของการกระทำ ไม่ว่าจะเป็นมนุษย์เอง หรือ Autonomous System และยังกล่าวถึงปัญหาที่ชื่อว่า Conscious Machine ที่ไม่แน่ใจว่าจะเกิดขึ้นเมื่อใด อาจจะมีหรือไม่มีก็ได้ในอนาคต

ส่วนที่ 2: เน้นไปยังข้อเสนอในเชิงภาพรวมของปัญหาที่ว่า ปัญญาประดิษฐ์ควรทำอะไรหรือไม่ควรทำอะไร ซึ่งอธิบายจากฐานคิดทางจริยศาสตร์แบบพุทธ อาจารย์โสรัจจ์ เสนอว่า ความเป็นเลิศทางเทคนิค หรือ Technical Excellence เป็นหนึ่งเดียวกับความเป็นเลิศทางจริยธรรม หรือ Moral Excellence ซึ่งการเสนอในลักษณะเช่นนี้ อาจารย์โสรัจจ์เห็นว่ารากฐานแนวคิดมาจากพุทธปรัชญาที่การคิดเช่นนี้มันบังเอิญไปตรงกับแนวคิดจริยศาสตร์ของปรัชญากรีกโบราณ โดยเฉพาะอย่างยิ่งใน Plato กับ Aristotle ที่เห็นว่าความเป็นเลิศทางเทคนิคเป็นความดี ตัวอย่างเช่น การเล่นเปียโน ในภาษาไทยจะมีการแบ่งคำที่ใช้อธิบายการเล่นเปียโนออกเป็น ความเก่งกับความดี แต่ในทรรศะของอริสโตเติลจะเห็นว่า การเป็นคนดีหรือการทำดีนับเป็นความเก่งอย่างหนึ่ง (หรือกล่าวได้ว่า ความดีและความเก่งเป็นสิ่งเดียวกัน) เมื่อเปรียบเทียบกันกับพุทธปรัชญา พบว่า พุทธปรัชญาก็คิดเห็นในทำนองเดียวกันกับสิ่งที่อริสโตเติลเสนอ

ความเป็นเลิศทางเทคนิคเป็นหนึ่งเดียวกับความเป็นเลิศทางจริยธรรม

แต่สิ่งที่อยากจะเน้นย้ำในหนังสือก็คือ Moral Excellence ทั้งการเป็นคนดี การกระทำที่ดี ความเป็นเลิศในทางดีและในทางศีลธรรมและทางจริยธรรม ไม่ได้เป็นสิ่งที่เกิดขึ้นควบคู่กับ Technical Excellence แต่เป็นหนึ่งเดียว Identical เดียวกัน เป็นสิ่งเดียวกันกับ Technical Excellence

เมื่อนำแนวคิด Moral Excellent เป็นสิ่งเดียวกับ Technical excellence มาอธิบายในกรณีของปัญญาประดิษฐ์ ในเบื้องต้น เริ่มจากนิยามของ AI Technical Excellence หากอธิบายอย่างง่ายคือ การที่วิศวกรพัฒนาปัญญาประดิษฐ์ตามการออกแบบที่ตั้งใจไว้ แล้วปัญญาประดิษฐ์ทำงานได้ตามที่วิศวกรวางแผนและออกแบบเอาไว้ ปัญญาประดิษฐ์ทำงานได้ตามที่วิศวกรต้องการ ปัญญาประดิษฐ์บรรลุถึงฟังก์ชันของตัวเอง สิ่งนี้เรียกว่า Technical excellence ของปัญญาประดิษฐ์ ตัวอย่างที่พบชีวิตประจำวัน เช่น การที่ปัญญาประดิษฐ์สามารถควบคุมรถที่วิ่งได้ด้วยตัวเอง เมื่อถึงไฟแดง ปัญญาประดิษฐ์ก็สั่งการให้หยุด ถ้าเจอไฟแดงแล้วยังเซ่อซ่าวิ่งฝ่าไฟแดงไป นั่นหมายความว่า ปัญญาประดิษฐ์นั้นไม่มี Technical excellence ส่วน Moral Excellence ตัวอย่างเช่น หากมีคนเดินข้ามถนนรถที่ควบคุมด้วยปัญญาประดิษฐ์ก็สั่งการให้รถหยุด เป็นต้น ข้อเสนอที่ว่า ทั้ง Moral Excellent กับ Technical excellence เป็นสิ่งเดียวกันเป็นแนวคิดที่ผมแทรกไว้ในหนังสือตลอดทั้งเล่ม และเสนอว่า แนวคิด Moral Excellent กับ Technical excellence เป็นสิ่งเดียวกัน ที่เสนอไว้มีที่มาจากแนวคิดของอริสโตเติลและแนวคิดพุทธปรัชญา” อาจารย์โสรัจจ์กล่าว

“ที่มาของจริยศาสตร์จากพุทธปรัชญาที่นำมาเขียนไว้ในหนังสือเล่มนี้ ผมไม่ได้อ้างอิงถึงคำสอนของพุทธศาสนาในรายละเอียดที่ลงลึกมากจนเกินไป เนื่องจากสำนักคิดย่อยของพุทธศาสนามีหลายสำนัก หลายนิกาย ในหนังสือเล่มนี้จึงเลือกใช้คำสอนพื้นฐานทางพุทธศาสนาที่ทุกสำนัก ทุกนิกาย ของพุทธศาสนายอมรับเหมือนกันหมด นั่นคือ กฎไตรลักษณ์ เนื้อหาสำคัญตอนหนึ่งในหนังสือก็คือ ผมเขียนถึง Damien Keown นักปรัชญาสายจริยศาสตร์เชิงพุทธ โดย Keown เขาเสนอเอาไว้ว่า พุทธปรัชญาไม่มีระบบจริยศาสตร์เหมือนปรัชญากรีก พุทธปรัชญาต่างจากจริยศาสตร์ของค้านท์ (Immanuel Kant: 1724 – 1804) และต่างไปจากวิธีการคิดของยุโรปสมัยใหม่ สำหรับตัวพุทธปรัชญามีคำสอนที่บอกเอาไว้ต้องทำอะไร ต้องทำอย่างไร เช่น ศีล 5 มีข้อกำหนดไว้ว่าชาวพุทธต้องทำอะไรบ้าง ห้ามทำอะไรบ้างเพียงแค่นั้น แต่ไม่ได้บอกว่าเพราะเหตุใดถึงต้องปฏิบัติตาม ตรงจุดนี้พุทธปรัชญาจึงไม่เหมือนกับจริยศาสตร์ของค้านท์ที่บอกว่าเพราะเหตุใดต้องทำความดี หรือไม่เหมือนกับแนวคิดประโยชน์นิยมของ John Stuart Mill ที่บอกว่าเพราะเหตุใดถึงต้องทำความดี หรืออย่างอริสโตเติลพูดเอาไว้ จากข้อสังเกตนี้ Keown จึงเห็นว่าพุทธศาสนาไม่ได้เน้นที่ระบบทฤษฎี แต่เน้นที่ภาคปฏิบัติเป็นสำคัญ ในส่วนที่ผมเสนอไว้ในหนังสือนั้นตอบกลับแนวคิดที่ Keown เสนอ ผมเสนอว่า การที่พุทธปรัชญาเสนอไว้ว่าเน้นแนวปฏิบัติเป็นสำคัญก็นับว่าเป็นทฤษฎีแบบหนึ่งซึ่ง Keown อาจมองไม่เห็นในจุดนี้อย่างที่ผมเสนอ” อาจารย์โสรัจจ์อธิบาย

ผู้คนที่รับชมไลฟ์เพิ่มขึ้นเรื่อย ๆ อาจารย์โสรัจจ์เล่าต่อ

“ผมเสนอว่าหากตั้งใจพิจารณาจะเห็นว่า ลักษณะคำสอนที่พุทธปรัชญาเสนอว่าต้องปฏิบัติอย่างไร ต้องทำอย่างไร ทำตามข้อปฏิบัตินี้แล้วดี เนื่องจากการทำตามข้อปฏิบัติจะนำทางผู้ปฏิบัติตามไปสู่สภาวะหนึ่งซึ่งเป็นสภาวะที่พึงปรารถนาสูงสุดของการเป็นชาวพุทธ สิ่งที่อยากให้ความสำคัญก็คือ ตัวสภาวะที่ ‘พึงปรารถนาสูงสุด’ นี้ หากขยายความก็คือ การกระทำตามข้อปฏิบัติที่พุทธศาสนาเสนอไว้เป็นการกระทำที่ดี เนื่องจากการกระทำนั้นนำไปสู่สภาวะสูงสุดที่เรียกการกระทำนั้นว่า ‘กุศล’ หรือ จะกล่าวอีกนัยหนึ่งก็ได้ว่า การกระทำหนึ่ง ๆ จะเป็นการกระทำที่ดีก็ต่อเมื่อการกระทำนั้นนำไปสู่สภาวะที่เป็นกุศล คำว่า ‘กุศล’ เป็นไปในความหมายที่ว่า กุศลเป็นอะไรที่น้อมนำเราไปสู่สภาวะสูงสุด ส่วน ‘อกุศล’ คือ อะไรที่นำเราออกห่างจากสภาวะสูงสุด  จากแนวคิดสภาวะที่ ‘พึงปรารถนาสูงสุด’ จะเห็นได้ว่า พุทธศาสนา Assume ว่าทุกคนอยากพ้นทุกข์ พุทธศาสนามองว่าการบรรลุสภาวะสูงสุดเป็นจุดหมายที่แท้จริงของการเป็นมนุษย์ ส่วนตัวผมมองว่าแนวคิดนี้เป็นจริงกับทุกคน พุทธปรัชญาจึงเป็นระบบจริยศาสตร์ที่มีความหมาย การกระทำที่ดีหรือถูกต้องคือการไปสู่สภาวะสูงสุดก็คือ นิพพาน นิพพานในแง่ที่ว่านี้เป็นลักษณะของเป้าหมายบางอย่างที่มนุษย์เราตั้งไว้เหมือนกับ Benchmark เหมือนหลักที่วัดว่าเราถึงไหนแล้ว แล้วเราก็ทำตามนั้น ไม่ใช่นิพพานที่ฟังดูเหมือนกับว่าเราไม่มีทางเข้าถึงในชีวิตนี้ และจะเห็นได้ว่ามันไม่ใช่เรื่องที่ไกลตัวเรามากจนเกินไป”

อาจารย์โสรัจจ์เล่าต่ออย่างสนุก “จากข้อเสนอ Moral Excellent เป็นสิ่งเดียวกับ Technical excellence ที่อธิบายไว้ก่อนหน้า คำหนึ่งที่ผมอยากเสนอต่อยอดออกมาคือ Machine Enlightenment ถ้าแปลตรงตัวก็หมายความว่า การตรัสรู้ของเครื่องยนต์/ เครื่องจักร คือไม่ได้หมายความว่า ให้เครื่องจักรหรือปัญญาประดิษฐ์มารู้จักการนั่งสมาธิหรือสวดมนต์ แต่หมายถึง การที่ AI เท่าที่มีอยู่ในปัจจุบัน ทำอย่างไรให้ AI เหล่านี้ทำงานได้ดี มีจริยธรรม และมี Guideline ของมัน ดังนั้น Machine Enlightenment จึงหมายถึง การที่เครื่องจักรอย่างปัญญาประดิษฐ์หรือหุ่นยนต์ได้รับการพัฒนาจนถึงจุดสูงสุดของความเป็นตัวมัน พัฒนาจนตัวมันเองมีความสมบูรณ์ หรือการที่ตัวมันมีฟังก์ชันบางอย่างแล้วบรรลุฟังก์ชันจนถึงจุดสูงสุด เป็นสภาวะสูงสุดที่เป็น Enlightenment ซึ่งเป็นจุดที่เราสามารถวัดได้ว่าจริยธรรมของปัญญาประดิษฐ์เป็นอย่างไร และการพัฒนาจนถึงจุดสูงสุดที่ว่านี้จะต้องอิงอาศัยความสัมพันธ์ที่จำเป็นกับสภาพแวดล้อม”

“ผมกล่าวเพิ่มเติมถึง Machine Enlightenment เรื่องปัญญาประดิษฐ์ที่มีความกรุณา ไม่ได้แปลว่าให้เราไปขอความกรุณาจากปัญญาประดิษฐ์เหมือนหนังเรื่อง Terminator หรือ The Matrix ตามหลักพรหมวิหาร 4 ของพุทธศาสนาแล้ว ‘กรุณา’ เป็นคุณสมบัติที่จำเป็นของการบรรลุสภาวะสูงสุด ต้องประกอบขึ้นจากการตระหนักรู้ถึงความสัมพันธ์กันของทุกสรรพสิ่ง ร่วมกับความปรารถนาที่จะช่วยเหลือสรรพสัตว์ให้พ้นทุกข์ ในกรณีของปัญญาประดิษฐ์ที่มีความกรุณา ปัญญาประดิษฐ์จะต้องถูกประดิษฐ์ขึ้นโดยที่ตัวมันมีความตระหนักรู้แบบมี Consciousness แบบที่มนุษย์มี คือตระหนักรู้ว่าทุกสิ่งสัมพันธ์กันและมีความตั้งใจที่จะช่วยเหลือสังคมให้พ้นจากปัญหาต่าง ๆ และความตระหนักรู้ของมันมาจากตัวมันที่สำนึกตัวเอง ในปัจจุบันนี้ยังไม่มีปัญญาประดิษฐ์แบบนั้น แต่ในอนาคต ถ้าปัญญาประดิษฐ์ได้รับการออกแบบจนมีการพัฒนาไปถึงจุดที่มัน Singularity ปัญญาประดิษฐ์จะมีความมีจริยธรรมในตัวของมัน เพราะว่าความมีจริยธรรมมันเป็นสิ่งเดียวกันกับความเก่ง ความฉลาด ปัญญาสูงสุด อย่างแยกกันไม่ออกและจุดที่ว่านี้จะเป็นจุด Benchmark คือ จุดวัดที่กำหนดความมีจริยธรรมของระบบปัญญาประดิษฐ์”

“ตัวอย่างหนึ่งที่เป็นรูปธรรม คือ รถยนต์ที่ขับเคลื่อนด้วยตัวเอง เราจำเป็นต้องเริ่มต้นด้วยการตอบคำถามว่า อะไรคือ “รถขับเคลื่อนได้เอง” ในอุดมคติของ เริ่มต้นจากสเกลเล็ก ๆ จากคำตอบ ความเห็นส่วนตัวของแต่ละคน แล้วนำมาพูดคุย แลกเปลี่ยน จนได้ฉันทาติที่ไม่ใช่อุดมคติของวิศวกร แต่เป็นอุดมคติของสังคม คำตอบของคำถาม อะไรคือ “รถขับเคลื่อนได้เอง” มันอาจไม่มีข้อยุติเด็ดขาดซึ่งเป็นเรื่องธรรมดา เราก็ทำการพูดคุย แลกเปลี่ยนกันต่อไปเรื่อย ๆ เมื่อถึงจุดหนึ่ง เราบอกได้ว่าเราจะพัฒนารถให้ถึงระดับนี้ คนในสังคมก็จะคุย ถกเถียง อภิปราย กันไปเรื่อย ๆ รถก็อัพเดตไปเรื่อย ๆ ทั้ง Software กับ Hardware ของรถ แล้วก็ย้อนกลับมาที่ Put นิดหนึ่ง เหมือนกับผู้ปฏิบัติธรรมที่ไม่จำเป็นต้องตั้งเป้าว่าจะบรรลุให้ได้ แต่ปฏิบัติไปเรื่อย ๆ” อาจารย์โสรัจจ์ชี้ให้เห็นถึงจุดสำคัญ

จากมุมมองในทางปรัชญาของอาจารย์โสรัจจ์ ในช่วงถัดมาอาจารย์ปิยณัฐส่งไม้ต่อไปยังผู้เชี่ยวชาญทางฝากฝั่งของเทคโนโลยี ชวนทุกคนมาฟังทรรศนะของอาจารย์ชนิกานต์บ้าง อาจารย์ชนิกานต์เริ่มต้นว่า

“หลังจากจบจาก MIT ก็มีโอกาสเข้ามาทำงานที่เกี่ยวข้องกับเรื่องของการสร้างโมเดลในการคาดการณ์อนาคต ได้ทำงานที่เกี่ยวข้องกับข้อมูลในตลาดหุ้น ข้อมูลด้านการศึกษา พบว่าข้อมูลเหล่านี้มีความท้าทาย เนื่องจากมีความยากในการชี้วัด ความประสงค์ส่วนตัวมีความต้องการที่อยากจะทำให้การศึกษาดีขึ้นกว่าที่เป็นอยู่ตอนนี้ อยากจะ Automate ระบบการศึกษาบางส่วนซึ่งการจะ Automate ได้จำเป็นที่ต้องรู้ว่าความสุขที่แท้จริงของผู้เรียนอยู่ตรงไหนในระบบ วิธีหนึ่งในการชี้วัดก็คือการทำให้ความสุขเป็น Metric หนึ่ง ซึ่งประเด็นที่ว่านี้ Resonate กันกับประเด็นที่อาจารย์โสรัจจ์กล่าวไปก่อนหน้านี้ ความสุขอย่างแรกมันต้อง Perceived Interconnectedness of Life ได้ อย่างที่สอง ความสุขมันต้อง Take Action ให้ Optimize Happiness และมีเงื่อนไขที่สำคัญที่ไม่สามารถปฏิเสธได้คือ ความสุขต้องวัดได้ เพราะมันวัดไม่ได้ มันจะไม่สามารถ Optimize ได้ ตัวอย่างเช่น Facebook What Happiness กับ Engagement ก็คือ ความถี่ในการเข้าดู/ ระยะเวลาในการเข้าดู ระบบของ Facebook จะ Optimize ระยะเวลาตรงที่ใช้งานนั้น เพราะระบบ Facebook คิดว่าช่วงเวลาที่เราใช้ไปบน Facebook คือ User Happiness ก็เป็นทางหนึ่งในการวัดความสุขที่ทำได้ แต่อาจไม่ได้ข้อมูลที่ถูกต้องทั้งหมด เนื่องจาก Cause Function มันวัดยาก และเป็นเรื่องยากหากจะวัดความสุข ดังนั้น Metric ที่ใกล้เคียงที่สุดส่วนใหญ่คือ Engagement หรือแรงดึงดูดที่ทำให้ผู้ใช้งานใช้งาน Facebook นาน กรณีนี้จะคาดเดาได้ว่าผู้ใช้งานคงมีความสุขกับ Facebook จึงใช้เวลาไปกับ Facebook นานตามระยะเวลาใช้งานที่ปรากฏในระบบ”

“สำหรับ EATLAB ที่ดูแลอยู่ตอนนี้ ตอนแรก EATLAB เริ่มจากร้านอาหารก่อน และ EATLAB อยากจะสร้าง  Autonomous Machine ให้มัน Optimize on Human Happiness เน้นวัดที่ความสุขในการกินของคน พยายามไม่ให้อะไรที่มันไปเชื่อมกับการกินมากเกินไป หรือ กินสิ่งที่ไม่ดีต่อสุขภาพ เพราะว่าเราเชื่อว่าอาหารมันเป็นได้ทั้งยาและเป็นได้ทั้งพิษ มีสองด้าน EATLAB เลยเริ่มต้นจากสิ่งที่สามารถ Impact Health ได้ วัดได้ คน Associate กับความสุข ก็เลยเริ่มต้นมาเป็น Concept ของ EATLAB และในขณะที่บริษัทกำลังเริ่มสร้างมีกระแสที่พัดไปในทางหนึ่ง อย่างเช่น การหาวิธีการเพื่อเพิ่มยอดขาย วิธีการที่ทำให้คนเข้ามาใช้เยอะขึ้น แต่สุดท้ายในฐานะนักเทคโนโลยี จะมีจุดหนึ่งที่เรากลับมาตัดสินใจว่า เราจะไปทางนั้นหรือไม่ ซึ่งอย่างที่อาจารย์โสรัจจ์บอก มัน Depend on Right Now ทุกอย่างมันยังไม่ได้ Going at Scale อย่างตรงไปตรงมา (อาจจะยกเว้น ​Facebook กับ Google) ถ้าหากพูดถึงในระดับ Business Enterprise ปัญญาประดิษฐ์ยังไม่ได้เข้าไปอยู่ในกระบวนการต่าง ๆ ทุกระดับของการทำงาน อย่างมากสุดอยู่ในขั้นตอนที่ปัญญาประดิษฐ์ทำการ Adoption ก็คืออยู่ในระดับ Pilot ทดลอง แต่ยังไม่ได้เข้าซึมเข้าไปในทุก Layer จุดที่ว่านี้ถือเป็น Clus ของการเปลี่ยนแปลง เป็นเหตุผลให้ Programmer / Developer / Data Science / AI Engineer ต้องมาเจอกัน เพื่อที่จะสร้างพื้นฐานหรือร่วมกันกำหนดสิ่งที่เรียกว่า Ethical Machine อาจดูขัดแย้งหน่อย เพราะคนเองก็ยังไม่มี Ethics”

“ทั้งนี้ในแง่ธุรกิจและเทคโนโลยี ภาระจะกลับมาตกอยู่ที่ CEO ว่าจะตัดสินใจไปในทิศทางไหน อย่าง EATLAB ก็มีแนวคิดของการให้ความสุข ให้ความสุขเป็นศูนย์กลางของธุรกิจที่เป็นปัจจัยต่อการตัดสินใจ อาจมีเทรนในตอนนี้ที่พูดถึงว่า ในอนาคตอาจสัก 10 ปี อาจมีการเข้ามาแทนที่คนโดยปัญญาประดิษฐ์ เช่น บางประเทศอาจวางทิศทางขับเคลื่อนเศรษฐกิจโดยวางอยู่บนการตัดสินใจของปัญญาประดิษฐ์ แล้วถ้าถามว่าปัญญาประดิษฐ์จะเข้ามาแทนที่คนหรือไม่ คำตอบคือ ใช่ แต่เป็นเพียงช่วงแรก ผลที่เกิดจะทำให้คนเราเพิ่ม Efficiency หรือเพิ่มประสิทธิภาพของคน และเกิดการลดจำนวนคน มองในมุมเศรษฐศาสตร์มันคือการเข้าใจ Demand หากจะ Capture New Demand จาก Data ก็จะล้อไปกับสิ่งที่อาจารย์โสรัจจ์พูดถึงแนวคิด Moral Excellence is one with like Technical Excellence เพราะหากเราไปถึงจุดที่ว่านี้ได้ นั่นเท่ากับว่ามนุษย์มีปัญญาปะดิษฐ์ที่กำลังเข้าใจคนมากขึ้น เข้าใจความรู้สึกของคนมากขึ้น คำว่าเข้าใจนี้ หมายถึงว่า ปัญญาประดิษฐ์สามารถบอกได้ว่า ก่อนที่ตัวเรา (มนุษย์) อยากจะกินอะไรสักอย่าง ปัญญาประดิษฐ์จะบอกได้ก่อนว่าให้ทดลองกินสิ่งนี้ก่อน พอเรากินสิ่งที่ปัญญาประดิษฐ์บอกก็ถูกใจเรา ปัญญาประดิษฐ์สามารถประเมินได้ว่าเราต้องการอะไรจากการที่มันเข้าใจเราจริง ๆ แต่ความยากคือการที่ปัญญาประดิษฐ์จะสามารถพัฒนาจน Perpetuate ได้จนกลายเป็น Engine จนมันมีบรรลุได้ถึงจุดนั้นมันต้องอยู่บนสิ่งที่มันยั่งยืนกับมนุษย์ ยั่งยืน คือ มนุษย์ไม่ได้เข้าใจมันในแบบการเสพติดจนก่อให้เกิดอันตรายกับร่างกายของเรา ฉะนั้นความน่าจะเป็นที่เหมาะสม คือ ปัญญาประดิษฐ์เป็น Engine ที่รักษาให้มนุษย์อาศัยอยู่ร่วมกันกับ Machine ในมุมมองของนักเทคโนโลยีทิศทางนี้เป็นทิศทางที่ดี แต่ทั้งนี้ทั้งนั้นในทางธุรกิจก็เป็นความยากลำบากในการตัดสินใจ อย่าง Elon Musk เองก็มีความพยายามที่จะสร้างให้ปัญญาประดิษฐ์เป็นนวัตกรรมที่เหมาะสม/ เข้าถึงกับทุกคน อย่างในกรณีตอนที่มีระเบิดนิวเคลียร์ ถ้าเทคโนโลยีเกิดถูก Democratize ส่วนตัวคิดว่าคงไม่เกิดโศกนาฏกรรม ไม่ว่าความก้าวหน้าของเทคโนโลยีจะยิ่งใหญ่ ก้าวไกล เกิดความสำเร็จจนสร้าง Impact ต่อมนุษยชาติ ไม่ว่าในทางบวกหรือทางลบ ถ้าเทคโนโลยีอยู่ในมือทุกคน มนุษย์จะเกิดการ Concern กับคนอื่น เพราะว่ามันคงมีสักคนหนึ่งในบรรดาคนที่ใช้เทคโนโลยีที่เป็นญาติของกันและกัน คนจะไม่กล้าใช้ทำร้ายกัน เหมือนถูก Self-regulate ด้วย Network ด้วยตัวของมันเอง จากการที่เปิดให้ทุกคนสามารถเข้าถึงเทคโนโลยี ก็คงเป็นทิศทางประมาณนี้ที่ Musk ต้องการ ถ้าเป็นไปตามนี้ การที่เทคโนโลยี Within a hand of field individual แล้วมันทำให้การ Control มันเกิดขึ้น Decision-Making มันไป Rely-On คนที่มี Authority ถ้าตอนที่ตัดสินใจกดระเบิดนิวเคลียร์คนที่มี Authority มีระยะเวลาคิดเพียงเสี้ยววินาที แต่ความสามารถในการตัดสินใจของมนุษย์แบบ Logical ด้วยวาร์ลิงทั้งหมดแล้ว มันใช้เวลานานกว่าเสี้ยววินาที ในช่วงเวลาที่ต้องตัดสินใจกดระเบิดอัตราการตัดสินใจมันแทบจะเป็นการสุ่มเดาว่าทำหรือไม่ทำ จากตัวอย่างนี้ชี้ให้เห็นได้ว่าเทคโนโลยีจะปลอดภัยมากกว่าถ้าอยู่ในมือของทุกคน” อาจารย์ชนิกานต์กล่าว

ทรรศนะในฝากฝั่งของนักเทคโนโลยีจากอาจารย์ชนิกานต์ พาให้วงเสวนาสนุก ชวนตื่นเต้น และ
คุกรุ่นไปด้วยไอร้อนทางวิชาการมากขึ้น จากนั้นอาจารย์เจิดก็แลกเปลี่ยนทรรศนะที่น่าสนใจผ่านมุมมองของผู้ใช้งานเทคโนโลยี

“หากพูดในฐานะคนที่อยู่ตรงกลาง ในมุมมองผู้ใช้ ประเด็นที่สนใจอยู่อันหนึ่งก็คือว่างานปรัชญาทำอะไรอยู่ใน STS อย่างแรกเวลาที่พูดถึงเรื่องเทคโนโลยี นักจริยศาสตร์หรือคนที่พูดถึงจริยธรรมเทคโนโลยีก็จะมีประเด็นที่พูดถึงในทำนองว่า การสร้างเทคโนโลยี เราสามารถทำนายหรือว่าออกแบบเทคโนโลยีที่มีจริยธรรมได้ตั้งแต่แรกด้วยการใส่คุณค่า อย่างที่อาจารย์โสรัจจ์พูดมา คือ การพยายามจะบอกว่า เรามีแนวคิดอะไรบ้าง ในการพูดถึงเทคโนโลยีที่ดี ซึ่งตัวอย่างที่กล่าวมาก็คือ เทคโนโลยีที่เป็นเลิศ หรือ เทคโนโลยีที่มีความซับซ้อนทางเทคนิคกับเทคโนโลยีที่มีจริยธรรมเป็นอันเดียวกัน คือคนดีกับคนเก่งเป็นอันเดียวกัน ในแบบที่อาจารย์โสรัจจ์เล่ามา ซึ่งอันนี้ก็เป็น Concept หรือว่าแนวคิดที่สามารถเอาไปใช้หรืออยู่เบื้องหลังเทคโนโลยีได้ คือมันมีประเด็นอยู่อันหนึ่งว่า เรามักจะมองเทคโนโลยีว่าเราสร้างของใหม่ขึ้นมา แต่เราไม่รู้ว่าของใหม่นั้นจะทำให้ชีวิตมนุษย์และสังคมนั้นกลายเป็นอย่างไร ซึ่งนั่นคือคำถามพื้นฐานของปรัชญาเทคโนโลยี ว่าเราจะใช้เทคโนโลยีอย่างไร จะใช้หรือเปล่า แล้วใช้แล้วเราจะอยู่ร่วมกันกับมันอย่างไร ซึ่งก็จะมีนักปรัชญาเทคโนโลยีจำนวนหนึ่งมองว่าเทคโนโลยีมันถูกกำหนดเป้าหมายหรือมันถูกออกแบบมาไว้ตั้งแต่แรก แต่ปัญหาก็คือว่า มันจะมีผลข้างเคียงที่เราควบคุมไม่ได้ตั้งแต่แรก อย่าง AI ที่เราพูดถึงกันอยู่นี้ เรากลัวกันมาก ๆ คือ เราเดาไม่ได้ว่ามันจะมี Algorithmic Error หรือว่าโปรแกรมมันจะทำอะไรที่เราคาดเดาไม่ได้หรือเปล่า เราก็จะคาดการณ์ไป กลัวกันไป เพราะฉะนั้น หน้าที่อันหนึ่งของนักวิชาการที่สนใจเกี่ยวกับทั้งวิทยาศาสตร์และเทคโนโลยี อย่างกลุ่ม STS  จึงเกี่ยวข้องเชื่อมโยงรวมปรัชญาเข้าไปด้วย ในแง่ที่ว่าเข้าไปเพื่อช่วยถกเถียงหรืออธิบาย เข้าใจ Concept เข้าใจแนวคิดที่อยู่เบื้องหลังว่า เราจะควรออกแบบเทคโนโลยีอย่างไร อย่างที่อาจารย์โสรัจจ์ได้ยกตัวอย่างไปแล้วว่านักวิชาการทางด้านวิศวกรรมเองก็สนใจ หรือ ตั้งคำถามถึงประเด็นที่เกี่ยวกับปรัชญา”

  • ปรัชญาสารสนเทศ

“ประเด็นหนึ่งที่อยากแลกเปลี่ยนถึงงานที่อาจารย์ชนิกานต์ทำว่ามีความเกี่ยวข้องกับปรัชญาอย่างไร ในปรัชญาสารสนเทศ (Philosophy of Information) จะมีประเด็นหนึ่งที่กล่าวถึง การที่เราจะเข้าใจความหมายของข้อมูล ความหมายของ Data อย่างเช่นที่อาจารย์ชนิกานต์พูดถึง เรื่องความสุขที่สามารถ Quantify สามารถนับความสุขด้วยการให้เครื่องคอมพิวเตอร์บอกว่าผู้ใช้พึงพอใจกับโปรแกรมมากน้อยเท่าใด กระบวนการคือ เราใส่ Data เข้าไปว่าชอบเมนูแบบนี้ มีความสุข ลำดับเท่าไหร่ ใส่ตัวเลข เพื่อให้คอมพิวเตอร์รู้จัก ซึ่งการที่เราจะบอกได้ว่าคอมพิวเตอร์รู้จักความสุข นับความสุขให้เราได้อย่างไร คือ ยังจำเป็นต้องใช้มนุษย์สำหรับทำความเข้าใจความหมาย อย่างเช่น ถ้าเราเคยตอบแบบสอบถามทั่ว ๆ ไป การวัดความพึงพอใจของลูกค้า จะมีการวัดเป็นคะแนน 5 – 0 หรือบางที่ 5 – 1 ตัวอย่างนี้เป็นวิธีการอันหนึ่งของการเข้าใจสารสนเทศ หรือการทำให้ข้อมูลมีความหมายขึ้นมา ซึ่งตรงนี้ก็จะมีนักปรัชญาเข้าไปพยายามอธิบายว่า การนับข้อมูลหรือการนับหน่วยโดยคอมพิวเตอร์ แท้จริงแล้วมีแนวคิดอยู่เบื้องหลังจากการกระทำของมนุษย์ การที่เราจะบอกได้ว่าคอมพิวเตอร์รู้จักว่าเรามีความสุขได้จริงหรือเปล่า เกิดจากการที่มนุษย์เขียนโปรแกรมให้คอมพิวเตอร์เข้าใจความสุขว่าเป็นอย่างไร แล้วก็คอมพิวเตอร์จะเรียกความสุขว่าอย่างไร”

  • มิติเชิงคุณค่า

“ประเด็นปัญหาในทางปรัชญาจึงมุ่งไปที่ว่า มนุษย์เราจะ Qualify หรือ Quantify หรือนับจำนวนหรือให้ความหมายข้อมูลอย่างไร เราจะเข้าใจ Data Patterns ได้อย่างไร อย่างใน รถยนต์ที่ขับเคลื่อนได้เอง ตัวของรถจะมีเซนเซอร์ที่รองรับข้อมูลหลายรูปแบบ เช่น การวัดความเร็ว การตรวจจับว่ามีผู้โดยสารขึ้นรถหรือยัง การตรวจวัดว่าประตูปิดแน่นหรือไม่ การตรวจจับตำแหน่งและทิศทาง ผลที่จากเซนเซอร์เหล่านี้เป็น Data ทั้งสิ้น ในการทำความเข้าใจระบบทั้งหมด เราจะต้องเลือกว่าเราจะให้ความสำคัญกับข้อมูลชุดใดบ้าง เช่น สมมติเราออกแบบรถยนต์ที่ขับเองได้ แล้วให้ผู้โดยสารขึ้นมาบนรถ คำถามคือ เราควรจะวัดข้อมูลอะไรของผู้โดยสารบ้าง เราควรจะเชื่อมต่อกับ Smart Watch ของเขาหรือเปล่า ตัวที่เชื่อม Smart Watch ก็จะมีปัญหาต่อในเรื่องข้อมูลสุขภาพ มีประเด็นเรื่องข้อมูลสุขภาพ ซึ่งมันก็จะมีข้อถกเถียงว่า เราจะวัดคุณค่าของข้อมูล หรือพูดง่าย ๆ ราคาความสำคัญของข้อมูลมันสำคัญแค่ไหน เช่น Heart Rate รถยนต์ควรจะรู้จังหวะการเต้นหัวใจของผู้โดยสารหรือเปล่า ถ้าคนคิดแบบหนึ่งก็จะบอกว่าเพื่อความปลอดภัย เพื่อข้อมูลสุขภาพ เหมือนการที่อยู่ ๆ เราให้ข้อมูลของเราอยู่ใน Smart Watch ของบริษัทเทคโนโลยีไปเรียบร้อยแล้ว ถ้ามันวัดการนอน วัดจังหวะการเต้นหัวใจของเราได้ ในแง่หนึ่งเราคิดเรื่องความปลอดภัย เราก็รู้สึกว่าดีที่มีบริษัทเทคโนโลยีดูแลข้อมูลทางสุขภาพแทนเรา แต่ถ้าอีกแง่หนึ่งก็คือ เรากำลังอนุญาตให้คนอื่นเข้ามาอยู่ในร่างกายเรา”

“การที่เราจะนับคุณค่าว่า จังหวะการเต้นหัวใจของเราใครควรรู้บ้าง แน่นอนว่าเราเป็นเจ้าของและบริษัทเทคโนโลยีคิดว่าเราเป็นเจ้าของ แต่ว่าเราควรจะให้ใครรู้ข้อมูลบ้าง ลักษณะข้อมูลเรื่องอัตราการเต้นของหัวใจเป็นตัวอย่างของการถกเถียงเชิงคุณค่า นักปรัชญาต้องคุยกับนักเทคโนโลยี หรือว่าฝ่ายต่าง ๆ หรือแม้กระทั่ง นักกฎหมายเองก็ตามว่า ควรออกกฎหมายควบคุมการใช้ข้อมูลส่วนบุคคลอย่างไร ที่อธิบายมานี้เป็นภาพรวมที่แสดงให้เห็นว่า เทคโนโลยีมีความเกี่ยวข้องกับปรัชญา และท้ายที่สุดมันโยงเข้ามาถึงมิติของคุณค่า”

  • ประชาธิปไตยในเทคโนโลยี

“อีกประเด็นหนึ่งที่อยากจะเสนอก็คือ เรื่องประชาธิปไตยในเทคโนโลยีซึ่งเป็นประเด็นหนึ่งในปรัชญาเทคโนโลยี กล่าวคือ เป็นความสัมพันธ์เชิงอำนาจระหว่างผู้เชี่ยวชาญกับผู้ใช้ทั่วไป ในประเด็นนี้จะมีการพูดถึง พวกช่างเทคนิค พวกนักวิชาการ คนที่สร้างเทคโนโลยีขึ้นมาแล้วนำไปใช้กับสังคม เรียกว่า Technocrat ซึ่งการนำเทคโนโลยีไปใช้ในสังคมในขณะเดียวกันมันส่งผลที่ทำให้สังคมเกิดการเปลี่ยนแปลง ตัวอย่างง่าย ๆ  เช่น การมีเส้นแบ่งของความเจริญ อย่างประเทศไทยมีการวางระบบไฟฟ้า อาจเป็นไฟฟ้าระบบปิดก็ได้ เป็นระบบไฟฟ้าที่มี Sophisticate มากขึ้น อย่างในเมืองอาจมีการจ่ายไฟให้อย่างเพียงพอ แต่คนที่ที่อยู่นอกเขตเมือง ต่างจังหวัดที่ห่างไกล ไม่มีระบบไฟเข้าไปถึง ไม่มีทุนสำหรับลงทุน ไม่ได้รับการพัฒนาระบบไฟฟ้าให้ ประชากรนอกเขตเมืองก็ใช้ไฟฟ้าได้ไม่สะดวก ไม่มีระบบปิดรองรับ ตัวอย่างเรื่องไฟฟ้านี้เป็นเรื่องของความเหลื่อมล้ำที่เป็นหนึ่งในประเด็นจริยธรรมที่อาจเกิดขึ้น ถ้าเรามองเห็นเส้นแบ่งของความเจริญ คนที่ไม่เข้าถึงความเจริญจะเป็นอย่างไร ความพยายามในเรื่องนี้คือต้องการให้ผู้ใช้ทั่วไปในสังคมเป็นส่วนหนึ่งของเทคโนโลยีได้ ในประเด็นประชาธิปไตยเทคโนโลยีมันต้องการเรียกร้องให้คนทุกคนเป็น Individual ที่มีความเสมอภาค มีอำนาจ และมีเสียง อีกอย่างการใช้เทคโนโลยีที่จริงแล้วเป็น Feedback ระหว่างผู้ใช้กับเจ้าของเทคโนโลยี คือ ผู้ใช้มี Trend ยังไง บริษัทเทคโนโลยีหรือเจ้าของเทคโนโลยีจะวัดความพึงพอใจ วัดความง่าย U I แต่สิ่งที่อยากจะเน้น คือ ทำอย่างไรให้อำนาจไม่เหลื่อมล้ำ ไม่เหมือนประชาธิปไตยที่เป็นเรื่องการเมืองที่ให้อำนาจประชาชนทุกคนเท่ากัน ในเรื่องเทคโนโลยีหรือความรู้ ความต่าง คือ ผู้ใช้มีความรู้ไม่เท่าผู้เชี่ยวชาญ จะทำอย่างไรให้รู้ได้เท่ากันหรือใกล้เคียงกัน อันนี้ก็คือสองส่วนที่ผมพูดถึงว่าปรัชญาทำอะไรเกี่ยวกับเรื่องเทคโนโลยี”

จากนั้นอาจารย์ปิยณัฐถือโอกาสถามคำถามที่สงสัยกับอาจารย์โสรัจจ์

“สมมติว่าปัญญาประดิษฐ์มันทำงานด้วยระบบ Machine Learning ที่เราก็รู้จักกันอยู่แล้ว อย่างมนุษย์เวลาที่ต้องเรียนหรือว่าฝึกทักษะ ไม่ว่าจะเชิง Technical หรือ Moral ก็ดี มันเป็นสิ่งที่มนุษย์ต้องใช้ความพยายามพอสมควร แทบจะใช้ระยะเวลานานด้วย แต่ Machine Learning ตัวมัน Learn ในตัวมันเอง และ Learn ได้เร็วมาก อย่างนี้แล้ว Machine มันจะสามารถเข้าถึงความสมบูรณ์ของการเป็นอะไรบางอย่างได้ดีกว่ามนุษย์ใช่หรือไม่”

“เรื่อง Machine Learning ตัว Machine มันเรียนรู้ด้วยตัวของมันเอง ปัญญาประดิษฐ์ที่ได้เสนอไว้ในหนังสือมี 2 แบบ คือ ปัญญาประดิษฐ์ AGI (Artificial General Intelligence) ประเภทนี้คิดได้เหมือนมนุษย์ทุกอย่างหรืออาจทำได้ดีกว่ามนุษย์ ประเภทนี้มี Consciousness มีอะไรต่าง ๆ เหมือนมนุษย์ทุกประการ มีความเข้าใจในภาษา ปัญญาประดิษฐ์ประเภทนี้ยังมาไม่ถึง และปัญญาประดิษฐ์อีกประเภท คือ ปัญญาประดิษฐ์ที่มีความสามารถในการเรียนรู้ แต่ว่าเรียนรู้ในระดับที่ยังไม่ถึงขั้นที่เรียนรู้จนกลายเป็น Conscious Machine แบบประเภทแรก ปัญญาประดิษฐ์ประเภทนี้เรียกว่า ASI (Artificial Special Intelligence) หรือ Specialized Intelligence ประเภทนี้กระทำตามคำสั่งที่ถูกโปรแกรมไว้ได้อย่างเดียวหรือทำอะไรได้ไม่มากไปกว่าข้อจำกัด เช่น โปรแกรมที่เล่นเกมส์โกะก็สามารถเล่นเกมส์โกะได้อย่างเดียว ทำอย่างอื่นไม่ได้ คำถามที่ถามต่อก็คือ Machine มันเรียนรู้ตัวมันเองหรือไม่ ถ้าเป็นปัญญาประดิษฐ์ประเภท ASI มันจะเรียนรู้ได้ถึงระดับหนึ่งตามที่มันถูกโปรแกรมมาตั้งแต่ต้น อย่างตัว AlphaGo หรือ AlphaGo Zero มันเรียนรู้ด้วยตัวมันเอง มันไม่ต้องอาศัย Database ของเกมส์โกะที่มีคนบันทึกไว้เป็นร้อย ๆ ปี มันก็เล่นกับตัวมันเองแล้วก็ Generate ข้อมูลของตัวมันเองเพื่อหาทางเอาชนะคู่ต่อสู้ แต่ว่าสิ่งที่เป็นข้อจำกัดของมัน คือ มันเล่นเกมส์โกะได้อย่างเดียว หากจะอธิบายคงอธิบายได้ว่าตัวมันมี Moral Excellence แต่มีในระดับเฉพาะของมันไม่ได้มากถึงขนาดที่มี Compassionate ที่มันสามารถเข้าใจความสัมพันธ์ของสรรพสิ่ง และมี Technical Excellence คือ ทำงานได้ดี ไม่เกิดปัญหา มันสามารถเล่นเกมส์โกะชนะใครต่อใครได้ เห็นว่าในแง่ Moral Excellence มันจะมีข้อจำกัดอยู่บนความเฉพาะในตัวมัน เช่น เวลาเล่นเกมมันจะไม่โกง มันเอาชนะแบบแฟร์ ๆ ตามกติกาล้วน ๆ ตัวอย่างนี้เป็นหนึ่งของ Moral Excellence ของปัญญาประดิษฐ์ เพราะว่าเป็นเรื่องของเฉพาะการเล่นเกมส์โกะ ตัวของมันทำอย่างอื่นไม่เป็น เพราะฉะนั้น Moral Excellence มันก็ต้องเป็น Moral Excellence ภายใต้บริบทของการเล่นเกมส์โกะ” อาจารย์โสรัจจ์ตอบ

“แล้วในหนังสือของอาจารย์เน้น User Base หรือว่า Programmer Base ที่มนุษย์สร้างจะต้องมีความรู้ ตระหนักรู้ Compassion แล้วก็สร้างชุมชนให้แต่ละคนมีส่วนร่วม หรือว่าอาจารย์กำลังมุ่งไปที่ตัว AI ในตัวมันเอง ที่ต้อง Compassion หรือว่าทั้งสองอย่าง” อาจารย์ปิยณัฐถามต่อ

อาจารย์โสรัจจ์ตอบ:

“จริง ๆ แล้ว พูดถึงทั้งคู่ อย่างที่ตอบคำถามก่อนหน้านี้ไป วันหนึ่งหากปัญญาประดิษฐ์พัฒนาไปเป็น AGI ที่คิดได้เหมือนมนุษย์ทุกอย่าง (หรืออาจจะดีกว่ามนุษย์ด้วยซ้ำ) ความสามารถที่มันคิดได้นี้จะต้องรวมถึงการที่มันสามารถมี Moral Excellence คือหมายความว่ามันต้องสามารถคิด แล้วก็เข้าใจ แล้วก็ทำอะไรต่ออะไรได้แบบที่ว่ามันมีจริยธรรมอยู่ในตัวของมันด้วย คือเราอาจจะดูหนัง Hollywood แล้วเราอาจจะได้ภาพของ AGI คือคอมพิวเตอร์ที่คิดได้เอง เพราะว่าหนัง Hollywood มันชอบวาดภาพให้พวกนี้เป็นผู้ร้ายที่มาคุกคามมนุษย์ และมนุษย์ต้องต่อสู้อย่างในหนังเรื่อง The Matrix และ The Terminator บางทีอาจสวนทางกับภาพที่หนังฉายให้เห็น AI ที่เมื่อมันพัฒนาตัวมันเองจนถึงระดับนั้นแล้ว มันอาจกลายเป็น Being ที่มีคุณธรรมจริยธรรม ที่อาจจะสูงกว่ามนุษย์บางคนก็ได้ ไม่น่ามีอะไรที่เป็นปัญหาก็ได้ และคุณธรรมจริยธรรมมันมาคู่กับการที่มันพัฒนาตัวมันเอง จนมันเป็น AGI ระดับสูง (ที่ยังไม่มีแต่มันอาจจะมีในอนาคต) ในหนังสือเรื่องที่พูดไว้เยอะก็คือเรื่อง Application เรื่อง Autonomous Car/ Self-driving Car หรือ รถที่วิ่งได้ด้วยตนเอง และเทคโนโลยีอาวุธ เช่น โดรนที่เลือกเป้าเองซึ่งเวลานี้กระทรวงกลาโหมของสหรัฐ รัสเซีย และจีนกำลังเร่งพัฒนาอยู่ ปัญหาสำหรับเทคโนโลยีอาวุธโดรนคือไม่ใช่แค่เรื่องของการควบคุมโดรนในระยะไกล (เหมือนกับเล่นวีดีโอเกมส์) แต่เป็นปัญหาความสามารถในการตัดสินเองของโดรน มันอาจไม่รู้ว่าอะไรผิดถูก แต่มันรู้ได้ว่าใครเป็นข้าศึก ใครเป็นพลเรือน ใครต้องยิง ใครที่จะต้องละเว้นไว้ ดังนั้น ปัญหาทางจริยธรรมที่ชัดเจนก็คือ วิศวกรหรือกระทรวงกลาโหมประเทศต่าง ๆ มีสิทธิทางจริยธรรม มีความเป็นไปได้ในทางจริยธรรมที่จะพัฒนาสิ่งเหล่านี้หรือไม่ ถ้าคำตอบคือไม่มี มันก็เหมือนกับพวกอาวุธชีวภาพ อาวุธเคมี ที่ไม่มีเหตุผลอะไรหรือความจำเป็นที่จะพัฒนาอาวุธพวกนี้มา เพราะมันผิดหลักจริยธรรมของการทำสงครามทั้งหมด ประเด็นนี้ก็มีคนเขียนถึงเป็น Literature ตีพิมพ์ไว้พอสมควรแล้ว”

อีกคำถามที่น่าสนใจที่อาจารย์ปิยณัฐชวนอาจารย์โสรัจจ์คุย อาจารย์ปิยณัฐเล่าถึงที่มาที่ไปว่าสนใจ เรื่อง Agency ; Moral Agency ของ Machine ใน Debate ของประเด็นนี้จะมีกลุ่มที่วิจารณ์แนวคิดแบบ Anthropomorphism หรือว่า Anthropocentric ที่เวลาเราเห็น Robot หรือเห็นอะไร มนุษย์เรามักจะสวมคุณลักษณะแบบมนุษย์ไปให้ รวมถึงวิธีคิดที่เรามักจะคิดว่ามันจะต้อง Conscious มันถึงจะเป็น Agent แบบเราก่อน ถึงจะมีคุณลักษณะทางจริยธรรมแบบเรา แต่ก็จะเริ่มเห็นนักวิชาการหลายท่านที่ถือมุมมองที่เรียกได้ว่า Artificial Agent โดยที่ว่าไม่จำเป็นต้อง Conscious ในงานของอาจารย์โสรัจจ์เองก็พูดไว้ในทำนองเดียวกันนี้ และถ้าเป็นเช่นนี้แล้วก็หมายความว่า เวลาเราจะมองว่า AI เป็น Moral Agent หรือเปล่า เราไม่จำเป็นต้องนิยามความเป็น Agency ในความหมายแบบว่ามันมี Intentionality หรือว่ามีคุณลักษณะของจิตข้างใน แต่เราอาจจะมองในเชิง Functional Agent ได้หรือไม่ สิ่งที่อยากจะถามคือ “เป็นไปได้ไหมที่จะมีเครื่องจักรที่ตัดสินใจทำอะไรได้เองและขณะเดียวกันสิ่งที่มันตัดสินใจทำมีสถานะทางศีลธรรมในตัวมันเอง”

อาจารย์โสรัจจ์ชี้ว่า “คำตอบคือ ปัจจุบันมีลักษณะของปัญญาประดิษฐ์นี้อยู่เยอะเลย อย่างเรื่องรถวิ่งได้ด้วยตัวเอง ประเทศจีนก็กำลังพัฒนาแข่งกับอเมริกาอยู่ มันก็มีสถานะทางศีลธรรมในตัวของมัน คือเวลามันเห็นคนข้ามถนน มันจะหยุด ไม่ว่าการเห็นคนข้ามถนน หรือ แม้กระทั่งเห็นสุนัขข้ามถนน มันก็หยุด ส่วนตัวผมเชื่อว่าโปรแกรมเมอร์เขาต้องโปรแกรมให้รถมันต้องหยุด ลักษณะนี้มันแสดงถึงสถานะทางศีลธรรมในระดับหนึ่ง ถึงแม้ว่ามันจะไม่มี Consciousness คือไม่สามารถจะคิดในใจ ว่านี่เป็นสุนัข ต้องหยุดเลย มันไม่คิดกับตัวมันเองอย่างนั้น แต่ว่ามันถูกโปรแกรมมา มันต้องมีเซนเซอร์ที่จะตรวจจับสิ่งเคลื่อนไหวอยู่ข้างหน้า และมันสามารถ Recognition ในระดับหนึ่ง ว่านี่คือสุนัข เหมือนกับว่ามันต้องวัดจุดอะไรบางอย่างของมัน แล้วก็ประมวลผล แล้วก็บอกว่าต้องหยุด การไม่ชนสุนัขก็เท่ากับว่าละเว้นชีวิตสิ่งมีชีวิต เราก็สามารถบอกได้ว่ามันมีสถานะทางศีลธรรมแบบหนึ่ง มีความเป็น Agent ในระดับหนึ่ง นี่คือคำตอบของที่เป็น Standard คือดูที่ผลของการกระทำ แทนที่จะดูที่เจตนา เพราะว่า แม้กระทั่งมนุษย์ด้วยกัน ก็ยังไม่รู้มีเจตนาของการกระทำ ตามหลักกฎหมายจึงให้ความสำคัญกับสิ่งที่ทำ แล้วก็อนุมาน Infer เอาว่าเจตนาเป็นอย่างไรจากสิ่งที่ทำ ไม่ใช่ดูจากเจตนาก่อนซึ่งมันเป็นนามธรรมมาก ๆ แล้วก็มาดูอีกทีว่าทำตามเจตนานั้นหรือไม่” อาจารย์โสรัจจ์ตอบ

ในคำถามเดียวกันนี้ อาจารย์เจิดเสริม “Agent ในความหมายทั่วไปของผู้ที่ไม่ได้เรียนปรัชญา หมายถึง เป็นคนทำที่มีสถานะต่างจากเรา เช่น เราปล่อยสุนัขไปกัดคนข้างบ้าน เราก็จะไม่จับสุนัขไปติดคุก แต่ว่าจะลงโทษเจ้าของ มีงานปรัชญาจำนวนหนึ่งที่บอกว่าเราอาจจะไม่ต้องพูดถึงความรับผิดชอบของเครื่องจักรหรือโปรแกรมในแบบเดียวกันกับมนุษย์ แต่เราสามารถหาคำอธิบายว่าใครถูก ใครผิด หรือว่าเราอาจจะยับยั้ง หรือเราสามารถประเมินมันได้ด้วยวิธีอื่น เช่น การกระทำเครื่องจักรที่ไม่ดี เราอาจจะไม่มองว่ามันต้องรับผิดชอบ แต่เราอาจจะประเมินว่าเครื่องจักรแบบนี้ไม่น่าเชื่อถือ กับอีกอันหนึ่งก็คือเรื่องการที่เรามักจะไปคิดว่าสิ่งที่มันฉลาดหรือว่ามันทำอะไรได้ มันจะต้องมีลักษณะเหมือนมนุษย์ เครื่องจักรที่ฉลาดแปลว่าเครื่องจักรแบบเรา”

“นักปรัชญาท่านหนึ่งที่พูดถึง Superintelligence คือ Nick Bostrom ที่เขียนหนังสือ Superintelligence: Paths, Dangers, Strategies บอกว่ามันเป็น Fallacy มันเป็นความเข้าใจผิดประเภทหนึ่ง ที่มนุษย์ชอบไป Project ชอบไปใส่จิตแบบมนุษย์ให้กับสิ่งต่าง ๆ เช่น แม้แต่สุนัขเองก็ตาม เวลาที่สุนัขมันโต้ตอบกับเรา มันฉลาดกับเรา เรารู้สึกว่ามันเป็นบุคคลขึ้นมา ซึ่งอันนี้เขามองว่า มันเป็นเหมือนอะไรที่มนุษย์มักจะทึกทักเอาเอง แต่ในข้อสรุปหรือข้อเสนอของ Nick Bostrom บอกไว้ว่า เวลาเรามอง AI หรือเครื่องจักรที่ฉลาด อย่าไปมองว่ามันฉลาดแบบมนุษย์ อย่ามองว่าต้องมีจิตถึงจะคิดได้แบบมนุษย์ แต่เราควรระวังภัยของมันในแบบ Superintelligence กล่าวคือ เป็นการประเมิน AI หรือว่าการพูดถึงอันตรายของ AI อีกแบบหนึ่งว่า AI มันอาจจะไม่ได้ยึดครองโลกในแบบมนุษย์หรอก แต่มันทำงานของมันแบบฉลาดนั่นแหละ แต่มนุษย์ควบคุมไม่ได้ แนวคิดของ Bostrom นี้ นับเป็นการเข้าใจ AI อีกแบบหนึ่ง สำหรับในประเด็นที่อาจารย์ปิยณัฐพูดก็น่าสนใจอยู่อย่างหนึ่ง เพราะทั่วไปเรามักจะคิดว่าเครื่องจักร หรือหุ่นยนต์ หรือว่าเวลาที่มันฉลาด แล้วมันต้องคิดเหมือนมนุษย์ มันอาจจะไม่ได้คิดเหมือนมนุษย์เลยก็ได้ เราเองต่างหากที่เราไปคิดว่ามันจะคิดเหมือนมนุษย์”

เวลาร่วมสองชั่วโมงผ่านไปอย่างรวดเร็ว ทั้งจริยศาสตร์ของปัญญาประดิษฐ์ในมุมมองเชิงพุทธจากอาจารย์โสรัจจ์ ความก้าวล้ำของเทคโนโลยีและความกังวลถึงเป้าหมายในระยะยาวในการพัฒนาชีวิตอย่างยั่งยืน ว่าด้วยเทคโนโลยีที่ดีต้องช่วยลดความทุกข์และสร้างความสุขแก่มนุษย์จากมุมมองของนักเทคโนโลยีจากอาจารย์ชนิกานต์ และมุมมองจากอาจารย์เจิดที่เล่าถึงบทบาทของปรัชญาที่สัมพันธ์กับเทคโนโลยี จริยศาสตร์เทคโนโลยี ตลอดจนปรัชญาสารสนเทศ วิทยากรทั้ง 3  ทำให้เราเห็นว่าคำถามและคำตอบต่อปัญญาประดิษฐ์และหุ่นยนต์โดยเฉพาะอย่างยิ่งในทางจริยศาสตร์ยังมีคำตอบที่น่าค้นหารอเราอยู่

“คำตอบของปัญหาไม่มีทางหยุดนิ่ง สุดท้ายหากถามถึงเกณฑ์ที่ดีที่สุดในการตัดสินจริยศาสตร์ของปัญญาประดิษฐ์ ก็ยังคงตอบไม่ได้ หรือนักวิชาการทั้งหลายที่พยายามตอบคำถามนี้ก็คิดเห็นแตกต่างกันไป ถกเถียงกันไปเรื่อย ๆ ไม่จบ ความไม่จบสิ้นนี้เป็นสิ่งที่ควรทำ แม้คำตอบยังมาไม่ถึง ในฐานะมนุษย์ผู้สร้างสรรค์ก็ต้องคิดกับมันต่อ ปรับปรุงต่อ อัปเดตกันต่อไป” อาจารย์โสรัจจ์ทิ้งท้ายบทสรุปให้กับวงเสวนา.

“คำตอบของปัญหาไม่มีทางหยุดนิ่ง สุดท้ายหากถามถึงเกณฑ์ที่ดีที่สุดในการตัดสิน
จริยศาสตร์ของปัญญาประดิษฐ์ ก็ยังคงตอบไม่ได้…ในฐานะมนุษย์ผู้สร้างสรรค์
ก็ต้องคิดกับมันต่อ ปรับปรุงต่อ อัปเดตกันต่อไป”

ศ.ดร.โสรัจจ์ หงส์ลดารมณ์

ดูคลิปเสวนาได้ที่ >>> https://fb.watch/3K2KH_AJOB/

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s