Return to Video

ความลำเอียงทางจริยธรรมเบื้องหลังผลการค้นหา

  • 0:01 - 0:04
    เมื่อใดก็ตามที่ผมไปเยี่ยมโรงเรียน
    และพูดกับนักเรียน
  • 0:04 - 0:06
    ผมถามพวกเขาด้วยคำถามเดิมเสมอว่า
  • 0:07 - 0:08
    ทำไมถึงใช้กูเกิล
  • 0:09 - 0:12
    ทำไมกูเกิลถึงเป็นอุปกรณ์ค้นหา
    ที่คุณเลือกใช้
  • 0:13 - 0:15
    น่าแปลกทีเดียว ที่ผมมักได้คำตอบ
    ซ้ำ ๆ กันสามคำตอบ
  • 0:15 - 0:17
    หนึ่ง "เพราะมันใช้การได้"
  • 0:17 - 0:20
    ซึ่งเป็นคำตอบที่เยี่ยม
    นั่นเป็นเหตุผลที่ฉันใช้กูเกิลเหมือนกัน
  • 0:20 - 0:22
    สอง ใครบางคนจะบอกว่า
  • 0:22 - 0:25
    "ฉันไม่รู้หรอกว่ามีทางเลือกอื่นไหนอีก"
  • 0:26 - 0:29
    มันไม่ได้เป็นคำตอบที่ดีไม่เท่ากับอันก่อน
    และฉันก็ตอบมันว่าปกติดี
  • 0:29 - 0:31
    "ลองกูเกิลคำว่า 'อุปกรณ์ค้นหา' ดูสิ
  • 0:31 - 0:33
    คุณอาจจะเจอตัวเลือกอื่นที่น่าสนใจ"
  • 0:33 - 0:35
    และสุดท้าย แต่ไม่ท้ายสุด สาม
  • 0:35 - 0:39
    นักเรียนสักคนจะยกมือขึ้นอย่างหลีกเลี่ยงไม่ได้
    และบอกว่า
  • 0:39 - 0:44
    "ถ้าใช้กูเกิล ผมจะได้ผลการค้นหา
    ที่ดีที่สุดและไม่ลำเอียงเสมอ"
  • 0:45 - 0:52
    ได้ผลการค้นหาที่ดีที่สุดและไม่ลำเอียง
    เป็นส่วนใหญ่ถึงเสมอๆ
  • 0:53 - 0:55
    ครับ ในฐานะที่เป็นคนของมวลมนุษยชาติ
  • 0:56 - 0:58
    แม้ว่าจะเป็นมนุษย์แห่งมวลมนุษยชาติดิจิตัล
  • 0:58 - 0:59
    มันก็ทำให้ผมขนลุกเกรียว
  • 0:59 - 1:04
    แม้ว่า ผมก็เช่นกัน ที่เชื่อมั่น
    ในความคิดเกี่ยวกับผลการค้นหาที่ไม่ลำเอียง
  • 1:04 - 1:08
    ว่าเป็นเสาหลักหนึ่งในเหตุผล
    ที่เรารักและชื่นชอบกูเกิล
  • 1:09 - 1:13
    ผมจะแสดงให้คุณเห็นว่าทำไม
    มันแทบจะเป็นไปไม่ได้ในทางปรัชญา
  • 1:13 - 1:16
    แต่ให้ผมขยายความไปมากกว่านี้สักนิด
    ในเรื่องของหลักการพื้นฐาน
  • 1:16 - 1:19
    เบื้องหลังแต่ละคำสั่งการค้นหา
    ที่บางทีเหมือนว่าเราจะลืมมันไป
  • 1:20 - 1:22
    ถ้าเมื่อใดก็ตาม ที่คุณใช้กูเกิล
  • 1:22 - 1:26
    โดยเริ่มจากการถามตัวเองว่า
    "ฉันกำลังหาข้อเท็จจริงโดด ๆ หรือเปล่า"
  • 1:26 - 1:29
    เมืองหลวงของฝรั่งเศสคืออะไร
  • 1:30 - 1:32
    อะไรเป็นองค์ประกอบหลักของโมเลกุลน้ำ
  • 1:32 - 1:34
    ยอดเลยครับ ใช้กูเกิลเลย
  • 1:34 - 1:37
    ไม่มีนักวิทยาศาสตร์กลุ่มไหน
    ที่จะพิสูจน์อะไรที่ใกล้เคียงกับการบอกว่า
  • 1:37 - 1:39
    อันที่จริงแล้ว คำตอบนั้นคือ
    ลอนดอน และ H30
  • 1:39 - 1:42
    คุณจะไม่เจอทฤษฎีสมคบคิดอันยิ่งใหญ่อะไร
    ท่ามกลางสิ่งเหล่านี้
  • 1:42 - 1:43
    เราเห็นพ้องต้องกัน ในระดับสากล
  • 1:43 - 1:46
    ว่าอะไรเป็นคำตอบ
    ของข้อเท็จจริงโดด ๆ เหล่านั้น
  • 1:46 - 1:52
    แต่ถ้าคุณทำให้คำถามซับซ้อนไปมากกว่านี้สักนิด
    และถามอะไรประมาณว่า
  • 1:52 - 1:54
    "ทำไมถึงมีความขัดแย้ง
    ระหว่างอิสราเอลและปาเลสไตน์"
  • 1:55 - 1:58
    คุณไม่ได้กำลังมองที่ข้อเท็จจริงเดี่ยว อีกแล้ว
  • 1:58 - 1:59
    คุณกำลังมองหาความรู้
  • 1:59 - 2:02
    ที่เป็นอะไรที่ซับซ้อนและอ่อนไหว
  • 2:03 - 2:04
    และเพื่อให้ได้ความรู้นั้น
  • 2:04 - 2:07
    คุณจะต้องนำข้อเท็จจริง 10 หรือ 20 หรือ 100
    ข้อเท็จจริงมาพิจารณา
  • 2:07 - 2:10
    และอ้างถึงพวกมันและบอกว่า
    "เอาล่ะ ทั้งหมดนี้เป็นความจริง"
  • 2:10 - 2:12
    แต่อยู่ที่ว่าผมจะเป็นใคร
  • 2:12 - 2:14
    เด็กหรือแก่ ดำหรือขาว
    เป็นเกย์หรือเป็นชายแท้
  • 2:14 - 2:16
    ผมจะให้ค่ากับมันอย่างแตกต่าง
  • 2:16 - 2:18
    และผมจะบอกว่า "ใช่ นี่มันจริง
  • 2:18 - 2:20
    แต่อันนี้สำคัญมากกว่าอีกอันหนึ่ง
    ในความคิดของผม"
  • 2:20 - 2:22
    และนี่แหละ เป็นสิ่งที่ทำให้มันน่าสนใจ
  • 2:22 - 2:24
    เพราะว่านี่คือสิ่งที่ทำให้เราเป็นมนุษย์
  • 2:24 - 2:27
    นี่คือตอนที่เราเริ่มถกเถียง
    เพื่อสร้างสังคม
  • 2:27 - 2:30
    และเพื่อที่จะเดินหน้าไปทางไหนสักทาง
    เราต้องทำการกรองข้อเท็จจริงทั้งหมดที่มี
  • 2:30 - 2:33
    ผ่านเพื่อนฝูง เพื่อนบ้านพ่อแม่ เด็กๆ
  • 2:33 - 2:35
    เพื่อนร่วมงาน หนังสือพิมพ์ นิตยสาร
  • 2:35 - 2:38
    จนกระทั่งถึงก้นบึ้งของความรู้ที่แท้จริง
  • 2:38 - 2:42
    ซึ่งเป็นอะไรบางอย่าง
    ที่อุปกรณ์ค้นหาช่วยได้น้อยมาก
  • 2:43 - 2:50
    ฉะนั้น ผมให้ตัวอย่างกับคุณ
    เพียงแค่จะบอกว่า ทำไมมันถึงยากนัก
  • 2:50 - 2:53
    ที่จะไปถึงจุดแห่งความรู้ที่เป็นความจริง
    สะอาด และตรงประเด็น
  • 2:53 - 2:55
    เป็นดั่งอาหารทางความคิด
  • 2:55 - 2:58
    ผมจะลองทำการค้นหาง่าย ๆ สองสามอย่าง
  • 2:58 - 3:03
    เราจะเริ่มกันด้วย "มิเชล โอบามา"
  • 3:03 - 3:04
    สุภาพสตรีหมายเลขหนึ่งของสหรัฐอเมริกา
  • 3:04 - 3:06
    และเราจะกดเรียกดูภาพ
  • 3:07 - 3:09
    มันทำงานได้ดี อย่างที่คุณเห็น ๆ กัน
  • 3:09 - 3:12
    มันเป็นการค้นหาที่สมบูรณ์แบบ
  • 3:12 - 3:15
    มันมีแค่นางในภาพ
    ไม่มีประธานาธิบดีด้วยซ้ำ
  • 3:16 - 3:17
    มันทำได้อย่างไร
  • 3:18 - 3:19
    ค่อนข้างง่ายครับ
  • 3:19 - 3:22
    กูเกิลใช้ความฉลาดค่อนข้างมาก
    แต่มันอธิบายได้ไม่ยาก
  • 3:22 - 3:25
    มันมองหาสองสิ่ง ยิ่งกว่าสิ่งอื่น ๆ
  • 3:25 - 3:30
    ประการแรก สิ่งที่เขียนไว้ใต้ภาพในแต่ละเว็บไซต์
  • 3:30 - 3:32
    มันเขียนไว้ว่า "มิเชล โอบามา"
    ที่ใต้ภาพหรือเปล่า
  • 3:32 - 3:34
    ค่อนข้างจะเป็นตัวกำหนดที่ดี
    มันเป็นนางจริง ๆ
  • 3:34 - 3:37
    ประการที่สอง กูเกิลมองหาที่ไฟล์ภาพ
  • 3:37 - 3:40
    ชื่อลองไฟล์ เช่นไฟล์ที่อัพโหลดไว้ตามเว็บไซต์
  • 3:40 - 3:42
    อีกครั้ง มันถูกตั้งชื่อว่า
    "มิเชลโอบามา.เจพีอีจี" หรือไม่
  • 3:43 - 3:46
    ค่อนข้างเป็นตัวกำหนดที่ดี
    ในภาพไม่ใช่ คลินท์ อีสวู๊ด
  • 3:46 - 3:50
    ฉะนั้น เมื่อคุณได้ทั้งสองอย่างนั้น
    และคุณได้ผลการค้นหาที่แทบจะเป็นแบบนี้
  • 3:50 - 3:57
    ทีนี้ ใน ค.ศ. 2009 มิเชล โอบามา
    เป็นเหยื่อของโครงการรณรงค์เหยียดผิว
  • 3:57 - 4:01
    ที่ผู้คนก่อกวนนางผ่านผลการค้นหา
  • 4:01 - 4:04
    มีภาพที่ถูกเผยแพร่ออกไปอย่างกว้างขวาง
    ในอินเทอร์เน็ต
  • 4:04 - 4:07
    ที่ซึ่งหน้าของนางถูกตัดต่อให้เหมือนลิง
  • 4:07 - 4:10
    และภาพนั้นก็ถูกแสดงเต็มไปหมด
  • 4:10 - 4:14
    และคนก็นำมันออกมาแสดง
    อย่างมีจุดประสงค์มาก ๆ ทีเดียว
  • 4:14 - 4:16
    เพื่อที่จะให้มันขึ้นไปอยู่ในผลการค้นหา
  • 4:16 - 4:19
    พวกเขาดูให้แน่ใจ
    ว่ามีคำว่า "มิเชล โอบามา" ในคำบรรยาย
  • 4:19 - 4:23
    และพวกเขาดูให้แน่ใจ ว่ามีการอัพโหลดภาพ
    ที่ชื่อ "มิเชลโอบามา.เจพีอีจี" หรืออะไรแบบนั้น
  • 4:23 - 4:25
    คุณคงรู้ว่าทำไม
    ก็เพื่อเปลี่ยนแปลงผลการค้นหา
  • 4:25 - 4:27
    และมันก็ได้ผลเสียด้วย
  • 4:27 - 4:29
    ฉะนั้น เมื่อคุณกูเกิลค้นหาภาพ
    "มิเชล โอบามา" ในปี 2009
  • 4:29 - 4:33
    ภาพลิงที่ถูกติดต่อถูกแสดงออกมา
    ท่ามกลางผลลัพท์แรก
  • 4:33 - 4:36
    ทีนี้ ผลลัพท์เป็นการลบล้างตัวเอง
  • 4:36 - 4:38
    และนี่ก็เป็นความงามอย่างหนึ่งของมัน
  • 4:38 - 4:42
    เพราะกูเกิลวัดความเกี่ยวข้อง
    ทุกชั่วโมง ทุกวัน
  • 4:42 - 4:44
    อย่างไรก็ดี กูเกิลไม่ได้ยุติอยู่ที่ตรงนั้น
    ในเวลานั้น
  • 4:44 - 4:47
    มันคิดว่า "นั่นมันเหยียดผิว
    และเป็นผลการค้นหาที่ไม่ดี
  • 4:48 - 4:51
    และเรากำลังที่จะย้อนกลับไป
    และล้างมันทีละขั้นตอน
  • 4:51 - 4:54
    พวกเรากำลังที่จะเขียนโค้ดบางอย่าง
    และซ่อมมัน"
  • 4:54 - 4:55
    ซึ่งพวกเขาก็ทำ
  • 4:55 - 4:59
    และผมไม่คิดว่าจะมีใครในห้องนี้
    คิดว่ามันเป็นความคิดที่แย่
  • 5:00 - 5:01
    ผมก็เหมือนกันครับ
  • 5:03 - 5:06
    แต่จากนั้น สองสามปีผ่านไป
  • 5:06 - 5:09
    คนชื่อ อันเดอร์ส ที่ถูกกูเกิล
    มากที่สุดในโลก
  • 5:09 - 5:11
    อันเดอร์ส เบห์ริง เบรวิก
  • 5:11 - 5:13
    ทำในสิ่งที่เขาได้ทำลงไป
  • 5:13 - 5:15
    นี่คือวันที่ 22 กรกฎาคม ค.ศ. 2011
  • 5:15 - 5:18
    และเป็นที่น่าสยองในประวัติศาสตร์นอร์เวย์
  • 5:18 - 5:21
    ชายคนนี้ ผู้ก่อการร้าย
    ระเบิดตึกรัฐบาลไปสองสามหลัง
  • 5:21 - 5:24
    ซึ่งห่างจากจุดที่เรายืนอยูตรงนี้ไปไม่มาก
    ในกรุงออสโล นอร์เวย์
  • 5:24 - 5:26
    และจากนั้นเขาเดินทางไปยังเกาะอูเตอยา
  • 5:26 - 5:29
    ยิงและสังหารเด็กกลุ่มหนึ่ง
  • 5:29 - 5:31
    คนประมาณ 80 รายเสียชีวิตในวันนั้น
  • 5:32 - 5:37
    และคนมากมายคงจะอธิบายการกระทำ
    ที่แสนน่ากลัวนี้เป็นสองขั้น
  • 5:37 - 5:40
    ว่าเขาทำสองอย่างคือ ระเบิดตึก
    และยิงเด็ก ๆ
  • 5:40 - 5:42
    มันไม่จริงครับ
  • 5:42 - 5:44
    มันมีสามขั้นตอน
  • 5:44 - 5:47
    เขาระเบิดตึกเหล่านั้น
    เขายิงเด็กพวกนั้น
  • 5:47 - 5:50
    และเขานั่งลง และรอ
    ให้โลกกูเกิลหาเขา
  • 5:51 - 5:54
    และเขาเตรียมการทั้งสามขั้นตอนนั้น
    ไว้อย่างดีเท่า ๆ กัน
  • 5:55 - 5:57
    และถ้ามีใครสักคน
    ที่เข้าใจสิ่งนี้ได้อย่างทันท่วงที
  • 5:57 - 5:59
    ก็เห็นจะเป็นผู้พัฒนาเว็บไซต์ชาวสวีเดน
  • 5:59 - 6:03
    ผู้เชี่ยวชาญการปรับปรุงอุปกรณ์การค้นหา
    ในกรุงสตอกโฮม นามว่า นิคกี ลินควิสท์
  • 6:03 - 6:04
    เขายังเป็นคนที่ในวงการการเมือง
  • 6:04 - 6:07
    และเขาก็ใช้โซเชียลมีเดีย
    บล๊อค และเฟสบุ๊ค ของเขา
  • 6:07 - 6:09
    บอกกับทุก ๆ คน
  • 6:09 - 6:11
    "ถ้าหากจะมีอะไรสักอย่าง
    ที่ชายคนนี้จะปรารถนาในตอนนี้
  • 6:11 - 6:14
    มันคือการควบคุมภาพของเขาเอง
  • 6:15 - 6:17
    ลองมาดูว่า เขาบิดเบือนมันได้หรือไม่
  • 6:17 - 6:21
    ลองมาดูว่า ในโลกที่เจริญแล้ว
    เราจะสามารถประท้วงการกระทำของเขาได้หรือไม่
  • 6:21 - 6:25
    โดยใช้การก่อกวนเขาในผลการค้นหา"
  • 6:25 - 6:26
    และอย่างไรล่ะครับ
  • 6:27 - 6:29
    เขาบอกนักอ่านทุกคนของเขาว่า
  • 6:29 - 6:31
    "ออกไปใช้อินเทอร์เน็ต
  • 6:31 - 6:34
    ค้นหาภาพของหมาที่อึข้างทาง
  • 6:35 - 6:37
    ค้นหาภาพของหมาที่อึข้างทาง
  • 6:37 - 6:40
    นำมันขึ้นแสดงในฟีดของคุณ
    บนเว็บไซต์ บนบล๊อค
  • 6:40 - 6:43
    ดูให้แน่ใจว่าคุณได้เขียนชื่อของผู้ก่อการร้าย
    ไว้ในคำบรรยายภาพ
  • 6:43 - 6:48
    ดูให้แน่ใจว่าได้ตั้งชื่อภาพไฟล์ว่า
    "เบรวิก.เจพีอีจี"
  • 6:48 - 6:52
    มาสอนกูเกิลให้รู้ว่า
    นั่นคือโฉมหน้าของผู้ก่อการร้าย"
  • 6:54 - 6:55
    และมันได้ผลครับ
  • 6:56 - 6:59
    สองปีหลังจากการรณรงค์ต่อต้าน
    มิเชล โอบามา
  • 6:59 - 7:02
    การรณรงค์เพื่อการเปลี่ยนแปลงต่อต้าน
    อันเดอร์ส เบห์ริง เบรวิก นี้ได้ผล
  • 7:02 - 7:07
    ถ้าคุณค้นหาภาพของเขาทางกูเกิล
    สัปดาห์หลังจากวันที่ 22 กรกฎาคม จากสวีเดน
  • 7:07 - 7:11
    คุณจะเห็นภาพหมาอึอยู่สูงที่สุดในผลการค้นหา
  • 7:11 - 7:12
    เป็นการประท้วงเล็ก ๆ
  • 7:13 - 7:18
    น่าแปลก ที่กูเกิลไม่ได้เข้าแทรกแซงในครั้งนี้
  • 7:18 - 7:23
    พวกเขาไม่ได้เข้าไปและทำการล้าง
    ผลการค้นหาที่ละขั้นตอน
  • 7:24 - 7:26
    ฉะนั้น นี่เป็นคำถามล้านดอลลาร์ครับ
  • 7:26 - 7:29
    มันมีความแตกต่างบ้างไหม
    ระหว่างสองเหตุการณ์ที่เกิดขึ้นนี้
  • 7:29 - 7:32
    มันมีความแตกต่างบ้างไหม
    ระหว่างสิ่งที่เกิดขึ้นกับมิเชล โอบามา
  • 7:32 - 7:34
    และสิ่งที่เกิดขึ้น
    กับ อันเดอร์ส เบห์ริง เบรวิก
  • 7:34 - 7:36
    ไม่เลยครับ
  • 7:37 - 7:38
    มันเป็นสิ่งเดียวกันเลย
  • 7:38 - 7:41
    แต่กระนั้นกูเกิลเข้าแทรกแทรงในกรณีหนึ่ง
    แต่ไม่ทำในอีกกรณีหนึ่ง
  • 7:41 - 7:42
    ทำไมล่ะ
  • 7:43 - 7:47
    เพราะว่ามิเชล โอบามาเป็นบุคคลอันทรงเกียรติ
    นั่นแหละเป็นสาเหตุว่าทำไม
  • 7:47 - 7:50
    และ อันเดอร์ส เบห์ริง เบรวิก
    เป็นบุคคลแสนชั่วร้าย
  • 7:50 - 7:52
    ลองดูว่าเกิดอะไรขึ้น
  • 7:52 - 7:55
    การตัดสินบุคคลได้เกิดขึ้น
  • 7:55 - 7:59
    และมันมีผู้มีอำนาจอยู่เพียงหนึ่งเดียวในโลก
  • 7:59 - 8:01
    ที่มีอำนาจบอกว่าใครเป็นใคร
  • 8:02 - 8:04
    "เราชอบคุณ เราเกลียดคุณ
  • 8:04 - 8:06
    เราเชื่อคุณ เราไม่เชื่อคุณ
  • 8:06 - 8:08
    คุณทำถูก คุณทำผิด
    คุณจริง คุณหลอก
  • 8:08 - 8:10
    คุณคือโอบามา คุณคือเบรวิก
  • 8:11 - 8:13
    นั่นคืออำนาจ ผมมองว่าอย่างนั้น
  • 8:15 - 8:19
    ฉะนั้น ผมอยากจะถามคุณในพึงระลึกว่า
    ทุก ๆ อัลกอริทึมนั้น
  • 8:19 - 8:21
    มีคนอยู่เสมอ
  • 8:21 - 8:23
    คนที่มีกลุ่มความเชื่อส่วนตัว
  • 8:23 - 8:26
    ที่ไม่มีโค้ดใดสามารถ
    ที่จะลบล้างได้อย่างสมบูรณ์
  • 8:26 - 8:28
    และข้อความจากผม
    ที่ไม่ได้แต่เพียงจะฝากไปให้กับกูเกิลเท่านั้น
  • 8:28 - 8:31
    แต่ผมอยากจะฝากไปให้กับ
    ผู้ที่เชื่อมั่นในโค้ดทั้งหลายทั่วโลก
  • 8:31 - 8:34
    คุณต้องระบุความลำเอียงส่วนตัวของคุณให้ได้
  • 8:34 - 8:36
    คุณต้องเข้าใจว่าคุณเป็นมนุษย์
  • 8:36 - 8:39
    และรับผิดชอบตามนั้น
  • 8:40 - 8:43
    และผมพูดแบบนี้ เพราะผมเชื่อ
    ว่าเรามาถึงจุดหนึ่ง
  • 8:43 - 8:44
    ที่มันหลีกเลี่ยงไม่ได้อย่างสมบูรณ์
  • 8:44 - 8:48
    ที่เราพันผูกพันธะเหล่านั้นด้วยกันอีก
    ใกล้ชิดกันมากขึ้น
  • 8:48 - 8:50
    มนุษยชาติและเทคโนโลยี
  • 8:50 - 8:52
    ใกล้ชิดกันกว่าที่เคยเป็นมา
  • 8:52 - 8:56
    และ ถ้าไม่มีอะไรเป็นอื่น เพื่อที่จะย้ำเตือนเรา
    ว่าแนวคิดที่เย้ายวนใจอย่างน่าประหลาด
  • 8:56 - 8:58
    ของผลการค้นหาที่สะอาดไม่ลำเอียง
  • 8:58 - 9:01
    คือปริศนา และมันก็น่าจะยังคงเป็นแบบนั้น
  • 9:02 - 9:03
    ขอบคุณสำหรับเวลาอันมีค่าครับ
  • 9:03 - 9:06
    (เสียงปรบมือ)
Title:
ความลำเอียงทางจริยธรรมเบื้องหลังผลการค้นหา
Speaker:
อันเดอร์ส เอ็คสตรอม (Andreas Ekström)
Description:

อุปกรณ์ค้นหาได้กลายเป็นแหล่งข้อมูลที่พวกเขาน่าเชื่อถือมากที่สุดและเป็นกรรมการแห่งความจริงของพวกเรา แต่เราจะสามารถได้ผลการค้นหาที่ไม่ลำเอียงได้หรือไม่ นักเขียนชาวสวีเดนและนักข่าว อันเดอร์ส เอ็คสตรอม เถียงว่า สิ่งนั้นเป็นไปไม่ได้ทางปรัชญา ในการบรรยายที่ชวนคิดนี้ เขาเรียกร้องให้พวกเราสร้างความแข็งแกร่งให้กับพันธะระหว่างเทคโนโลยีและมนุษย์ชาติ เขาย้ำเตือนเราว่าเบื้องหลังทุกอัลกอริทึมคือกลุ่มของความเชื่อส่วนบุคคลที่ไม่มีโค้ดใดจะสามารถลบล้างมันได้อย่างสมบูรณ์

more » « less
Video Language:
English
Team:
closed TED
Project:
TEDTalks
Duration:
09:18

Thai subtitles

Revisions