Nick Bostrom นักปรัชญาผู้แต่งหนังสือ Superintelligence (ที่มีส่วนทำให้ Elon Musk กลัวหุ่นยนต์ยึดครองโลก) ได้เคยกล่าวถึงประเด็นที่ว่า หากเรากำหนดเป้าหมายให้หุ่นยนต์/ปัญญาประดิษฐ์ ถึงแม้เป้าหมายนั้นจะดูไม่เป็นพิษเป็นภัย แต่หากเราไม่สอนหุ่นยนต์ให้รู้จักจริยธรรม สามัญสำนึก กรอบความคิด หุ่นยนต์นั้นอาจจะมุ่งทำทุกอย่างให้บรรลุเป้าหมายโดยอาจก่อให้เกิดมหันตภัยร้ายแรงขึ้นได้
Nick Bostrom ได้ตั้งการทดลองทางความคิด (thought experiment) ขึ้นมาสถานการณ์หนึ่งเรียกว่า Paperclip maximizer กล่าวคือ หากเรากำหนดเป้าหมายให้หุ่นยนต์สร้างคลิปหนีบกระดาษ โดยไม่บอกว่าคลิปหนีบกระดาษเอามาใช้ทำอะไร ทำไมต้องสร้างขึ้นมา มีข้อจำกัด ข้อความปฏิบัติ ข้อห้ามอย่างไรในการสร้างคลิปหนีบกระดาษ หุ่นยนต์อาจจะมุ่งสร้างเครื่องจักรที่ผลิตคลิปได้ดีขึ้น เยอะขึ้น จนใช้ทรัพยากรหมดโลก สร้างยานอวกาศออกไปหาทรัพยากรเพิ่มเติมเพื่อสร้างคลิป และต่อสู้กับเผ่าพันธุ์อื่นในจักรวาลที่ขวางทางการสร้างคลิปหนีบกระดาษ Nick Bostrom กล่าวว่า เหตุการณ์นี้ไม่น่าจะเกิดขึ้นจริง แต่ก็เป็นตัวอย่างว่าเป้าหมายที่ดูไม่เป็นภัย แต่ปราศจากจริยธรรมมากำกับ อาจสร้างภัยที่ร้ายแรงได้
ใครอยากรู้ว่าแค่สร้างคลิปหนีบกระดาษจะออกป่า บ้าหลุดโลกไปได้ขนาดไหน ลองเล่นเกม Universal Paperclips ของ Frank Lantz ดูได้ (ถ้าคุณเป็นคนอยากรู้อยากเห็นว่าจะเกิดอะไรขึ้นต่อไป คุณอาจเสียเวลากับเกมนี้ทั้งวัน … )
จะว่าไปแล้ว หุ่นยนต์/ปัญญาประดิษฐ์ถูกมนุษย์สร้างขึ้น ก็ไม่น่าจะเป็นเรื่องแปลกที่จะดำเนินรอยตามผู้สร้าง มนุษย์เริ่มจากวิ่งหนีหมาป่าเอาตัวรอดไปวัน ๆ มีเป้าหมายเริ่มต้นหนึ่งเดียวคือดำรงชีพต่อไป ปัจจุบันก็สร้างยานออกไปสำรวจอวกาศอันไกลโพ้น ค้นหาความลับของจักรวาล
