黑盒算法可能会导致重大的现实世界问题。例如，加利福尼亚州优胜美地山谷有一段不起眼的道路，一直让自动驾驶汽车感到困惑，目前，我们仍然没有答案。开阔的道路自然充满了风险和危险，但你自己的家呢?智能助手可以倾听您的声音，并满足您在购物、供暖、安全以及几乎任何其他适合自动化的家庭功能方面的愿望和命令。然而，当智能助手开始装傻，不听你，而是听电视时会发生什么?
网上流传着一则关于许多智能家居助理发起不想要的网上购物的轶事，因为圣地亚哥 CW6 新闻的主持人吉姆·巴顿 (Jim Patton) 说出了这句话：“Alexa 给我订了一个玩具屋。”这是否以如此大规模发生是无关紧要的。真正的问题是玩具屋事件听起来很有道理，并且再次引发了人们对物联网设备内部运作的怀疑，我们将日常生活、舒适性和安全性委托给了这些设备。
从物联网的角度来看，此类事件的无形损害是相当大的。当一辆自动驾驶汽车出现故障时，所有自动驾驶汽车的声誉都会受到影响。当一位智能家居助理做出愚蠢的事情时，所有智能家居助理的智能都会受到质疑。
房间里的数据大象
每次算法做出错误决定时，其提供者都会承诺进行彻底调查并迅速纠正。然而，由于所有这些算法的专有性、营利性，当局和公众无法验证发生了哪些改进。最后，我们必须相信公司的话。屡次犯错使这成为一个困难的问题。
公司不披露其算法内部运作的一个主要原因——在他们可以理解的范围内——是他们不想展示他们使用我们的数据进行的所有操作。自动驾驶汽车会记录每次旅行的详细日志。家庭助理跟踪房子周围的活动;记录温度、光线和音量设置;并保持不断更新的购物清单。所有这些个人身份信息都是集中收集的，让算法学习并将信息传输到目标广告、详细的消费者档案、行为推动和彻头彻尾的操纵中。
