机器学习里的黑匣子如此神秘等着我们去探索,或者无法探索,这参数里掺杂着随机,这些随机又可能因为计算机的特性掺杂着不随机的可能。
机器如果过度学习同一份数据会过拟合,是不是也映射到了我们身上呢。
GPT3中近两千亿的参数,和万亿的数据进行训练,结果表面是不符合一般规律没有因为过大的参数和过大的数据量过拟合,但是有没有一种可能是GPT3学会了人类目前大部分的知识,导致目前没有数据能检测出它其实已经过拟合了呢?这个问题值得思考。
机器如果过度学习同一份数据会过拟合,是不是也映射到了我们身上呢。
GPT3中近两千亿的参数,和万亿的数据进行训练,结果表面是不符合一般规律没有因为过大的参数和过大的数据量过拟合,但是有没有一种可能是GPT3学会了人类目前大部分的知识,导致目前没有数据能检测出它其实已经过拟合了呢?这个问题值得思考。