Ich möchte die Daten in einem [unbeaufsichtigten Notizbuch] [1] verarbeiten. Aber jedes Mal, wenn ich es werfe, scheint der Kernel zu sterben.
Insbesondere wenn ich diese Zeile ausführe:
train['quest_emb'] = train['question'].apply(lambda x: dict_emb[x] if x in dict_emb else np.zeros(4096) )
Das zu wissen
>>>train.shape
(130318, 4)
>>>len(dict_emb)
179862
Ich weiß nicht, ob es möglich ist, die benötigten Ressourcen zu reduzieren.
[1]: https://github.com/aswalin/SQuAD/blob/master/unsupervised.ipynb