Quelles sont les principales critiques contre l'apprentissage en profondeur dans le domaine de la PNL?

Mihail Eric

Mihail Eric, Chercheur en apprentissage profond | Stanford BS / MS en IA

Répondu il y a 8w · Voté par

Vered Shwartz, Doctorant en traitement du langage naturel

J'ai effectué des années de recherche approfondie sur divers problèmes liés au traitement du langage naturel, y compris aux agents de conversation. Je parlerai donc de mes expériences personnelles.

Les principaux problèmes que j'ai rencontrés:

  • Il est difficile de trouver des ensembles de données complets et de qualité. Il s’avère que les méthodes d’apprentissage en profondeur sont des monstres assoiffés de données qui ont besoin d’échantillons d’entraînement substantiels pour apprendre les régularités du problème. Dans le cas de tâches en langage naturel, il existe un énorme longue queue de phénomènes que nous devons modéliser si nous voulons vraiment aborder ces tâches fidèlement. Cependant, il est presque impossible d'obtenir des données qui présentent chaque phénomène. Par conséquent, si nos méthodes ne permettent pas de tirer des données, comment pouvons-nous nous attendre à ce qu'elles décèlent ce comportement? Dans le cas de mes recherches d’agent de conversation, j’essayais souvent de créer un agent de dialogue avec quelques milliers de dialogues de formation. Imagine ça! Apprenez à partir de zéro un modèle d’apprentissage en profondeur à utiliser quelques milliers de dialogues. À titre de comparaison, le jeu de données ImageNet utilisé pour la recherche en apprentissage approfondi en vision par ordinateur a des millions d'images. Malheureusement, en recherche, nous ne disposons que de nos rares données accessibles au public. Nous devons donc nous débrouiller avec ce que nous avons.
  • Les méthodes d'évaluation sont intrinsèquement défectueuses. Voici un exercice de réflexion: si je vous donnais un exemple de transcription d'une conversation entre un agent humain et un agent artificiel, comment feriez-vous pour noter la qualité des réponses de l'agent? Peut-être que vous auriez noté le «caractère humain» de l'agent. Comment quantifiez-vous «l'humain»? C'est difficile non? Avoir la bonne technique d'évaluation est cruciale car c'est ce que notre modèle utilise pour mieux résoudre le problème. Le dialogue souffre de méthodes d'évaluation inadéquates, à l'instar de nombreux autres problèmes liés au traitement du langage naturel. Notez que ce problème n'est pas purement défini par l'apprentissage en profondeur mais que les méthodes d'apprentissage en profondeur ne résolvent certainement pas le problème.
  • Les modèles d'apprentissage en profondeur ont tendance à être très difficiles à interpréter. Souvent, utiliser un réseau de neurones revient littéralement à jeter une entrée dans une boîte noire et à espérer obtenir ce que vous voulez dans la sortie. Si vous obtenez ce que vous voulez, c'est bien, vous continuez votre vie. Sinon, les outils disponibles pour déboguer et comprendre pourquoi la boîte noire n'a pas réussi à produire le résultat souhaité sont malheureusement inadéquats. Parfois, dans mon propre travail, développer des modèles était presque une religion où vous construisez votre architecture sur la base de certaines intuitions que vous avez et priez les dieux Black-Box qui savent tout pour une récolte abondante. La communauté de la recherche est faire des progrès Heureusement, mais il s'agit d'un problème pressant que l'apprentissage en profondeur pose pour le progrès de la PNL.
Leggi:  Comment configurer les remboursements dans WooCommerce

Pour un bon aperçu critique des problèmes d’apprentissage en profondeur, je recommande vivement Le papier de Gary Marcus.

Alvin Grissom II (サ)

Alvin Grissom II (サ), Professeur assistant en informatique au Collège Ursinus (2017-present)

Répondu il y a 8w · L'auteur dispose de réponses 865 et de vues de réponses 1.1m

D'autres réponses ont porté sur les principaux problèmes: interprétabilité (ou absence de celle-ci), données de formation nécessaires, nombre de paramètres et complexité du modèle, arbitraire des décisions de modèle, fragilité / surapprentissage et reproductibilité. Mais je vais ajouter ma propre version courte de certaines d’entre elles.

Pour des exemples de points (1) et (2), consultez notre prochain document EMNLP 2018, Les pathologies des modèles neuronaux rendent les interprétations difficiles.1

  1. Interprétabilité. Contrairement à une régression logistique, par exemple, il est souvent très difficile de vraiment comprendre ce qu'un modèle en profondeur a appris et pourquoi il fonctionne. À mesure que les modèles deviennent plus complexes, cela devient encore plus vrai. Lors de l'examen de documents d'apprentissage en profondeur de la PNL, la question que je me pose souvent est la suivante: Pourquoi avez-vous choisi cette architecture (compliquée)? Certaines personnes ne se donnent même pas la peine de parler de ça.
  2. Fragilité. En général, nous voulons des modèles «souples» qui échouent avec élégance et prennent des décisions que nous pouvons comprendre intuitivement, même lorsqu'elles sont erronées. Un problème souvent cité avec les méthodes basées sur des règles est qu’elles sont fragiles: si on leur attribue quelque chose qui n’est explicitement pas comptabilisé dans leur logique, elles échouent, tandis que la plainte correspondante concernant les modèles statistiques est qu’elles sont sans principes. Selon ces critères, les modèles profonds peuvent nous donner le pire des mondes statistique et basé sur des règles. Ils risquent d'échouer lors de la saisie d'informations pour lesquelles ils sont insuffisamment formés, et ce, sur un modèle arbitraire difficile à interpréter.
  3. Reproductibilité. Les réseaux de neurones n'optimisent pas les fonctions convexes. Même un modèle avec à peu près la même architecture peut résoudre un problème de manières très différentes, ce que vous ne pouvez même pas savoir si le modèle n'est pas interprétable.

Notes de bas de page

1 [1804.07781] Les pathologies des modèles neuronaux rendent les interprétations difficiles

Vered Shwartz

Vered Shwartz, Doctorant en traitement du langage naturel

Répondu il y a 9w · En vedette sur Quora "Twitter · L'auteur dispose de réponses 123 et de vues de réponses 293.9k

  1. Nous avons besoinbeaucoup plus de données d'entraînement que pour les méthodes traditionnelles d’apprentissage automatique. Certaines tâches pour lesquelles nous avons des modèles qui fonctionnent bien, comme la traduction automatique (Google Translate), ne fonctionnent bien que pour des langues et des domaines spécifiques pour lesquels il existe suffisamment de données et fonctionnent mal pour d'autres langues.
  2. Par la suite, si vous ne possédez pas beaucoup de données de formation, il existe un risque plus élevé de surajustement. La suralimentation n’est pas une nouveauté chez DL, mais le nombre de paramètres dans les modèles DL est beaucoup plus important que dans la ML classique, ce qui aggrave la situation.
  3. Pour obtenir suffisamment de données de formation, nous utilisons souvent des méthodes qui génèrent données artificielleset l’utiliser pour la formation et le test. Nos modèles apprennent facilement à mémoriser les particularités des données plutôt que de résoudre la tâche réelle (plus difficile). Cela conduit à des modèles atteignant des performances surhumaines sur certains jeux de données alors qu'en pratique, ils seraient au mieux médiocres sur des exemples concrets de la tâche réelle.
  4. Nous basons nos représentations sur des mots incorporés, qui sont excellents pour capturer parenté ou similarité générale entre les mots, mais très mauvais pour nous dire les relations spécifiques entre les mots.
  5. Nous mettons beaucoup d’efforts dans le développement représentations génériques pour la signification des phrases, tout en ignorant de nombreux mécanismes que nous, humains, utilisons pour comprendre le sens: coréférence, inférence, connaissance du monde, sens commun, etc.
  6. Les méthodes d'apprentissage en profondeur sont moins robuste. Ils nécessitent de nombreux ajustements d'hyper-paramètres, et les valeurs de ces hyper-paramètres peuvent faire la différence entre un modèle à la pointe de la technologie et un modèle qui ne fonctionne pas. Chaque modification des données d'entraînement nécessite de rechercher à nouveau les meilleurs hyper-paramètres, et il n'existe pas de meilleure pratique pour les «bonnes» valeurs.
  7. Peut-être le plus important, le manque d'interprétabilité est un problème majeur. Nous formons des «boîtes noires» qui ne peuvent expliquer leurs prédictions. C'est un problème pour nous en tant que développeurs, car nous ne pouvons pas déboguer le réseau et découvrir pourquoi il ne fonctionne pas. C'est également un problème d'équité - dans de nombreux cas, nos modèles amplifient les préjugés et les stéréotypes présents dans les données de formation et prennent des décisions injustes discriminatoires à l'égard de certaines populations. Comme les modèles ne peuvent expliquer leurs décisions, il est difficile d’éliminer ce comportement.
Leggi:  Que se passera-t-il lorsque 100% du total Bitcoin sera extrait?

Vous pouvez lire à ce sujet plus en détail dans mon billet de blog.

Franck Dernoncourt

Franck Dernoncourt, Chercheur scientifique chez Adobe Research

Répondu il y a 194w · L'auteur dispose de réponses 1.3k et de vues de réponses 5.3m

Certaines idées, non spécifiques à l'apprentissage en profondeur, relatives aux modèles statistiques en général:

Sur Chomsky et les deux cultures de l'apprentissage statistique:

  • Les modèles de langage statistique ont connu un succès technique, mais cela n’a aucune incidence sur la science.
  • Modéliser avec exactitude les faits linguistiques, ce n’est que rassembler des papillons; Ce qui compte en science (et en particulier en linguistique), ce sont les principes sous-jacents.
  • Les modèles statistiques sont incompréhensibles. ils ne fournissent aucun aperçu.
  • Les modèles statistiques peuvent fournir une simulation précise de certains phénomènes, mais la simulation est faite dans le mauvais sens. les gens ne décident pas ce que le troisième mot d’une phrase devrait être en consultant un tableau de probabilités indexé sur les deux mots précédents; ils mappent plutôt d’une forme sémantique interne à une arborescence syntaxique, qui est ensuite linéarisée en mots. fait sans aucune probabilité ou statistique.
  • Les modèles statistiques se sont révélés incapables d'apprendre une langue; par conséquent, la langue doit être innée, alors pourquoi ces modélisateurs statistiques perdent-ils leur temps dans la mauvaise entreprise?

Gary C

Gary C, MSc Information Technology, Université polytechnique de Hong Kong

Mise à jour il y a 8w

Bien que je ne sois pas un expert en PNL, l’une des raisons pour lesquelles j’ai décidé de ne pas plonger sur le terrain, c’est que je pense que les techniques / algorithmes qu’il utilise pour analyser et «comprendre» un texte dépendent trop des propriétés statistiques. du texte (comme un sac de mots), mais les algos eux-mêmes ne montrent aucune capacité à comprendre sémantiquement et logiquement le texte comme le fait l'homme. La conséquence est que, par exemple, lorsque vous essayez d'utiliser un algorithme de pointe pour résumer un texte, les résultats sont vraiment médiocres.

Leggi:  Dans quelle mesure les problèmes de mot de passe oublié seraient-ils sécurisés s'ils avaient tous la même réponse?

Bien que je convienne que l'homme prend parfois en compte les propriétés statistiques, comme la fréquence d'apparition commune de certains mots (collocation), nous utilisons généralement la logique et l'expérience pour en déduire le sens. Actuellement, je ne voyais aucun modèle statistique pouvant déduire ou induire du texte.

Scott E. Fahlman

Scott E. Fahlman, Professeur émérite, Carnegie Mellon, LTI et CSD

Répondu il y a 8w · L'auteur dispose de réponses 947 et de vues de réponses 6.6m

Eh bien, voici une critique assez fondamentale:

Langage naturel: tout est question de signification par Scott E. Fahlman sur les pépites de connaissance

Je vous laisse le soin de décider si cela compte comme «majeur» - peu d’autres chercheurs s’inquiètent de sens plus profond à l’heure actuelle - et s’il s’applique à «PNL» tel que vous le concevez. Je dis habituellement que je travaille sur la compréhension du langage naturel (NLU) au lieu de PNL.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.