{"id":749,"date":"2021-01-07T17:19:38","date_gmt":"2021-01-07T16:19:38","guid":{"rendered":"http:\/\/localhost\/?page_id=749"},"modified":"2024-02-15T12:22:28","modified_gmt":"2024-02-15T11:22:28","slug":"crowdsourcing-truthfulness","status":"publish","type":"page","link":"http:\/\/smdc.uniud.it\/smdc\/crowdsourcing-truthfulness\/","title":{"rendered":"Crowdsourcing Truthfulness"},"content":{"rendered":"\n<p>La diffusione della disinformazione (online) \u00e8 un problema che danneggia la societ\u00e0, poich\u00e9 le informazioni a cui le persone hanno accesso finiscono per influenzare i loro processi decisionali. La capacit\u00e0 di distinguere tra affermazioni vere e false sta diventando, pertanto, sempre pi\u00f9 importante con il passare del tempo. Un modo per valutare la veridicit\u00e0 delle informazioni consiste nell&#8217;affidarsi ad esperti umani che svolgono un&#8217;attivit\u00e0 di verifica dei fatti (<em>fact-checking<\/em>). Tuttavia, la quantit\u00e0 sempre crescente di disinformazione<br>sta rendendo questo compito pi\u00f9 impegnativo, se non addirittura impraticabile, nel tempo. Inoltre, l&#8217;importo limitato di<br>esperti formati rendono l&#8217;intero processo costoso e non scalabile. Una possibile alternativa \u00e8 affidarsi a tecniche di apprendimento automatico. (<em>machine learning<\/em>) Tali tecniche, tuttavia, richiedono una grande quantit\u00e0 di dati per la fase di addestramento e le loro affidabilit\u00e0, efficacia e spiegabilit\u00e0 spesso non sono adeguate. <br>Per affrontare i problemi di tali approcci si pu\u00f2 pensare di fare affidamento sulla grande quantit\u00e0 di persone non esperte che<br>consuma informazioni e chiedere loro di svolgere l&#8217;attivit\u00e0 di verifica dei fatti. \u00c8 possibile utilizzare approcchi basati sul <em>crowdsourcing<\/em> per raccogliere giudizi di veridicit\u00e0 forniti da persone non esperte su un insieme di affermazioni (<em>statement<\/em>) [12, 13, 14, 15]. Tale decisione comporta numerose opportunit\u00e0 ma anche difficolt\u00e0; nonstante sia possibile raccogliere una grande quantit\u00e0 di dati in un tempo ridotto, non vi \u00e8 alcuna garanzia sulla qualit\u00e0 dei dati raccolti. La soluzione<br>che intendiamo studiare \u00e8 l&#8217;integrazione di questi tre approcci, per far fronte alle suddette difficolt\u00e0 preservando i vantaggi delle diverse metodologie. Il nostro obiettivo di ricerca a lungo termine consiste nel costruire un sistema <em>human-in-the-loop<\/em> che consenta di affrontare la disinformazione misurando la veridicit\u00e0 delle informazioni in tempo reale sfruttato il lavoro di valutatori non esperti e tecniche di apprendimento automatico.<\/p>\n\n\n\n<h2 class=\"wp-block-heading has-text-align-center\">Pubblicazioni<\/h2>\n\n\n\n<h4 class=\"wp-block-heading\">1. Multidimensional News Quality: A Comparison of Crowdsourcing and Nichesourcing<\/h4>\n\n\n\n<p>Eddy Maddalena and Davide Ceolin and Stefano Mizzaro (2018). <em>Proceedings of the CIKM 2018 Workshops co-located with 27th ACM International Conference on Information and Knowledge Management (CIKM 2018), Torino, Italy, October 22, 2018<\/em>. CEUR-WS.org.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">2. <a>How Many Truth Levels? Six? One Hundred? Even More? Validating Truthfulness of Statements via Crowdsourcing<\/a> (2018)<\/h4>\n\n\n\n<p>Roitero, Kevin; Spina, Damiano; Demartini, Gianluca; Mizzaro, Stefano. <em>Workshop on Rumours and Deception in Social Media<\/em>,&nbsp;2018.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">3. Crowdsourcing Truthfulness: The Impact of Judgment Scale and Assessor Bias (2020)<\/h4>\n\n\n\n<p>David La Barbera and Kevin Roitero and Gianluca Demartini and Stefano Mizzaro and Damiano Spina (2020). In&nbsp;<em>Advances in Information Retrieval &#8211; 42nd European Conference on IR Research, ECIR 2020, Lisbon, Portugal, April 14-17, 2020, Proceedings, Part II<\/em>&nbsp;(pp. 207\u2013214). Springer.<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-rich is-provider-handler-delloggetto-incorporato wp-block-embed-handler-delloggetto-incorporato wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe loading=\"lazy\" title=\"ECIR2020 396 Crowdsourcing Truthfulness: The Impact of Judgment Scale and Assessor Bias\" width=\"750\" height=\"422\" src=\"https:\/\/www.youtube.com\/embed\/9wFFMcplvjk?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<h4 class=\"wp-block-heading\">4. <strong>Can The Crowd Identify Misinformation Objectively? The Effects of Judgment Scale and Assessor&#8217;s Background<\/strong> (2020)<\/h4>\n\n\n\n<p>Kevin Roitero, Michael Soprano, Shaoyang Fan, Damiano Spina, Stefano Mizzaro, and Gianluca Demartini. 2020. <em>Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval<\/em> (<em>SIGIR &#8217;20<\/em>). Association for Computing Machinery, New York, NY, USA, 439\u2013448. DOI:https:\/\/doi.org\/10.1145\/3397271.3401112<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-rich is-provider-handler-delloggetto-incorporato wp-block-embed-handler-delloggetto-incorporato wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe loading=\"lazy\" title=\"Can The Crowd Identify Misinformation Objectively -  SIGIR 2020 Talk\" width=\"750\" height=\"422\" src=\"https:\/\/www.youtube.com\/embed\/D10EtrThvbc?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<h4 class=\"wp-block-heading\">5. The COVID-19 Infodemic: Can the Crowd Judge Recent Misinformation Objectively? (2020)<\/h4>\n\n\n\n<p>Kevin Roitero, Michael Soprano, Beatrice Portelli, Damiano Spina, Vincenzo Della Mea, Giuseppe Serra, Stefano Mizzaro, and Gianluca Demartini. 2020. <em>Proceedings of the 29th ACM International Conference on Information &amp; Knowledge Management<\/em> (<em>CIKM &#8217;20<\/em>). Association for Computing Machinery, New York, NY, USA, 1305\u20131314. DOI:https:\/\/doi.org\/10.1145\/3340531.3412048<\/p>\n\n\n\n<div class=\"wp-block-buttons is-horizontal is-content-justification-center is-layout-flex wp-container-core-buttons-is-layout-499968f5 wp-block-buttons-is-layout-flex\">\n<div class=\"wp-block-button\"><a class=\"wp-block-button__link wp-element-button\" href=\"https:\/\/users.dimi.uniud.it\/~stefano.mizzaro\/\" target=\"_blank\" rel=\"noreferrer noopener\">PRESENTAZIONE CONVEGNO<\/a><\/div>\n<\/div>\n\n\n\n<p class=\"has-extra-small-font-size\"><em>Per vedere il video, scorrere la pagina fino alla sezione &#8220;Supplemental Material&#8221;<\/em><\/p>\n\n\n\n<p><\/p>\n\n\n\n<h4 class=\"wp-block-heading\">6. Human-in-the-loop Artificial Intelligence for Fighting Online Misinformation: Challenges and Opportunities (2020)<\/h4>\n\n\n\n<p>Gianluca Demartini, Stefano Mizzaro, and Damiano Spina. <em>IEEE Data Eng. Bull<\/em>.,&nbsp;vol. 43,&nbsp;no. 3,&nbsp;pp. 65\u201374,&nbsp;2020.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">7. Can The Crowd Judge Truthfulness? A Longitudinal Study on Recent Misinformation About COVID-19 (2021)<\/h4>\n\n\n\n<p>Kevin Roitero,&nbsp;Michael Soprano,&nbsp;Beatrice Portelli,&nbsp;Massimiliano De Luise,&nbsp;Vincenzo Della Mea,&nbsp;Giuseppe Serra,&nbsp;Stefano Mizzaro,&nbsp;Gianluca Demartini. <em>Personal and Ubiquitous Computing<\/em>,&nbsp;2021,&nbsp;ISSN: 1617-4917.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">8. <a>Assessing the Quality of Online Reviews Using Formal Argumentation Theory<\/a> (2021)<\/h4>\n\n\n\n<p>Ceolin, Davide; Primiero, Giuseppe; Wielemaker, Jan; Soprano, Michael. <em>Web Engineering<\/em>,&nbsp;pp. 71\u201387,&nbsp;Springer International Publishing,&nbsp;Cham,&nbsp;2021,&nbsp;ISBN: 978-3-030-74296-6.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">9. <a><a>The Many Dimensions of Truthfulness: Crowdsourcing Misinformation Assessments on a Multidimensional Scale<\/a><\/a> (2021)<\/h4>\n\n\n\n<p>Michael Soprano,&nbsp;Kevin Roitero,&nbsp;David La Barbera,&nbsp;Davide Ceolin,&nbsp;Damiano Spina,&nbsp;Stefano Mizzaro. <em>Information Processing &amp; Management<\/em>,&nbsp;vol. 58,&nbsp;no. 6,&nbsp;pp. 102710,&nbsp;2021,&nbsp;ISSN: 0306-4573.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">10. <a><a>E-BART: Jointly Predicting and Explaining Truthfulness<\/a><\/a><strong>\u00a0<\/strong>(2021)<\/h4>\n\n\n\n<p>Brand, Erik; Roitero, Kevin; Soprano, Michael; Demartini, Gianluca. <em>Proceedings of the 2021 Truth and Trust Online Conference (TTO 2021)<\/em>, Virtual, October 7-8, 2021,&nbsp;pp. 18\u201327,&nbsp;Hacks Hackers,&nbsp;2021.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">10. <a>Human-in-the-Loop Systems for Truthfulness: A Study of Human and Machine Confidence<\/a><strong>&nbsp;<\/strong>(2021)<\/h4>\n\n\n\n<p>Qu, Yunke; Roitero, Kevin; Mizzaro, Stefano; Spina, Damiano; Demartini, Gianluca. <em>Proceedings of the 2021 Truth and Trust Online Conference (TTO 2021)<\/em>, Virtual, October 7-8, 2021,&nbsp;pp. 40\u201349,&nbsp;Hacks Hackers,&nbsp;2021.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">11. <a>The Effects of Crowd Workers Biases in Fact-Checking Tasks<\/a>. (2022)<\/h4>\n\n\n\n<p>Tim Draws, David La Barbera, Michael Soprano, Kevin Roitero, Davide Ceolin, Alessandro Checco, Stefano Mizzaro. P<em>roceedings of the fifth ACM Conference on Fairness, Accountability, and Transparenc<\/em>y, FAccT 2022, Seoul, South Korea. June 21-24 2022 (TO APPEAR).<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">12. Crowd_Frame: A Simple and Complete Framework to Deploy Complex Crowdsourcing Tasks Off-the-Shelf<\/h4>\n\n\n\n<p>Michael Soprano,&nbsp;Kevin Roitero,&nbsp;Francesco Bombassei De Bona,&nbsp;Stefano Mizzaro.<em> Proceedings of the 15th ACM International Conference on Web Search and Data Mining (WSDM 2022). <\/em>Virtual Event, AZ, USA. Conference Rank: GGS A+, Core *<\/p>\n\n\n\n<div class=\"wp-block-buttons is-layout-flex wp-block-buttons-is-layout-flex\">\n<div class=\"wp-block-button aligncenter\"><a class=\"wp-block-button__link wp-element-button\" href=\"https:\/\/users.dimi.uniud.it\/~stefano.mizzaro\/\" target=\"_blank\" rel=\"noreferrer noopener\">PRESENTAZIONE CONVEGNO<\/a><\/div>\n<\/div>\n\n\n\n<p class=\"has-extra-small-font-size\"><em>Per vedere il video, scorrere la pagina fino alla sezione &#8220;Supplemental Material&#8221;<\/em><\/p>\n\n\n\n<h2 class=\"wp-block-heading has-text-align-center\">Collaborazioni Internazionali<\/h2>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"516\" height=\"190\" src=\"http:\/\/smdc.uniud.it\/smdc\/wp-content\/uploads\/2021\/05\/uq.png\" alt=\"\" class=\"wp-image-905\" srcset=\"http:\/\/smdc.uniud.it\/smdc\/wp-content\/uploads\/2021\/05\/uq.png 516w, http:\/\/smdc.uniud.it\/smdc\/wp-content\/uploads\/2021\/05\/uq-300x110.png 300w\" sizes=\"auto, (max-width: 516px) 100vw, 516px\" \/><\/figure>\n<\/div>\n\n\n<p><\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"381\" height=\"132\" src=\"http:\/\/smdc.uniud.it\/smdc\/wp-content\/uploads\/2021\/05\/rmit.png\" alt=\"\" class=\"wp-image-906\" srcset=\"http:\/\/smdc.uniud.it\/smdc\/wp-content\/uploads\/2021\/05\/rmit.png 381w, http:\/\/smdc.uniud.it\/smdc\/wp-content\/uploads\/2021\/05\/rmit-300x104.png 300w\" sizes=\"auto, (max-width: 381px) 100vw, 381px\" \/><\/figure>\n<\/div>\n\n\n<p><\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"413\" height=\"122\" src=\"http:\/\/smdc.uniud.it\/smdc\/wp-content\/uploads\/2021\/05\/cwi.png\" alt=\"\" class=\"wp-image-907\" srcset=\"http:\/\/smdc.uniud.it\/smdc\/wp-content\/uploads\/2021\/05\/cwi.png 413w, http:\/\/smdc.uniud.it\/smdc\/wp-content\/uploads\/2021\/05\/cwi-300x89.png 300w\" sizes=\"auto, (max-width: 413px) 100vw, 413px\" \/><\/figure>\n<\/div>\n\n\n<p><\/p>\n","protected":false},"excerpt":{"rendered":"<p>La diffusione della disinformazione (online) \u00e8 un problema che danneggia la societ\u00e0, poich\u00e9 le informazioni a cui le persone hanno accesso finiscono per influenzare i loro processi decisionali. La capacit\u00e0 di distinguere tra affermazioni vere e false sta diventando, pertanto, sempre pi\u00f9 importante con il passare del tempo. Un modo per valutare la veridicit\u00e0 delle&hellip; <a class=\"more-link\" href=\"http:\/\/smdc.uniud.it\/smdc\/crowdsourcing-truthfulness\/\">Continua a leggere <span class=\"screen-reader-text\">Crowdsourcing Truthfulness<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-749","page","type-page","status-publish","hentry","entry"],"_links":{"self":[{"href":"http:\/\/smdc.uniud.it\/smdc\/wp-json\/wp\/v2\/pages\/749","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/smdc.uniud.it\/smdc\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"http:\/\/smdc.uniud.it\/smdc\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"http:\/\/smdc.uniud.it\/smdc\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/smdc.uniud.it\/smdc\/wp-json\/wp\/v2\/comments?post=749"}],"version-history":[{"count":11,"href":"http:\/\/smdc.uniud.it\/smdc\/wp-json\/wp\/v2\/pages\/749\/revisions"}],"predecessor-version":[{"id":1083,"href":"http:\/\/smdc.uniud.it\/smdc\/wp-json\/wp\/v2\/pages\/749\/revisions\/1083"}],"wp:attachment":[{"href":"http:\/\/smdc.uniud.it\/smdc\/wp-json\/wp\/v2\/media?parent=749"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}