La diffusione della disinformazione (online) è un problema che danneggia la società, poiché le informazioni a cui le persone hanno accesso finiscono per influenzare i loro processi decisionali. La capacità di distinguere tra affermazioni vere e false sta diventando, pertanto, sempre più importante con il passare del tempo. Un modo per valutare la veridicità delle informazioni consiste nell’affidarsi ad esperti umani che svolgono un’attività di verifica dei fatti (fact-checking). Tuttavia, la quantità sempre crescente di disinformazione
sta rendendo questo compito più impegnativo, se non addirittura impraticabile, nel tempo. Inoltre, l’importo limitato di
esperti formati rendono l’intero processo costoso e non scalabile. Una possibile alternativa è affidarsi a tecniche di apprendimento automatico. (machine learning) Tali tecniche, tuttavia, richiedono una grande quantità di dati per la fase di addestramento e le loro affidabilità, efficacia e spiegabilità spesso non sono adeguate.
Per affrontare i problemi di tali approcci si può pensare di fare affidamento sulla grande quantità di persone non esperte che
consuma informazioni e chiedere loro di svolgere l’attività di verifica dei fatti. È possibile utilizzare approcchi basati sul crowdsourcing per raccogliere giudizi di veridicità forniti da persone non esperte su un insieme di affermazioni (statement) [12, 13, 14, 15]. Tale decisione comporta numerose opportunità ma anche difficoltà; nonstante sia possibile raccogliere una grande quantità di dati in un tempo ridotto, non vi è alcuna garanzia sulla qualità dei dati raccolti. La soluzione
che intendiamo studiare è l’integrazione di questi tre approcci, per far fronte alle suddette difficoltà preservando i vantaggi delle diverse metodologie. Il nostro obiettivo di ricerca a lungo termine consiste nel costruire un sistema human-in-the-loop che consenta di affrontare la disinformazione misurando la veridicità delle informazioni in tempo reale sfruttato il lavoro di valutatori non esperti e tecniche di apprendimento automatico.
Pubblicazioni
1. Multidimensional News Quality: A Comparison of Crowdsourcing and Nichesourcing
Eddy Maddalena and Davide Ceolin and Stefano Mizzaro (2018). Proceedings of the CIKM 2018 Workshops co-located with 27th ACM International Conference on Information and Knowledge Management (CIKM 2018), Torino, Italy, October 22, 2018. CEUR-WS.org.
2. How Many Truth Levels? Six? One Hundred? Even More? Validating Truthfulness of Statements via Crowdsourcing (2018)
Roitero, Kevin; Spina, Damiano; Demartini, Gianluca; Mizzaro, Stefano. Workshop on Rumours and Deception in Social Media, 2018.
3. Crowdsourcing Truthfulness: The Impact of Judgment Scale and Assessor Bias (2020)
David La Barbera and Kevin Roitero and Gianluca Demartini and Stefano Mizzaro and Damiano Spina (2020). In Advances in Information Retrieval – 42nd European Conference on IR Research, ECIR 2020, Lisbon, Portugal, April 14-17, 2020, Proceedings, Part II (pp. 207–214). Springer.
4. Can The Crowd Identify Misinformation Objectively? The Effects of Judgment Scale and Assessor’s Background (2020)
Kevin Roitero, Michael Soprano, Shaoyang Fan, Damiano Spina, Stefano Mizzaro, and Gianluca Demartini. 2020. Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR ’20). Association for Computing Machinery, New York, NY, USA, 439–448. DOI:https://doi.org/10.1145/3397271.3401112
5. The COVID-19 Infodemic: Can the Crowd Judge Recent Misinformation Objectively? (2020)
Kevin Roitero, Michael Soprano, Beatrice Portelli, Damiano Spina, Vincenzo Della Mea, Giuseppe Serra, Stefano Mizzaro, and Gianluca Demartini. 2020. Proceedings of the 29th ACM International Conference on Information & Knowledge Management (CIKM ’20). Association for Computing Machinery, New York, NY, USA, 1305–1314. DOI:https://doi.org/10.1145/3340531.3412048
Per vedere il video, scorrere la pagina fino alla sezione “Supplemental Material”
6. Human-in-the-loop Artificial Intelligence for Fighting Online Misinformation: Challenges and Opportunities (2020)
Gianluca Demartini, Stefano Mizzaro, and Damiano Spina. IEEE Data Eng. Bull., vol. 43, no. 3, pp. 65–74, 2020.
7. Can The Crowd Judge Truthfulness? A Longitudinal Study on Recent Misinformation About COVID-19 (2021)
Kevin Roitero, Michael Soprano, Beatrice Portelli, Massimiliano De Luise, Vincenzo Della Mea, Giuseppe Serra, Stefano Mizzaro, Gianluca Demartini. Personal and Ubiquitous Computing, 2021, ISSN: 1617-4917.
8. Assessing the Quality of Online Reviews Using Formal Argumentation Theory (2021)
Ceolin, Davide; Primiero, Giuseppe; Wielemaker, Jan; Soprano, Michael. Web Engineering, pp. 71–87, Springer International Publishing, Cham, 2021, ISBN: 978-3-030-74296-6.
9. The Many Dimensions of Truthfulness: Crowdsourcing Misinformation Assessments on a Multidimensional Scale (2021)
Michael Soprano, Kevin Roitero, David La Barbera, Davide Ceolin, Damiano Spina, Stefano Mizzaro. Information Processing & Management, vol. 58, no. 6, pp. 102710, 2021, ISSN: 0306-4573.
10. E-BART: Jointly Predicting and Explaining Truthfulness (2021)
Brand, Erik; Roitero, Kevin; Soprano, Michael; Demartini, Gianluca. Proceedings of the 2021 Truth and Trust Online Conference (TTO 2021), Virtual, October 7-8, 2021, pp. 18–27, Hacks Hackers, 2021.
10. Human-in-the-Loop Systems for Truthfulness: A Study of Human and Machine Confidence (2021)
Qu, Yunke; Roitero, Kevin; Mizzaro, Stefano; Spina, Damiano; Demartini, Gianluca. Proceedings of the 2021 Truth and Trust Online Conference (TTO 2021), Virtual, October 7-8, 2021, pp. 40–49, Hacks Hackers, 2021.
11. The Effects of Crowd Workers Biases in Fact-Checking Tasks. (2022)
Tim Draws, David La Barbera, Michael Soprano, Kevin Roitero, Davide Ceolin, Alessandro Checco, Stefano Mizzaro. Proceedings of the fifth ACM Conference on Fairness, Accountability, and Transparency, FAccT 2022, Seoul, South Korea. June 21-24 2022 (TO APPEAR).
12. Crowd_Frame: A Simple and Complete Framework to Deploy Complex Crowdsourcing Tasks Off-the-Shelf
Michael Soprano, Kevin Roitero, Francesco Bombassei De Bona, Stefano Mizzaro. Proceedings of the 15th ACM International Conference on Web Search and Data Mining (WSDM 2022). Virtual Event, AZ, USA. Conference Rank: GGS A+, Core *
Per vedere il video, scorrere la pagina fino alla sezione “Supplemental Material”
Collaborazioni Internazionali
