On the 1st of November, we launched the AI4D-African Language Dataset Challenge on Zindi, an effort towards incentivising the uncovering and creation of African language datasets for improved representation in NLP. This first phase of what is expected to be a two-phase challenge, is taking place over 5 months, November 2019 to March 2020, with evaluation of submissions done on a monthly basis. Each month, the top 2 submissions will receive a cash prize of USD 500.
Being well into December we are excited to announce that the top two submissions for November were received from;
- Oshingbesan Adebayo who submitted a dataset composed of three West African indigenous languages(Hausa, Igbo and Yoruba). The dataset was acquired from a wide variety of sources ranging from transcriptions of songs, online news sites, excerpts from published books, websites in indigenous languages to blogs, Twitter, Facebook and more.
- Thierno Diop who submitted an Automatic Speech Recognition dataset for Wolof in the domain of transportation services. The data was prepared through a collaboration between BAAMTU Datamation, a senegalease company focused on using data to help companies to leverage AI and Big Data, and WeeGo, an app which help passengers to get information about urban transport in Senegal.
Overall, we received 9 submissions in the month of November, composed of data from a total of 4 unique languages. These are Hausa, Igbo, Wolof and Yoruba.
Majority of the data came from online sources. Scraping of newspaper sites such as BBC, DW and VOA which curate news in several African languages emerged as one of the top ways that participants went about creating datasets. A great strategy for putting together a sizeable dataset over the coming months would be to keep going back to the site(s) every so often and keeping your dataset up to date with the site as news is regularly published. Capturing a wide variety of news categories would go a long way in ensuring the dataset is well balanced and representative of language variety. Wikipedia sites published in various languages also featured as a data source.
- BBC publishes news in Afaan Oromoo, Amharic, Hausa, Igbo, Kirundi, Pidgin, Somali, Swahili, Tigrinya and Yoruba
- DW publishes news in Amharic, Hausa and Kiswahili
- VOA publishes news in Afaan Oromoo, Amharic, Bambara, Hausa, Kinyarwanda/Kirundi, Ndebele, Shona, Somali, Kiswahili and Tigrinya
A closely related online source is Twitter data, which we have seen particularly curated for the task of sentiment analysis. A good place to start would be the accompanying Twitter profiles of the above news sites. While we haven’t had any data sourced from Facebook yet, I imagine that the profiles maintained by these news outlets for various languages would also be a good place to start.
Manual translation also emerged with some submissions compiled as a result of one or several individuals coming together to translate pieces of text as well as custom applications such as mobile applications being used to crowdsource voice overs for the dataset created for Automatic Speech Recognition.
I am also excited to announce that we will have a workshop at ICLR 2020, “AfricaNLP – Unlocking Local Languages”, which will be held in Addis Ababa in April of next year.
Part of the agenda of this workshop is set aside to showcase exceptional work and resulting datasets that will emerge as output from this exercise.
We will also use the workshop as an opportunity to launch the second phase of this challenge. If you have been following our thought process since the beginning, then you will know that the second phase of the challenge is largely dependent on the outcomes of this first phase. The one(or hopefully two) downstream NLP tasks that will be the object of the 2nd phase will utilise datasets that result from this first phase.
Finally, we have a Call for Papers for the workshop, specifically for research work involving African languages. Feel free to start making your submissions on this page. Here’s some key dates to keep in mind:
- Submission deadline: 1st February, 2020
- Notification to authors: 26th February, 2020
- Workshop: 26th April, 2020
Happy Holidays!
Contribution by:
Kathleen Siminyu, AI4D-Africa Network Coordinator
Sackey Freshia, Jomo Kenyatta University of Agriculture and Technology
Daouda Tandiang Djiba, GalsenAI
Le 1er novembre, nous avons lancé le Défi AI4D – Ensemble de données sur les langues africaines sur Zindi, un effort pour encourager la découverte et la création jeux de données sur les langues africaines pour une meilleure représentation en NLP. Cette première phase de ce qui devrait être un défi en deux phases, se déroule sur 5 mois, de novembre 2019 à mars 2020, avec une évaluation de la soumission faite sur une base mensuelle. Chaque mois, les deux meilleures soumissions recevront un prix en espèces de 500 USD.
Nous sommes heureux d’annoncer que les deux meilleures soumissions pour novembre ont été reçues ;
- Oshingbesan Adebayo qui a soumis un jeu de données composé de trois langues autochtones d’Afrique de l’Ouest (haoussa, igbo et yoruba). Le jeu de données a été acquis auprès d’une grande variété de sources allant de transcriptions de chansons, de sites d’information en ligne, d’extraits de livres publiés, de sites Web en langues autochtones à des blogues, Twitter, Facebook et autres.
- Thierno Diop qui a soumis un ensemble de données de reconnaissance automatique de la parole pour le wolof dans le domaine des services de transport. Les données ont été préparées grâce à une collaboration entre BAAMTU Datamation, une société sénégalaise spécialisée dans l’utilisation des données pour aider les entreprises à tirer parti de l’intelligence artificielle et de Big Data, et WeeGo, une application qui aide les passagers à obtenir des informations sur le transport urbain au Sénégal.
Au total, nous avons reçu 9 soumissions au mois de novembre, composées de données provenant de 4 langues uniques au total. Il s’agit du haoussa, de l’igbo, du wolof et du yoruba.
La majorité des données provenaient de sources en ligne. Le grattage(scraping) de sites de journaux tels que la BBC, DW et VOA qui organisent des actualités dans plusieurs langues africaines est apparu comme l’un des principaux moyens utilisés par les participants pour créer des jeux de données. Une excellente stratégie pour constituer un jeu de données important au cours des mois à venir serait de retourner sur le(s) site(s) de temps en temps et de garder le jeu de données à jour avec le site car des nouvelles sont régulièrement publiées. La saisie d’une grande variété de catégories de nouvelles contribuerait grandement à assurer que le jeu de données est bien équilibré et représentatif de la variété des langues. Les sites Wikipédia publiés dans différentes langues sont également présentés comme une source de données.
- La BBC publie des nouvelles en afaan oromo, amharique, haoussa, igbo, kirundi, pidgin, somali, swahili, tigrinya et yoruba
- DW publie des nouvelles en Amharique, Hausa et Kiswahili
- VOA publie des informations en Afaan Oromoo, Amharique, Bambara, Haoussa, Kinyarwanda/Kirundi, Ndebele, Shona, Somali, Kiswahili et Tigrinya
Une source en ligne étroitement liée est celle des données de Twitter, que nous avons vu particulièrement bien conservée pour la tâche d’analyse des sentiments. Un bon point de départ serait les profils Twitter des sites d’information ci-dessus. Bien que nous n’ayons pas encore eu de données provenant de Facebook, j’imagine que les profils tenus par ces sites d’information dans différentes langues seraient également un bon point de départ.
La traduction manuelle a également fait son apparition, certaines soumissions ayant été compilées à la suite de la collaboration d’une ou de plusieurs personnes pour traduire des morceaux de texte ainsi que des applications personnalisées telles que des applications mobiles utilisées pour créer des voix hors champ pour un ensemble de données créé pour la reconnaissance automatique de la parole.
Je suis également heureux d’annoncer que nous aurons un atelier à la conférence ICLR 2020, “AfricaNLP – Unlocking Local Languages“, qui se tiendra à Addis-Abeba en avril prochain. Une partie de l’ordre du jour de cet atelier est réservée à la présentation des travaux exceptionnels et des jeux de données qui résulteront et qui seront le fruit de cet exercice.
Nous profiterons également de l’atelier pour lancer la deuxième phase de ce défi. Si vous avez suivi notre processus de réflexion depuis le début, vous savez que la deuxième phase du défi dépend en grande partie des résultats de cette première phase. Les une (ou, espérons-le, deux) tâches de NLP en aval qui feront l’objet de la deuxième phase utiliseront les ensembles de données qui résultent de cette première phase.
Enfin, nous avons un appel à communications pour l’atelier, spécifiquement pour les travaux de recherche impliquant les langues africaines. N’hésitez pas à commencer à faire vos soumissions ici.
- Date limite de soumission: 1er février 2020
- Notification de la décision: 26 février 2020
- Atelier : 26 avril 2020
Joyeuses Fêtes!
Contribution de:
Kathleen Siminyu, Coordinatrice du réseau AI4D-Africa
Sackey Freshia, Jomo Kenyatta University of Agriculture and Technology
Daouda Tandiang Djiba, GalsenAI