skip to main content

AI classroom activity: Facial recognition Kegiatan kelas AI: Pengenalan wajah

Long reads
Authors: Joshua Ho
AI classroom activity: Facial recognition

Artificial intelligence (AI) is everywhere in our daily lives – search engines, social media, intelligent personal assistants such as Siri – and today’s schoolchildren are a generation who will grow up with these AI technologies.

I have a one year old daughter; it is distinctly possible that she does not need to learn how to drive when she grows up because self-driving vehicles will be the norm.

As a computer scientist who works in a medical research institute, I witness firsthand how AI is transforming the way we screen our three-billion-character genome to discover disease-causing mutations, and detect cardiovascular risks by analysing data from wearable fitness trackers.

Like it or not, AI will be an integral part of our children’s future. The term AI may sound scary, possibly due to association with killer robots in science fiction. Another misconception is that AI is so complicated that there is no way schoolchildren can understand the concept.

Setting aside the philosophical issues surrounding what is intelligence, most real-life AI algorithms are actually doing something much simpler – to mimic some aspects of human-like behaviours, such as identifying objects inside an image, learning, natural language comprehension, and social interactions. All these behaviours can be encoded into computer algorithms.     

Through the CSIRO STEM Professionals in Schools program, I have been working with ICT teacher Matthew Scadding from the Ravenswood School for Girls in Sydney’s North Shore to introduce the fundamental concepts of AI into their Year 6 robotic classes. In this two-part series, I will summarise the activities we used to introduce two important AI tasks to our students – facial recognition and learning.

‘Unplugged’ facial recognition task

The facial recognition task was an unplugged activity in which students act out the algorithm physically in a game, without the use of a computer or robot. The task is as follows: given a person’s photo, name the person inside the photo. This is the type of facial recognition technology behind automatic photo tagging in Facebook. To make this activity more engaging for our Year 6 girls, we called this activity ‘Who is this princess?’ – a game to identify the name of a Disney princess inside a picture. (Before creating your own game, check the Smartcopying website for copyright issues and use of images.)

Preparation: In our game, the teacher prepared seven colour-printed papers, each with one side printed with the image of one of six different Disney princesses – five images of five different princesses and two different images of one princess (for example, see Belle in Figure 1).

On the other side of the page, print a list of questions regarding some physical characteristics of the princess, such as dress colour, hair colour, skin colour, hair length and so on. Disney princesses were selected because they are generally well-known to our students, and the characters tend to have distinct visual features. You can choose any other collection of characters to suit your class, or create your own.

Classroom discussion: Before the activity, the teacher can explain to the class that facial recognition is not as easy as it seems. A computer can match two photos pixel-by-pixel to check if there is an exact match. However, in real life the same person may look differently in each photo due to different posture, clothing, and facial expression. Humans can readily recognise faces. We can do so because our brain extracts and matches key features of the person inside the photos. For example, Snow White has short dark hair and always wears a dress, while Ariel has long red hair and has a fishtail. The goal of this activity is to illustrate the key AI concept of feature extraction – conversion of data in the original format (for example, an image) into a series of quantitative or qualitative features that can be used to distinguish different objects in the original data. A computer cannot ‘see’ a photo like a human, but it is good at comparing a list of features. By converting the original image into a series of features, a computer can behave like humans in terms of recognising the person inside each photo.

The new staffroom at Macgregor Primary School

[Figure 1: The task of facial recognition can be achieved by converting the image of an unnamed person (right) into a series of physical characteristics, and identifying which image best matches the list of physical characteristics within a database of named photos (left). Images © dean bertoncelj/Shutterstock]

Activity: This activity consists of two parts – feature extraction and database search. In the feature extraction step, we selected six students and gave each person a randomly chosen princess and instructed them not to show it to anyone else. Please make sure each person has a different character. The students were then asked to answer the questions about the princess in their hand (see Figure 1 for an example). The teacher then selected one other student from the rest of the class to give them a new ‘unnamed’ image of one of the princesses that was selected by the initial six students. Similarly, this student had to fill in the questions about their princess, but she could show the image to the class. At this point, the physical image of the princesses can be described by a series of textual descriptors of the characteristics of their appearance. This completes the feature extraction step.

The next step is the database search step. The teacher asked the six students to stand in front of the class but try not to show the image of their princess. The student holding the unnamed princess walked in front of each of the six classmates and counted how many of the physical characteristics matched between her unnamed princess and their classmate’s princess, based on the list of physical characteristics alone, without looking at their images directly. The number of matched characteristics is called a similarity score. After all six princesses have been compared, the student needs to identify the princess with the highest similarity score. At this point, the teacher can ask all six students to show their princesses to the class. If all goes to plan, the unnamed princess should match the princess with the highest similarity score.

Key concept: This game seeks to demonstrate the key concept of feature extraction – conversion of one type of data (image) into another format that facilitates comparison. The two selected images may not have a perfect match in every single characteristic, but it should be the most similar among a big database of photos. Accuracy of this type of facial recognition depends on the quality and size of the background photo database. This is why ‘big data’ is such an important component of modern AI.

Stay tuned: Next week, Dr Joshua Ho will give a step-by-step guide to another classroom activity you can use to illustrate the concept of machine learning.

Saat ini, kecerdasan buatan (AI) ada di mana-mana dalam kehidupan kita sehari-hari, seperti dalam mesin pencari, media sosial, dan asisten pribadi cerdas seperti Siri, dimana anak-anak generasi saat ini adalah generasi yang akan tumbuh dengan teknologi AI ini.

Saya memiliki seorang anak perempuan usia satu tahun; kemungkinan besar kelak dia tidak akan perlu belajar mengemudi, karena kendaraan yang akan menjadi standar adalah kendaraan self-driving yang tidak membutuhkan pengemudi.

Sebagai ilmuwan komputer yang bekerja di lembaga penelitian medis, saya menyaksikan secara langsung bagaimana AI mengubah cara kita menyaring tiga milyar karakter genom kita guna menemukan mutasi yang menyebabkan suatu penyakit, dan mendeteksi risiko kardiovaskular dengan menganalisis data dari alat pelacak kebugaran yang kita kenakan.

Suka atau tidak suka, AI akan menjadi bagian integral dari masa depan anak-anak kita. Istilah AI mungkin terdengar menakutkan, boleh jadi karena asosiasi dengan robot pembunuh dalam cerita fiksi ilmiah. Kesalahpahaman lainnya adalah bahwa AI sangat rumit sehingga tidak mungkin anak usia sekolah dapat memahami konsep tersebut.

Dengan mengesampingkan masalah filosofis seputar apa itu kecerdasan, kebanyakan algoritma AI dalam kehidupan nyata sebenarnya melakukan sesuatu yang lebih sederhana, dengan menirukan beberapa aspek perilaku yang mirip manusia seperti mengidentifikasi obyek di dalam sebuah gambar, belajar, pemahaman bahasa yang alamiah, dan interaksi sosial. Semua perilaku ini dapat dikodekan ke dalam algoritma komputer.

Melalui program CSIRO STEM Professionals in Schools, saya telah bekerja bersama seorang guru TIK, Matthew Scadding, dari Ravenswood School for Girls di North Shore, Sydney untuk memperkenalkan konsep dasar AI ke dalam pelajaran robotik mereka di Kelas 6. Dalam seri yang terdiri dari dua bagian ini, saya akan merangkum kegiatan yang kami gunakan untuk memperkenalkan dua tugas AI penting kepada siswa - pengenalan wajah dan pembelajaran.

Tugas pengenalan wajah ‘tanpa gawai’

Tugas pengenalan wajah adalah kegiatan tanpa gawai di mana siswa menjalankan algoritma secara fisik dalam suatu permainan, tanpa menggunakan komputer atau robot. Tugasnya adalah sebagai berikut: siswa diberi foto seseorang dan menyebutkan nama orang di dalam foto tersebut. Ini adalah jenis teknologi pengenalan wajah di balik tagging foto otomatis di Facebook. Untuk membuatnya lebih menarik bagi anak-anak perempuan Kelas 6, kami menyebut kegiatan ini 'Siapa putri ini?', sebuah permainan untuk mengidentifikasi nama karakter putri Disney dalam gambar. (Sebelum membuat game sendiri, periksa dulu situs web Smartcopying untuk melihat masalah hak cipta dan penggunaan gambar.)

Persiapan: Dalam permainan kami, guru menyiapkan tujuh kertas berwarna, masing-masing memiliki satu sisi yang dicetak gambar seorang dari enam putri Disney yang berbeda-beda - lima gambar dari lima putri yang berbeda-beda dan dua gambar yang berbeda dari satu putri yang sama (sebagai contoh, lihat Belle pada Gambar 1).

Di balik gambar tersebut, ada daftar pertanyaan mengenai beberapa karakteristik fisik sang putri, seperti warna pakaian, warna rambut, warna kulit, panjang rambut, dan sebagainya. Putri-putri Disney dipilih karena mereka umumnya cukup dikenal di kalangan siswa kami, dan mereka cenderung memiliki fitur visual yang berbeda. Anda dapat memilih koleksi tokoh lain yang sesuai dengan kelas Anda, atau membuat tokoh sendiri.

Diskusi kelas: Sebelum memulai kegiatan, guru dapat menjelaskan kepada siswa bahwa pengenalan wajah tidak semudah yang dibayangkan. Komputer dapat mencocokkan dua foto piksel-demi-piksel untuk memeriksa apakah ada kecocokan diantara keduanya. Namun, dalam kehidupan nyata, orang yang sama mungkin terlihat berbeda di setiap foto karena postur tubuh, pakaian, dan ekspresi wajah yang berbeda. Manusia dapat dengan mudah mengenali wajah. Kita dapat melakukannya, karena otak kita mengekstrak dan mencocokkan fitur-fitur kunci dari orang yang ada di dalam foto. Misalnya, Putri Salju memiliki rambut hitam pendek dan selalu mengenakan gaun, sementara Ariel memiliki rambut merah panjang dan memiliki ekor ikan. Tujuan dari kegiatan ini adalah untuk memberikan ilustrasi tentang konsep utama AI, yaitu ekstraksi fitur - mengonversi data dalam format asli (misalnya gambar) menjadi serangkaian fitur kuantitatif atau kualitatif yang dapat digunakan untuk membedakan obyek yang berbeda di data awal. Komputer tidak dapat 'melihat' foto seperti halnya manusia, tetapi pandai dalam membandingkan daftar fitur-fitur. Dengan mengubah gambar asli menjadi serangkaian fitur, komputer dapat berperilaku seperti manusia dalam hal mengenali orang di dalam setiap foto.

[Gambar 1: Tugas pengenalan wajah dapat dicapai dengan mengubah gambar orang yang tidak disebutkan namanya (kanan) menjadi serangkaian karakteristik fisik, dan mengidentifikasi gambar mana yang paling cocok dengan daftar karakteristik fisik dalam database foto yang diberi nama (kiri) . Gambar © dean bertoncelj/Shutterstock]

Kegiatan: Kegiatan ini terdiri dari dua bagian - ekstraksi fitur dan pencarian database. Pada langkah ekstraksi fitur, kami memilih enam siswa yang masing-masing diberi gambar putri yang dipilih secara acak dan meminta mereka untuk tidak menunjukkannya kepada orang lain. Pastikan bahwa setiap anak memiliki tokoh yang berbeda. Para siswa kemudian diminta untuk menjawab pertanyaan tentang putri yang mereka miliki (lihat Gambar 1 untuk contoh). Guru kemudian memilih satu siswa lain lagi yang diberi gambar baru 'tanpa nama' dari salah satu putri yang dipilih oleh enam siswa sebelumnya. Siswa inipun harus mengisi pertanyaan tentang putri yang di tangannya, tetapi dia bisa menunjukkan gambarnya kepada siswa-siswa lain di kelas. Pada titik ini, citra fisik para putri dapat digambarkan dengan serangkaian deskriptor tekstual dari karakteristik tentang penampilan mereka. Kegiatan ini menuntaskan aktivitas ekstraksi fitur.

Langkah selanjutnya adalah langkah pencarian database. Guru meminta keenam siswa tadi untuk berdiri di depan kelas sambil berusaha untuk tidak menunjukkan gambar putri yang mereka pegang. Seorang siswa yang memegang gambar putri yang tidak bernama berjalan di depan setiap enam siswa tersebut dan menghitung berapa banyak karakteristik fisik yang cocok antara putrinya dan keenam putri yang dipegang teman-temannya, berdasarkan daftar karakteristik fisik saja, tanpa melihat gambar mereka secara langsung. Jumlah karakteristik yang cocok disebut skor kemiripan. Setelah semua enam putri tersebut dibandingkan, sang siswa perlu mengidentifikasi putri yang memiliki skor kemiripan tertinggi. Pada titik ini, guru dapat meminta keenam siswa untuk menunjukkan putri mereka kepada kelas. Jika semuanya berjalan sesuai rencana, putri yang tidak disebutkan namanya harus cocok dengan putri yang memiliki skor kemiripan tertinggi.

Konsep utama: Permainan ini berupaya untuk memperagakan konsep utama dalam mengekstraksi fitur - mengonversi satu jenis data (gambar) ke format lain yang memfasilitasi suatu perbandingan. Dua gambar yang dipilih mungkin tidak memiliki kecocokan sempurna untuk setiap karakteristik, tetapi kemungkinan akan menjadi paling mirip di antara foto-foto dalam database yang besar. Akurasi jenis pengenalan wajah ini bergantung pada kualitas dan ukuran database latar belakang foto. Inilah sebabnya mengapa 'data besar' atau ‘big data’ merupakan komponen yang begitu penting dalam AI modern.

Tetaplah bersama kami: Minggu depan, Dr Joshua Ho akan memberikan panduan selangkah demi selangkah untuk kegiatan siswa lainnya yang dapat Anda gunakan dalam memberikan ilustrasi tentang konsep belajar dengan mesin.

In what ways is your school engaging students in STEM subjects?

Dr Joshua Ho is working with educators as part of the CSIRO’s STEM professionals in schools program. Think about a STEM-related topic you’re teaching next term. How could you develop links to tap into external expertise?

Dengan cara apa saja sekolah Anda melibatkan siswa dalam mata pelajaran STEM (science, technology, engineering and mathematics atau sains, teknologi, permesinan dan matematika)?

Dr Joshua Ho bekerja dengan para pendidik sebagai bagian dari program profesional STEM CSIRO di sekolah. Pikirkan tentang topik terkait STEM yang akan Anda ajarkan pada semester berikutnya. Bagaimana Anda bisa menjalin hubungan untuk memanfaatkan pakar-pakar dari pihak luar?


Skip to the top of the content.