Contoh Deskripsi Pencarian Gambar
Firefly yang diproduksi oleh Amazon menimbulkan sensasi yang luar biasa pada saat itu. Meskipun sulit untuk mengatakan apakah produk ini berhasil atau tidak, itu memang langkah yang sangat berani pada saat itu.
Baidu juga memiliki pencarian gambar dan pengenalan gambar, begitu pula Microsoft.
Google juga memiliki Google Goggles sejak lama, meskipun teknologinya sangat berbeda dari sekarang.
Pinterest juga memiliki fitur seperti itu tahun lalu, yaitu mencari foto serupa atau produk serupa pada foto yang dibagikan sendiri.
Salah satu pencarian gambar Alibaba, Polaritao, menekankan penggunaan ponsel Anda untuk mengambil foto untuk mencari produk yang sama atau serupa secara online.
Bagaimana Cara Anda Mencari Gambar?
Salah satu caranya adalah dengan mengandalkan tag, kata kunci dan deskripsi tekstual yang terkait dengan gambar. Hal ini yang disebut pencarian tag atau pencarian gambar dengan teks.
Cara lain adalah dengan mengkuantifikasi gambar dan mengekstrak serangkaian angka untuk mewakili warna, tekstur atau bentuk gambar. Kemudian mencari gambar dengan membandingkan kesamaan antara gambar, ini disebut pencarian contoh, atau pencarian berdasarkan gambar.
Yang terakhir adalah menggabungkan dua metode sebelumnya, yang tidak hanya mengandalkan informasi teks yang terkait dengan gambar. Tetapi juga mengukur gambar itu sendiri, yang disebut pencarian hibrida.
Ada 3 jenis mesin pencari gambar: pencarian tag, pencarian contoh dan pencarian hybrid
1. Pencarian Tag Gambar
Ketik kata kunci di Google, Bing atau Baidu dan tekan tombol pencarian, yang merupakan cara umum untuk mencari teks. Pencarian hashtag untuk gambar sangat mirip dengan pencarian teks.
Memberi tag pada mesin telusur untuk gambar tidak terlalu memperhatikan gambar itu sendiri, alih-alih mengandalkan isyarat tekstual. Petunjuk ini dapat berasal dari berbagai sumber, tetapi metode utamanya adalah:
Anotasi manual: Dalam hal ini, administrator atau pengguna memberikan tag dan kata kunci untuk konten gambar.
Petunjuk kontekstual: Umumnya, petunjuk kontekstual hanya berlaku untuk halaman web. Tidak seperti anotasi manual di mana kita harus mengekstrak label secara manual, petunjuk kontekstual secara otomatis memeriksa konten tekstual atau label gambar di sekitar gambar.
Kerugian dari pendekatan ini adalah kita berasumsi bahwa konten gambar terkait dengan teks di halaman web. Ini mungkin berlaku untuk situs seperti Baidu Baike, di mana gambar pada halaman sangat relevan dengan konten artikel;
2. Pencarian Menggunakan Contoh Gambar
Jenis mesin pencari gambar ini mencoba untuk mengukur gambar itu sendiri dan disebut sistem pengambilan gambar berbasis konten (CBIR). Contoh sederhana adalah mengkarakterisasi warna gambar dengan mean, standar deviasi dan kemiringan intensitas piksel dalam gambar. Jika hanya membuat mesin pencari gambar sederhana, pendekatan ini sebenarnya bekerja dengan baik dalam banyak kasus.
Untuk kumpulan data gambar yang diberikan, nilai eigen dihitung untuk semua gambar dalam kumpulan data dan disimpan di disk. Ketika kita mengukur gambar, kita menggambarkan gambar dan mengekstrak fitur gambar.
Fitur gambar ini adalah abstraksi dari gambar dan digunakan untuk mengkarakterisasi konten gambar, dan proses mengekstraksi fitur dari kumpulan gambar disebut pengindeksan.
Dengan asumsi sekarang kita telah mengekstrak fitur dari setiap gambar dalam kumpulan data, bagaimana kita mencari? Langkah pertama adalah menyediakan sistem kami dengan gambar kueri, yang merupakan paradigma yang kami cari dalam kumpulan data kita. Gambar kueri mengekstrak fitur dengan cara yang persis sama seperti gambar indeks.
Kemudian menggunakan fungsi jarak seperti jarak Euclidean untuk menyelaraskan fitur kueri kami dengan fitur dalam kumpulan data yang diindeks. Hasilnya kemudian diurutkan menurut kesamaan. Jarak Euclidean lebih kecil berarti lebih mirip dan ditampilkan.
Cara Campuran:
Misalkan kita sedang membangun mesin pencari gambar untuk Twitter. Twitter memungkinkan gambar dalam tweet. Sementara itu, Twitter juga memungkinkan Anda untuk menandai tweet Anda sendiri.
Kita dapat menggunakan tag tweet untuk membangun pencarian hashtag untuk gambar, dan kemudian menganalisis dan mengukur karakteristik gambar itu sendiri untuk membangun pencarian contoh.
Cara melakukannya adalah dengan membangun mesin pencari gambar hibrida yang menyertakan kata kunci teks serta fitur yang diekstraksi dari gambar.
Contoh terbaik adalah pencarian gambar Google. Pencarian gambar Google sebenarnya dengan menganalisis karakteristik gambar itu sendiri untuk mencari. Tetapi Google adalah mesin pencari teks pertama, sehingga juga memungkinkan Anda untuk mencari berdasarkan tag.
3. Model Pencarian Teks
Penggunaan Orang Pertama Untuk Menandai Teks
Pada awal 1970-an dan 1980-an, itu adalah kumpulan gambar yang sangat kecil. Cukup untuk menambahkan label teks ke gambar oleh orang-orang dan kemudian mencari berdasarkan teks. Setelah itu berkembang ke era media sosial sekitar tahun 2004.
Meskipun tag gambar di Flicker juga ditambahkan orang, jumlah yang ditambahkan oleh orang-orang menjadi sangat besar. Ini juga dapat melakukan pencarian gambar yang relatif baik.
Pelabelan selanjutnya bukanlah orang yang melabeli gambar mereka sendiri. Tetapi dengan merancang beberapa platform pelabelan – yang lebih terkenal adalah Image Labeler yang diakuisisi oleh Google untuk melabeli gambar dengan cara permainan. Tentu saja anotasi ini dapat digunakan untuk mencari gambar yaitu untuk mencari gambar dengan menambahkan anotasi teks secara manual.
Mengindeks Gambar Melalui Teks Halaman Web
Mesin pencari gambar tujuan umum saat ini di Internet pada dasarnya didasarkan pada rangkaian teknologi ini. Mengindeks gambar melalui teks halaman web Tentu saja. Ada juga banyak detail yang terlibat, termasuk cara mengekstrak teks yang efektif dari halaman web.
Setelah 2008, banyak konten analisis gambar telah diperkenalkan ke dalam pencarian gambar berbasis web. Artinya, meskipun gambar adalah gambar di halaman web, itu juga akan melakukan analisis konten di atasnya. Apakah itu penandaan atau ekstraksi fitur untuk memperbaiki beberapa bug dalam pencarian teks dan meningkatkan akurasi pencarian.
Jenis Pelabelan Otomatis
Sejumlah besar makalah akademis disebut deteksi konsep atau penandaan ke arah ini. Skalanya bisa berkisar dari puluhan, ratusan hingga ribuan atau puluhan ribu tag.
4. Kategori Gambar
Kategori yang telah ditentukan sebelumnya. Misalnya, telah ditentukan sebelumnya bahwa hanya ada seribu kategori, dan kemudian pengklasifikasi dilatih untuk memberi label pada gambar.
Rentang label tidak terbatas atau rentang label sangat besar dan kemudian kita mempelajari metode deskripsi umum untuk gambar dan label sehingga anotasi teks yang mirip dengan teks bebas dapat diwujudkan.
Penandaan implisit adalah penandaan otomatis implisit. Selama pengoperasian mesin pencari, pengguna akan mengklik hasil pencarian saat mencari. Saat ini, kata yang dicari dan hasil pencarian membentuk asosiasi melalui tindakan diklik.
Metode ini juga dapat dianggap sebagai semacam pelabelan. Meskipun memiliki beberapa noise. Sebenarnya sangat efektif dan juga dapat menggunakan beberapa metode untuk mengurangi noise dan bahkan mentransfer label di antara gambar serupa untuk memperluas cakupan label.
Anotasi semacam ini memainkan peran yang sangat penting dalam meningkatkan kualitas pencarian mesin pencari gambar berbasis web.
5. Pencarian Gambar
Ini pertama kali disebut CBIR (Content-Based Image Retrieval) pada 1990-an, yaitu pengambilan gambar berbasis konten. Namun pada saat itu, dasarnya hanya mungkin untuk mengambil ribuan atau puluhan ribu gambar dan efek pengambilannya sulit untuk dijamin.
Ada istilah yang masih populer hingga saat ini yang disebut celah semantic. Itulah yang sering kita gunakan untuk mempertanyakan keandalan pencarian berbasis gambar atau CBIR.
Penurunan pencarian gambar tidak meningkat sampai sekitar tahun 2008. Ketika sebuah perusahaan bernama TinEye datang dengan layanan web yang akan membantu Anda menemukan gambar di Internet yang sangat mirip dengan gambar yang Anda kirimkan.
Ketika gambar Anda tidak mungkin tumbuh ke level puluhan juta, ratusan juta, atau bahkan ke level satu miliar atau seratus miliar. Oleh karena itu, perlu untuk mengindeks gambar saat ini. Pengindeksan sangat mudah dicapai melalui metode terbalik dalam pencarian teks. Tetapi gambarnya berbeda Deskripsi gambar adalah fiturnya dan fitur ini adalah vektor.
Lalu bagaimana cara menggunakan fitur berdimensi tinggi untuk membangun indeks:
Partition Tree menggunakan berbagai metode pohon untuk membagi dan memblokir data agar lebih mudah ditemukan.
Hashing Makalah tentang pencarian gambar pada dasarnya melakukan Hashing.
Graph Neighborhood menggunakan metode grafik adjacency untuk membangun metode indeks.
Invert Index mengubah semua fitur gambar menjadi kata-kata visual dan kemudian menggunakan metode inversi untuk melakukannya.
Metode-metode ini pada dasarnya saling dapat dikonversi. Tentu saja, terkadang ada kehilangan informasi saat melakukan konversi. Jika Anda melakukan pencarian gambar skala besar dengan jumlah data yang sangat besar, menurut saya pribadi lebih tepat menggunakan metode terbalik.
Pembelajaran Mendalam Digunakan Dalam Pencarian Gambar
Setelah deep learning keluar, kita dapat mempelajari jaringan saraf untuk mengekstrak fitur gambar sesuai dengan tujuan yang ingin kita capai. Faktanya, pencarian dan pengenalan tidak dapat dipisahkan, terutama ketika melakukan pencarian gambar skala besar, pengenalan dan deteksi sangat penting.
Pengenalan terkadang dilakukan melalui pencarian, misalnya jika Anda memiliki banyak kategori. Seringkali dicapai melalui metode pencarian daripada melalui metode model. Oleh karena itu, batas-batas pencarian dan identifikasi di era big data semakin kabur, harus saling memanfaatkan.
