Program
18:00Openning words
Dr. Aya Soffer, VP AI Tech, IBM Research
-
Bio
ד"ר איה סופר היא סגנית נשיא לטכנולוגיות בינה מלאכותית במעבדות המחקר של IBM ומנהלת מעבדת המחקר של IBM בחיפה. היא מובילה צוותים של חוקרים בישראל וברחבי העולם העוסקים בעיבוד והבנת שפה טבעית ומערכות שיח מבוססות בינה מלאכותית לשימושים עסקיים, ומחקרים בתחום הבינה המלאכותית, ענן היברידי, בלוקצ'יין, מחשוב קוונטי ועתיד הרפואה. ב-21 שנותיה ב-IBM היא הובילה מחקרים אסטרטגיים שהפכו לפתרונות מסחריים בתחומי ביג דאטה ובינה מלאכותית. היא הייתה שותפה לפיתוח של ווטסון - פלטפורמת הבינה המלאכותית של IBM וממובילות פרוייקט דיבייטר - מערכת שמסוגלת לייצר שיח עם בני אדם בזמן אמיתי וללא התערבות אנושית. היא השתתפה בכתיבת יותר מ-50 מאמרים אקדמיים וכ-15 פטנטים רשומים על שמה.
"בשנה האחרונה אני מתמקדת במינוף והטמעה של היכולות יוצאות הדופן של פרויקט דיבייטר לתוך פתרונות הבינה המלאכותית של IBM, ובשימוש בטכנולוגיית הבנת שפה טבעית כדי לעזור במאבק בקורונה. שפה היא הדבר המייחד את המין האנושי וגם הדרך שבה אנחנו מתקשרים זה עם זה. כדי שמחשב יוכל לתקשר איתנו כמו שאנו משוחחים עם עמית לעבודה לא מספיקה הבנה של המלים כי שפה היא רב-משמעית - וכאן טמון האתגר. בינה מלאכותית שמבינה שפה טבעית דורשת לא רק מערכת שלומדת מדוגמאות אלא גם יכולת להסיק מסקנות וזיהוי ניואנסים. זה אתגר מרתק בעיני, והוא אף התחדד בתקופת הקורונה שאילצה אותנו להתמודד עם טרמינולוגיה חדשה לגמרי. מערכות מחשוב שיוכלו ללמוד מהר וביעילות נושאים חדשים שלא התמודדו איתם בעבר - כלומר על סמך מעט מידע ודוגמאות - יהיו המפתח להתמודדות טובה יותר של האנושות עם משברים בעתיד".
18:20Keynote
Learning to Associate Objects and Their Effects in VideoDr. Tali Dekel, Assistant Professor at Weizmann Institute of Science
-
Abstract
Computer vision is increasingly effective at segmenting objects in images and videos; however, scene effects related to the objects-shadows, reflections, generated smoke, etc-are typically overlooked.Identifying such scene effects and associating them with the objects producing them is key for a variety of applications such as removing, duplicating, or enhancing objects in video. In this talk, I’ll present a new deep learning-based method that tacklesthis novel problem. Specifically, given an ordinary video as input, we estimate omnimattes-color+opacity layers, each includes a subject along with all its relatedtime-varying scene elements. Our model is trained only on the input video in a self-supervised manner, without any manual labels. I’ll show exciting results on real-world videos containing interactions between different types of subjects (cars, animals, people)and complex effects, ranging from semi-transparent elements such as smoke and reflections, to fully opaque effects such as objects attached to the subject.
-
Bio
Tali Dekel is an Assistant Professor at the Mathematics and Computer Science Department at the Weizmann Institute, Israel. She is also a Staff Research Scientist at Google, developing algorithms at the intersection of computer vision, computer graphics, and machine learning. Before Google, she was a Postdoctoral Associate at the Computer Science and Artificial Intelligence Lab (CSAIL) at MIT. Tali completed her Ph.D. studies at the school of electrical engineering, Tel-Aviv University, Israel. Her research interests include computational photography, image/video synthesis, geometry and 3D reconstruction. Her awards and honors include the National Postdoctoral Award for Advancing Women in Science (2014), the Rothschild Postdoctoral Fellowship (2015), the SAMSON - Prime Minister's Researcher Recruitment Prize (2019), Best Paper Honorable Mention in CVPR 2019, and Best Paper Award (Marr Prize) in ICCV 2019.
18:45NLP
Caption Enriched Samples for Improving Hateful Memes DetectionEfrat Blaier, M.Sc. student at Tel Aviv University under the supervision of Prof. Lior Wolf
-
Abstract
The recently introduced hateful meme challenge demonstrates the difficulty of determining whether a meme is hateful or not. Specifically, both unimodal language models and multimodal vision-language models cannot reach the human level of performance. Motivated by the need to model the contrast between the image content and the overlayed text, we suggest applying an off-the-shelf image captioning tool in order to capture the first. We demonstrate that the incorporation of such automatic captions during fine-tuning improves the results for various unimodal and multimodal models. Moreover, in the unimodal case, continuing the pre-training of language models on augmented and original caption pairs, is highly beneficial to the classification accuracy.
-
Bio
סטודנטית לתואר שני במדעי המחשב באוניברסיטת תל אביב, מחזיקה בתואר ראשון בהצטיינות מהטכניון ובתואר שני במנהל עסקים מאוניברסיטת תל אביב. כמו כן, נסיון של 16 שנים בתעשיה מתפקידי פיתוח וניהול צוותים, CTO והקמת חברת סטרטאפ ועד לתפקידי הנוכחי כמנהלת מוצר בתחום האלגוריתמים ב-Fiverr.
19:05Computer Vision
Transformer interpretabilityHila Chefer, M.Sc. student at Tel Aviv University under the supervision of Prof. Lior Wolf
-
Abstract
In this lecture, We will present applications for Transformer interpretability in computer vision, NLP, and multi-modal tasks, while showing examples with some of the most popular Transformer-based models such as the Vision Transformer, CLIP, DETR, BERT, and others. While existing interpretability methods perform well on convolutional neural networks, they fall short on Transformer interpretability. Thus, Transformers require custom interpretability methods to explain the attention mechanism.
-
Bio
הילה היא סטודנטית לתואר שני בבית הספר למדעי המחשב באוניברסיטת תל אביב, בהנחיית פרופ׳ ליאור וולף. תחומי המחקר שלה כוללים בין היתר: Attention based models, multi modal learning, explainability and interpretability. בנוסף, הילה בוגרת תואר ראשון במדעי המחשב מהטכניון, שם קיבלה את התואר בהצטיינות ראויה לשבח.
19:25Break
19:30NLP
Towards Robust and Interpretable Machine Reasoning Over TextMor Geva, Ph.D. candidate at Tel Aviv University and a research intern at the Allen Institute for AI, advised by Prof. Jonathan Berant
-
Abstract
Large pre-trained language models (PTLMs) are at the core of natural language understanding systems, but they often fall short in settings that require complex reasoning. In this talk, we will review some of the major challenges in developing models that can reason over text, and discuss exciting directions to tackle these challenges. First, I will describe a method that uses synthetic data to endow PTLMs with target reasoning skills. Next, I will show how structured representations can be used to automatically transform the semantics of questions, and demonstrate the utility of this method to assess the reasoning abilities of reading comprehension models. Last, I will discuss an emergent behavior phenomenon in multi-task PTLMs, and show how it can be harnessed for interpretability and generalization of reading comprehension skills.
-
Bio
Mor Geva is a PhD candidate at Tel Aviv University and a research intern at the Allen Institute for AI, advised by Prof. Jonathan Berant. Her research focuses on developing systems that can reason over text in a robust and interpretable manner. During her PhD, Mor interned at Google AI and Microsoft Media AI. She was recently awarded the Dan David prize for graduate students in the field of AI and the Deutsch Prize for excellence in PhD studies. She is also a laureate of the Séphora Berrebi scholarship in Computer Science.
19:50Machine Learning in Healthcare
Leveraging electronic medical information for research - opportunities, challenges, and what’s in betweenAyya Keshet, Ph.D. candidate at the Weizmann Institute of Science under the supervision of Eran Segal
-
Abstract
Health data is increasingly being generated at massive scales, at various levels of phenotyping, and from different types of resources. My research involves several different types of medical information - from electronic medical records (EHRs), through Microbiome samples and COVID-19 symptom questionnaires; each presents unique challenges but also research opportunities to advance medical knowledge and care.
-
Bio
איה קשת, סטודנטית לדוקטורט בביולוגיה חישובית במכון ויצמן, במעבדה של פרופ' ערן סגל. בעלת תואר ראשון בביואינפורמטיקה מהטכניון , ותואר שני בביולוגיה חישובית ממכון ויצמן. מתמקדת במחקר על דאטה רפואי, לקידום ידע רפואי וטיפול מותאם אישית.
20:10Computer Vision
Leveraging StyleGAN for Image Editing and ManipulationOr Patashnik, M.Sc. student at Tel Aviv University under the supervision of Daniel Cohen-Or
-
Abstract
StyleGAN has recently been established as the state-of-the-art unconditional generator, synthesizing images of phenomenal realism and fidelity, particularly for human faces. With its rich semantic space, many works have attempted to understand and control StyleGAN’s latent representations with the goal of performing image manipulations. To perform manipulations on real images, however, one must learn to “invert” the GAN and encode the image into StyleGAN’s latent space, which remains a challenge. In this talk, I will discuss recent techniques and advancements in GAN Inversion and explore their importance for real image editing applications. In addition, going beyond the inversion task, I will demonstrate how StyleGAN can be used for performing a wide range of image editing tasks.
-
Bio
אור פטשניק היא סטודנטית באוניברסיטת תל-אביב תחת הנחייתו של דניאל כהן-אור. המחקר שלה עוסק בלמידת מכונה, גרפיקה, וראייה ממוחשבת. בשנה האחרונה, אור פרסמה מספר מאמרים העוסקים בגינרוט ועריכה של תמונות.