Designing Interfaces for Text-to-Image Prompt Engineering Using Stable Diffusion Models: a Human-AI Interaction Approach, IASDR 2023

Seonuk Kim, Taeyoung Ko, Yousang Kwon, and Kyungho Lee. Designing Interfaces for Text-to-Image Prompt Engineering Using Stable Diffusion Models: a Human-AI Interaction Approach. The International Association of Societies of Design Research (IASDR’23). Milano, Italy. https://doi.org/10.21606/iasdr.2023.448

Statement

Generative AI tools, such as Stable Diffusion, are gaining popularity for generating images from text prompts. These tools enable users to enter a description and receive a corresponding detailed image in return. However, it remains challenging for many people—especially those without a technical background—to achieve the exact results they want. That’s because writing the right text prompt, known as “prompt engineering,” can be tricky. This study examines how everyday users interact with these AI systems and the challenges they encounter. The researchers collected over 78,000 posts from an online forum where people shared their experiments with AI-generated anime images. They analyzed which strategies were effective, how users learned from one another, and what types of behaviors were common. The goal is to design better user interfaces that make it easier and more intuitive for anyone to create the images they imagine. By understanding how people use and struggle with these tools, the study offers new ideas for designing AI systems that are more helpful, creative, and user-friendly.

Stable Diffusion과 같은 생성형 AI 도구는 텍스트 설명만으로 이미지를 만들어주는 기능으로 점점 더 인기를 얻고 있습니다. 사용자는 단순히 원하는 내용을 입력하면, 그에 맞는 정교한 이미지를 받아볼 수 있습니다. 하지만 특히 기술적인 배경지식이 없는 일반 사용자에게는 자신이 원하는 정확한 결과를 얻는 것이 여전히 쉽지 않습니다. 그 이유는 바로 ‘프롬프트 엔지니어링’이라 불리는, AI에게 정확한 지시를 내리는 문장을 작성하는 과정이 복잡하기 때문입니다. 이 연구는 일반 사용자들이 이러한 AI 시스템을 실제로 어떻게 활용하고 있으며 어떤 어려움을 겪는지를 살펴봅니다. 저자는 AI가 생성한 애니메이션 이미지를 주제로 활발하게 논의되는 한 온라인 포럼에서 7만 8천 개가 넘는 게시글을 수집해, 어떤 전략이 효과적이었는지, 사용자들이 어떻게 서로 배우고 어떤 행동 패턴을 보이는지를 분석했습니다. 연구의 목표는 더 직관적이고 쉽게 사용할 수 있는 사용자 인터페이스를 설계하는 것입니다. 사람들의 실제 사용 경험과 어려움을 이해함으로써, 이 연구는 더 창의적이고 사용자 친화적인 AI 시스템을 만들기 위한 새로운 방향을 제시합니다.