학술제 기획 부문 : LLM 기반 민원 처리 자동화 시스템, CompLLM

LLM 기반 민원 처리 자동화 시스템, CompLLM

이번 교내 학술제에 "LLM 기반 민원 처리 자동화 시스템, CompLLM"을 주제로 서비스를 기획하고 우수상을 수상하였다. 우리 팀에서 기획한 서비스를 간단히 소개하고, 준비 과정과 후기를 중점으로 작성해보려 한다.

• 학술제 주제 : 대학교의 발전을 위한 다양한 기술 아이디어 기획 및 구현

학술제 우수상

서비스 소개

소개

• CompLLM = Complain (민원) + LLM (대규모 언어 모델)
  
  • 사용자의 민원을 분석하여 접수된 민원 관련 식별 후 예상 답변을 해당 부서에 전달
  • 사용자는 답변 상태를 실시간으로 확인 가능
• 제안 배경 및 필요성
  • 민원 담당 부서를 모르거나 연락처를 모르는 경우가 많음
  • 각 부서의 민원 처리 속도와 일관성은 한계가 존재
  • CompLLM 도입으로 빠르고 정확한 민원 처리 및 교내 구성원의 만족도 향상
   
• 사용 기술
  • React, Flask, PostgreSQL
  • BART, Llama 3.2, Redis Pub/Sub

서비스 작동 과정 (사용자)

1. 사용자 로그인
2. 민원 글 작성
3. 유효 정보 판단 (글, 제목)
4. 클래스 확률 (부서 별 확률), 예상 답변 생성
5. 실시간 결과 확인

사용자 관점

서비스 작동 과정 (관리자)

1. 관리자 로그인
2. 민원 확인
3. 유효 부서 확인 (담당 부서가 아닌 경우 다음 순위의 부서로 전달)
4. 답변 작성

데이터 처리 과정

1. 민원 접수 (Web -> LLM)
2. 민원 데이터 처리 (LLM -> Flask)
3. 민원 데이터 전송 (Flask -> 관리자)
4. 진행 상황 확인 (관리자 -> Web)

트래픽 ↓

트래픽이 적을 경우 LLM에 지속적인 요청으로 클래스 확률과 예상 답변을 추출해도 관계없지만, 트래픽이 많아질 경우 LLM에 과도한 트래픽이 생길 수 있다. 그래서 트래픽이 일정 수준에 도달한다면, LLM 호출 이전에 Redis를 배치해 서비스의 트래픽 부하를 감소시켰다.

트래픽 ↑

기대효과 및 확장 가능성

• 효율적인 민원 처리
  • 자동 부서 선별, 예상 답변 기능으로 인건비와 운영비를 절감하며, 일관된 민원 처리 지원
  • 민원 내용에 대한 예상 답변을 관할 부서에 제공함으로써 처리 시간 단축 및 민원 해결률 증가
  • 민원 처리 진행 상황을 실시간으로 제공하여 사용자의 만족도와 신뢰도 향상
• 상업적 효과
  • 수집된 민원 데이터를 학교 운영과 정책 개선에 활용하여 교육 서비스의 질 향상
  • 본 서비스를 학교 홍보에 활용하여 학생 유치 및 학교 이미지 향상에 기여
  • 민원 처리 플랫폼을 외부 교육 기관이나 기업에 라이선스 형태로 제공하여 수익 창출
• 확장 가능성
  • 수집된 데이터 분석을 통한 FAQ 생성으로 민원 처리 효율성 증대
  • 지속적인 LLM 안정성 향상을 통한 챗봇 형태의 서비스로 제공
  • 웹/앱, 다국어 지원을 통한 플랫폼과 언어에 구애받지 않는 서비스 지원
  • 현재 세종대학교 앱에 통합하여 학생들이 빠르고 간편하게 민원 접수 가능

준비 과정

2명의 인원으로 학술제에 참여하였다. 모두 인턴을 진행하고 있어 준비를 위한 시간이 많이 있지는 않았다. 그래서 최대한 회의를 짧고 굵게, 가능한 만나는 날이 적게 계획을 구상하였다. 오히려 인원이 적어 가능했던 계획이었고, 결과적으로 발표를 진행하기까지 총 4번의 회의를 진행하였다.

1차 회의 : 주제, 목차 선정, 내용 구체화 역할 분담

• 다양한 주제에 대한 이야기가 오가다가 교내 민원 처리에 대한 문제가 있음을 인지
• 기획 보고서를 작성하기 위한 목차 작성 및 작성할 내용 헤드라인 작성
• 보고서를 작성하기 위한 형식 통일 (명사형 어미 사용, 들여 쓰기, 글머리 등)
• 본인의 관심 분야를 고려하여 내용 구체화를 위한 역할 분담 (데이터 & AI)

2차 회의 : 구체화된 내용 병합, 서류 작성 마무리

• 1차 회의 후 보고서를 작성하면서 보완이 필요했던 부분 공유 및 수정 (이미지, 표지 추가 등)
• 서로 구체화한 내용을 병합하고, 보고서 마무리

3차 회의 : 발표 준비, 역할 분담

• 서류 합격 통지를 받고, 2차 평가 심사 기준에 맞춰 발표 준비
  • 창의성, 완성도, 실현가능성, 발표 전달성, 상업성
• 발표를 위한 목차를 새롭게 작성하고, 각 목차에 할당할 시간 논의
• PPT와 발표로 나눠 역할 분담 후 PPT에 들어갈 내용 논의

4차 회의 : PPT, 대본 마무리

• PPT 오탈자 확인, 추가 및 수정할 내용 공유 -> PPT는 회의 전에도 지속적으로 공유
• 발표자가 작성한 대본 검토 및 수정
• 최종적으로 발표를 위한 PPT와 대본 작성을 마무리하고 발표 준비 시작

후기

다른 팀의 발표

발표는 구현과 기획 부문 같이 진행하였기 때문에 다양한 주제에 대한 이야기를 들을 수 있었다. 다른 회사의 컨퍼런스나 발표를 듣는 이유에 대해 다시 깨달을 수 있었다. 구현 부문에서는 교환 학생과의 교류를 위한 서비스, 귀찮은 메모 작성을 편리하게 해 줄 수 있는 서비스, 시간표를 자동으로 구성해 주는 앱 등 신기하고 편리한 서비스가 많았다. 또한 기획 부문은 교수 평가 서비스, 수강 신청 우선제 등이 존재했다. 다양한 서비스와 아이디어에 대한 발표를 들으며, "이런 부분은 조금 개선 사항이 있지 않을까?", "저 서비스는 나도 써보고 싶다." 등 다양한 생각을 하며 즐겁게 타 팀의 발표를 즐겼던 시간이었다.

나의 발표

대학교를 다니며 생각보다 발표를 할 기회가 많지 않았다. 오랜만에 하는 발표에 기대 반, 걱정 반으로 준비를 진행했다. 발표 전 날까지는 아무 걱정도 없었고 긴장도 되지 않았는데, 막상 당일이 되고 시간이 다가오니 떨리기 시작하고 생각이 조금씩 흐려졌다. 결과적으로는 준비했던 내용을 모두 발표하였고 문제 된 것은 없었지만, 아쉬운 점은 청중을 보지 않고 거의 대본만 보고 읽었다는 것이다. 다음에는 긴장을 줄이고, 대본 없이 발표를 진행할 수 있도록 노력해야겠다.