|☑️부동산디비구매➧-(~텔레 thinkDB$➡️|✅개인정보디비판매~ㄴ '블랙웰→루빈→파인만'…새로운 아키텍처,2년마다 발표엔비디아 코리아 정소영 대표가 25일 오후 서울 롯데호텔에서 과학기술정보통신부(장관 유상임, 이하 ‘과기정통부’)와 정보통신산업진흥원(이하 ‘NIPA’) 주최로 진행된 ‘AI 글로벌 컨퍼런스’(이하 ‘컨퍼런스’)에서 오프닝세션을 진행하고 있다.[디지털데일리 강소현기자] “(AI 추론에서) 레이턴시(Latency)와 쓰루풋(throughput)의 최적의 밸런스를 찾는 것이 엔비디아의 AI(인공지능) 컴퓨팅 시스템의 발전 방향입니다.”엔비디아 코리아 정소영 대표<사진>는 25일 오후 서울 롯데호텔에서 과학기술정보통신부와 정보통신산업진흥원(NIPA) 주최로 진행된 ‘AI 글로벌 컨퍼런스’에서 “트레이닝(학습)과 비교해 인퍼런스(추론)에선 강력한 성능의 GPU(그래픽처리카드)가 필요없다고 여겨졌지만, 데이터센터(DC) 관점에서 보면 그렇지 않다”라며 이 같이 밝혔다.이날 컨퍼런스는 ‘엔비디아 GTC(GPU Technology Conference) 2025’의 주요 내용을 주제로 한 오프닝 세션으로 시작됐다. 지난주 미국 산호세에서 개최된 GTC는 엔비디아가 주최하는 AI 및 GPU 컨퍼런스로, 관련한 자사의 비전을 발표하는 자리다.이 자리에서 정 대표는 데이터센터 내 AI 추론 워크로드 효율화의 중요성을 강조하며, 이를 위한 엔비디아의 노력들을 공유했다. 데이터 처리에서의 속도와 질 간의 최적의 균형점을 찾겠다는 것이 핵심이다.정 대표는 “AI 추론의 경우 여러 유저들 혹은 여러 서비스들에 대한 요청이 합쳐져 데이터센터 단위의 결과를 만들어낸다”라며 “즉, 결과적으로 초당 처리한 인퍼런스 리퀘스트의 수를 의미하는 쓰루풋(데이터 처리량)이 높다고 해서 개별 서비스의 질이 좋은 것은 아니다”라고 말했다.특히, 그는 데이터센터를 은행에 빗대면서 “많은 고객들이 은행 창구에 몰려든다고 가정하고 각 창구에서 초당 몇 명에 서비스를 제공할 수 있는지 보게 된다면, 초당 처리 가능한 건수가 많아지면 개별 사용자에 대한 서비스의 품질은 떨어질 수 밖에 없다. 반대로 한 명에게 좋은 서비스를 제공하려면 개별 사용자에 대한 서빙 시간이 길어진다”라며 “즉, 쓰루풋과 개별 유저에 대한 서비스 질 간 밸런스를 찾는 것이 중요하다”라고 강조했다.이를 위해 엔비디아가 하드웨어와 소프트웨어 측면에서 어떻게 개선을 이뤘는지에 대한 내용도 이날 공유됐다.AI 추론 모델의 효율 극