지난달 9일부터 미국 샌프란시스코에서 열린 세미콘웨스트(SEMICON WEST)에서 프로그래머블반도체(FPGA) 글로벌 1위 업체 자일링스의 라민 론 AI 및 소프트웨어 솔루션 부문 부사장을 만나 인터뷰했다. 인공지능(AI), 자율주행 등 신산업은 반도체 개발 패러다임도 변화시키고 있다. FPGA는 이 시대 어떤 역할을 할까? 당사자인 론 부사장의 음성과 인터뷰 전문을 싣는다. 

◇김주연 기자

Q1. 자일링스는 FPGA 업계 1위 업체다. 최근 FPGA에서 ACAP로의 세대 전환을 발표했다. FPGA와 ACAP의 차이는 무엇인가?

자일링스는 1980년대 FPGA를 개발했다. 그 당시 FPGA는 단지 로직, I/O, 메모리만을 가진 적응형 패브릭이었다. 그리고 2011년 우리는 SoC인 징크를 출시했다. 징크는 Arm 프로세서 기반 컴퓨트 엔진과 그래픽 GPU, 그리고 FPGA 회로블럭으로 구성됐다. 임베디드 애플리케이션의 상당수가 고성능 프로세서와 FPGA 패브릭 가속화를 필요로 했기 때문이다.

 ACAP는 기본적으로 새로운 세대다. 이 제품은 우리의 고객들에게 5G 가속화 같은 AI 가속화를 도와준다. ACAP는 기본적으로 VLIW SIMD 프로세서로 구성된 AI엔진을 갖고 있다. 이 엔진이 AI나 DSP 등의 알고리즘을 가속화해주죠. 가장 중요한 것은 5G에 이를 쓸 때다. ACAP를 쓰면 내부 AI엔진이 ASIC에 필적할만한 강력한 성능을 제공한다. 

 또한 우리는 데이터를 훨씬 더 빠르게 이동시키는 방법이 필요했다. 그래서 우리는 강화된 NOC(Network on chip)과 강화된 I/O를 만들었다. NOC는 기가헤르쯔 단위로 데이터를 움직인다. 이를 통해 데이터 스트리밍, 메모리 맵 데이터를 지원하며, 칩 내부의 메모리 양을 늘릴 수 있었다. 또 AI 엔진 내부적으로 메모리를 갖고 있어 우리는 가능한 한 오래 데이터를 보관할 수 있었다.

 CPU 및 GPU 같은 기존 아키텍처는 외부 메모리와 많은 데이터를 주고받는다. 이것의 대부분의 전력이 소모되고 성능이 저하되는 이유다. 우리는 기본적으로 NOC를 통해 더 많은 데이터를 저장해뒀고, DDR, 이더넷, PCIe 등 빠른 PCIe를 썼다. 실제로 많은 I/O와 DMA, 그리고 메모리 컨트롤러 등을 강화했다. 이전 세대의 FPGA는 기본적으로 I/O 속도를 높이거나 하기 위해 FPGA 프로그래머블 로직을 썼다.

Q2. FPGA는 전통적으로 R&D 분야에 활용됐다. 하지만 AI, 자율주행처럼 오랜 기간 연구개발을 해야하는 애플리케이션이 등장하면서 FPGA도 ASIC처럼 쓰일 때가 있다고 들었다. 실제론 어떤가? FPGA를 대량 양산하는 경우도 있나?

FPGA가 연구에 사용된 건 주로 1980년대다. 현재는 의료 산업, 자동차 산업, 방위 산업, 우주 항공 분야에 수백만 개의 제품이 출하됐다. 실제로 화성에도 FPGA가 다녀왔을 정도다. 따라서 FPGA는 실제로 모든 수직적 시장에서 널리 활용되고 있다. 

 또, 아마존웹서비스(AWS)의 세 가지 인스턴스 유형 중에는 자일링스의 FPGA가 들어간다. 항공기, 의료 장비, 대형 디스플레이 등의 뒷편에 보면 수백 또는 수천개의 FPGA를 확인할 수 있다. 4G LTE가 그랬던 것처럼 5G에도 많은 양의 FPGA가 쓰인다.

 다시 말해, FPGA는 연구개발용이 아니라 고성능 제품용이다. 시스코의 라우터, 고성능 자동차, 고성능 TV 모니터 등에 활용된다.

 이게 지금까지의 FPGA다. 하지만 지난 몇년 간 무어의 법칙이 느려졌고, CPU가  AI 같은 메인 스트림 애플리케이션의 역할을 할 수 없게 됐다. CPU가 하이엔드 애플리케이션을 수행할 수 없어서 FPGA가 쓰였듯, FPGA가 주류 애플리케이션으로 들어가고 있다. 

 Q2-1. 하지만 이같은 애플리케이션을 개발하는 업체들의 최종 목표는 자체 ASIC을 갖는 것이다. 구글도 TPU를 가지고 있다. 이는 알고리즘이 개발 완료되면 FPGA의 전력소모량과 가격이 ASIC보다 크기 때문이다. 성능·전력효율·면적·비용(PPAC)을 FPGA로 개선할 수 있는 방법은 없나?

칩 레벨에서 살펴보면 일부 ASIC이 FPGA보다 전력 소모량이 적을 수 있다. AISC이 2W를 소비하고(물론 TPU는 아니지만), FPGA는 자동차의 경우 5W나 10W를 소모한다고 치면 ASIC보다 전력 소모량이 높지만 전체 응용 프로그램을 보면 아니다.

 우리의 자동차 고객은 여러 서로 다른 알고리즘을 하나의 FPGA에 넣는다. 이 전력 소모량은 실제로 계산되지 않는다. 리사 수 AMD CEO가 말했듯, 시스템 전력 소모량의 40%는 컴퓨팅에 사용되고, 60%는 외부 메모리, 다른 칩과 데이터를 주고받을 때 쓴다. 고객은 이 여러 개의 칩과 외부 메모리를 FPGA 하나로 결집한다. 

 FPGA의 강점 중 하나는 응용 프로그램에 맞게 사용자 정의된 칩을 만들고, 원하는 대로 꾸려진 메모리 계층을 사용할 수 있다는 것이다. CPU 또는 GPU, TPU의 메모리 계층 구조는 칩 내부에 약간의 캐시 레벨을 가지고 있을 뿐이다. 항상 외부 메모리에 데이터가 저장되죠. 이것이 60%의 전력량이 쓰이는 곳이다.

 따라서 전체 애플리케이션을 살펴볼 때 FPGA가 여러 애플리케이션과 외부 메모리를 합친 제품이라는 점을 고려하면 전력 소모량은 실제로 훨씬 적다. 이게 우리 자동차 고객사들이 FPGA를 찾는 이유다. 

 AI 칩이나 GPU와 FPGA를 벤치마킹할 때도 단순 성능은 AI가 더 높을 수 있지만, FPGA는 전처리, AI, 후처리, 메모리를 하나에 넣을 수 있다. 이를 CPU, GPU, 메모리 각각과 비교했을 때 와트 당 전력은 상당히 적다. 원하는 모든 것을 FPGA에 넣을 수 있기 때문이다.

Q3. AI, 자율주행 같은 애플리케이션 덕에 반도체 산업에 종사하는 기업이 아닌 기업들이 반도체를 디자인하기 시작했다. 자일링스는 이들 기업을 어떻게 지원하고 있나?

지난 5년간 해왔던 일 중 하나가 텐서플로 같은 산업 표준 프레임워크를 지원, 설계 흐름을 소프트웨어 수준으로 끌어올리는 것이었다. 우리는 중국에 있는 디파이를 인수, 이를 개발 중이죠. 우리는 오픈소스 프레임워크와 라이브러리를 지원하는 방향으로 나아가고 있다. 그래서 우리는 실제로 그 소프트웨어 개발자들을 수용할 수 있다. 지난날의 디자인 흐름은 하드웨어 개발자들에게 맞춰져있었지만 지금은 소프트웨어 입니다. dxf에서 이에 관한 큰 발표를 할 것이다. 하지만 기본적으로 우리는 소프트웨어 공동체, 오픈 소스 커뮤니티, 라이브러리 및 프레임 워크에 중점을 두고 있다.

Q4. FPGA의 최대 장점은 사용자가 원하는 대로 설계를 바꿀 수 있다는 것이다. 무어의 법칙이 끝났고, PPAC 개선 방법을 칩 설계에서 찾는 경우가 있다. FPGA가 해답이 될 수 있나?

 당연하다. 이것이 FPGA에 대한 관심이 높아진 이유 중 하나다. 무어의 법칙이 끝났고 혁신은 중단됐다. 전에는 쉬웠습니다. 1년 반 기다리면 모든 게 2배가 됐죠. 속도도, 가격도 말이다. 하지만 이젠 그렇지 않다. 

 따라서 사람들은 시스템 수준에서의 혁신을 위해 더 노력해야했다. 사용자 정의 메모리를 가지고 사용자 정의 디자인을 가진 FPGA는 전체 시스템 가속화를 매년 2배 높이기 위한 길일 수 있다. AI 같은 것들도 그 어느때보다 빠르게 발전하고 있다. 예를 들어 현재 레지넷50으로 만든 AI 프레임워크는 1년 후에는 아주 오래된 것으로 취급받는다. 

 그리고 기업들이 ASIC을 만드는 데 얼마나 오래 걸리는 지 알아야 한다. 가장 부유한 구글이나 애플 같은 기업도 1년 반이나 걸렸고 보통은 2년 이상이 걸린다. 생산할 준비가 되면 최첨단 기술은 더 나아가버린다. 이 경우의 효율성은 어쩌면 10%에 불과하다. FPGA는 구글넷, 레지넷 등을 가속화할 수 있도록 설계할 수 있다. 모빌넷, 셔플넷 등 새로운 유형의 컴퓨트에 맞춰 새로운 디자인 오버레이를 제공한다. FPGA의 효율성이 80%라고 가정했을 때 10%의 효율성을 가진 ASIC을 비교할 수 있다.

 그리고 FPGA 위에 다른 응용 프로그램을 넣을 수 있다. ASIC을 완성하는 건 너무 어렵다. ASIC을 만드는 데 걸리는 시간이 알고리즘의 발전 속도보다 매우 느리기 때문이다. 10~20년 후 혁신 속도가 느려지면 몰라도, 그 전에는 그런 일이 없을 것DL다.

Q5. AI나 자율주행을 스타트업이 개발하고 있는 경우도 있다. 그들은 성공할 수 있을까?

스타트업이 성공하긴 매우 어렵다. 앞서 말했듯 스타트업은 2년 이상의 시간을 걸려 ASIC을 만든다. 그리고 그 시간 최첨단 기술은 계속 진보하고 있다.

 또 다른 하나는 AI 성능을 엔드-투-엔드 애플리케이션의 성능과 비교하는 것이다. 신생 기업은 애플리케이션이 칩에 어떻게 연결될 것인지 모릅니다. 2년, 3년안에 어떻게 적용될지도 모른다. 인텔, 엔비디아 같은 현재의 회사와 경쟁하기 매우 어렵다. 다시 말하지만, 고객은 전체 응용 프로그램을 벤치마킹하지 AI 가속만 벤치마킹하지 않는다. 오히려 이는 성능 저하를 불러올 수 있다.

Q6. 5G에서 FPGA가 어떻게 활용되나?

자일링스는 휴대폰 외 5G의 모든 제품을 공급하고 있다. 인프라, 안테나, Massive MIMO, 마이크로셀, 매크로셀 등에 들어간다. 데이터센터에 깔리는 유선 인프라에도 마찬가지다.

 아날로그 신호가 들어오면 RF SoC는 기본적으로 아날로그 신호를 디지털로 변환해 FPGA로 넘긴다. FPGA처럼 RF SoC에는 여러 칩이 흡수돼있다. 그리고 여러 아날로그 칩을 FPGA에 연결하기 전까지는 모든 것을 흡수한다. 

Q7. 많은 사람들이 반도체 시장 성장세가 정체됐다고 말한다. AI나 자율주행은 이제 시작일뿐이라고 생각하는데, 실제론 어떤가? 고객 수가 줄었나?

 현재 반도체 시장 성장세 둔화는 메모리와 메모리 가격에 기인한다. 메모리 가격이 내려가자 총 가용 시장(TAM)이 줄었다. 몇몇 반도체도 그렇다. 엔비디아는 암호화폐 시장이 꺾인 다음 GPU에 대한 재고를 쌓아놓을 수밖에 없었다.

 자일링스는 지난 몇 분기 동안 두자릿수의 이익을 올렸다. 기본적으로 우리는 극단적으로 다양한 제품군을 가지고 있기 때문이다. 변동이 심한 애플리케이션에 큰 영향을 받지 않는다. 게다가 우리는 메모리를 팔지 않는다. 물론 FPGA 내 메모리는 사랑한다.

Q8. 한국 고객들에게 하고 싶은 말은?

SKT의 누구를 써달라. SKT의 누구는 자일링스의 FPGA로 동작한다. 음성 인식 기능에 FPGA가 활용된다. 아마 5G도 우리의 고객사인 삼성의 장비를 사용한다고 들었다. 그러니 누구와 5G를 많이 써달라.

◇원문

Q1. Xilinx is the number one company in FPGA. Recently, You announced a generational shift from FPGA to ACAP, Adaptive Compute Acceleration Platform. What is the difference between the FPGA and ACAP?)

 So you`re familiar with FPGA, right? (Yeah, I know.) So, Xilinx invented FPGA in the 1980s, which was consisted of just in a adaptive Fabric, which has a Logic, I/O and memory. And then, In about 2011, We came up with the ZYNQ, SoC(System on Chip) Which consisted of a basically ? engine with arm processors And graphic GPU And the FPGA fabrics. and that's was, because of lot of Embedded application needed some part of the workload to run on high performance processor, and some parts of the workload for being accelerated by FPGA fabrics.

 And, ACAP is basically the next generation, which will help our customers who need a AI acceleration as well as 5G algorithm acceleration. What's, ACAP basically added the AI engine which is an array of SIMD processors, actually array of VLIW SIMD processor, they can accelerate algorithm such as AI and DSP algorithm, in general. But most specific the one used in 5G. Along with That's because the AI engine gives huge performance density which is comparable to ASICs. 

 We also needed a way to move data out much much more rapidly. So we came up with the hardened NOC, and the hardened I/O, as well. (NOC is mean Network on Chip?) Yeah. We can hardened Network on chip that moves data from Ghz, very wide that support streaming the data, memory map data and we increase the amount of memory inside with chip also, And there is lot of memory inside AI engine as well so we can keep the data in the device as long as possible. 

 Whereas with traditional architectures likes CPUs and GPUs, you do a lot of back-and-forth with external memory. That's where most of the power and most of the performance drop. As we basically try to keep the data inside that`s needed with more memory with the NOC, and also we needed very fast I/O interfaces like Ethernet, DDR, PCI etc. and so we have actually hardened a lot of those I/Os and DMAs And the memory controller, etc, was you know, The previous Generation those were basically, you would basically use FPGA programmable logic to take cover I/O speed is necessary as well.

Q2. FPGA have traditionally used to be in R&D for IC design. However, with the emergence of application that need to be studied long time, such as AI, self-driving and 5G. I heard that FPGA sometimes used like ASICs. how is it actually going? Is there any case of mass production of the FPGA?

So maybe FPGAs were used in the mostly research in the 1980s, But since then Actually we have shift Millions of units, in the automotive industry in the medical industry, in the Aerospace in the defence industry, and We actually have a FPGA on Mars, FPGA in Space around here at the edge of the Galaxy. So FPGA is actually pretty pervasive in all vertical markets. We have a high volume shipments. 

 Yes, we do it again in Automotive, in datacenter, You know, have a FPGA instances of AWS, Amazon Web services, there only three type of instances on AWS CPU instances from Intel, GPU instances from NVIDIA, and FPGA instances from Xilinx. 

 And That`s pr? as well. But, uhm, in aeronautics, in Medical, in video like the large LCD screen, LED screen that you see this kind in conferences, the basically powered to by hundreds or thousands of FPGA is on the back. And there 5G, that`s huge volumes, 4G and LTE before that was huge volume, and then we have But you have a points where FPGA is mostly not just R&D, but mostly in the high-end. That we can accept. Th at FPGA is mostly in the high-end product like high-end cisco`s routers, high-end Automotive, high-end TV monitors, high-end display monitors, etc. 

 That is True. But, what happened in the past few years is because Moore's Law slowed down. (it`s Over). Yeah, CPUs are not able to do MainStream application. Before CPUs couldn`t do high-end application, so you would use in FPGA. Now CPUs can not do in Mainstream application that in come AI, and other difficult processing, So now basically FPGAs are coming in the mainstream application. That really what your witnessing in FPGA eras.

Q2-1. But final goal of companies design AI and self-driving chips is to create their own ASIC. Google also has TPU their own. This is because FPGA is more power-consuming and more expensive than ASIC, When algorithm is finally complete. Is there a way to improve PPAC(Performance·Power·Area·Cost)?

 So If you look at the power, at just a chip level, It could be that some ASIC consume obviously less power than FPGA, where you can have a ASIC that consumed 2W which is not the case for TPU. But You can conceive that if you have an FPGA in a car, that`s consumes 5 or 10 watts. It`s consuming more than an ASIC that`s consuming 2W. But, there is a but, you have to look at the whole application. 

 And what's our Automotive customers do in automotive Bigfoot's difference algorithm into one FPGAs, and the biggest part of the power consumption usually is not in compute actually. Lisa Su of AMD, you heard that, right? She said that up to 40% of the power consumption is in compute, and 60% is in data communication to external memory, to other chips, Etc. What's our customers do with the FPGA, they bring in multiple chips and external memory inside the FPGA.

 I said one of the strengths of FPGA, It has always been the number one strength of the FPGA is that you can build your own custom chip for your application, customized for application, with your own custom memory hierarchy which means that the memory hierarchy is in the chip, You would need to go out to DDR. 

 Whereas the CPU or GPU or TPU Memory hierarchy is that they have Some cash level inside the chip, but you always end up in the external memory. and that's where 60% of power goes. So when you look at the whole app, Considering that if you want use in FPGA, you gonna have multiple application and external memory, The power consumption is actually significantly less. And that`s what our automotive customers are seeing, for examples. So, it`s something when you benchmarking AI versus a GPU Maybe the raw performance is comparable for just AI but we put the whole application in FPGA, the pre-processing, the AI, the post-processing and the memory. when you compare that to CPU, GPU, memory, the power per watts is significantly less for us Because we can put everything you wanted in FPGA.

Q3. Because of the application like AI and self-driving, companies in other areas have started designing IC. How is Xilinx doing for those company that are not familiar with semiconductor?

 And the big thing we're doing we have been doing for now for 5 years is to elevate designings design flow to the software level by supporting industry-standard Frameworks. like TensorFlow, and We have the Acquisitions like Deephi, it positioned in China and we are developing. We are moving towards supporting open source Frameworks and in libraries. so we can actually cater to those software developers. Because the current design flow, the design flow of yesterday is really tailored as you say to Hardware developer, right? It`s like a chip design. Schedule programming, "a programmable Hardware". But we are definitely moving towards to that. And I really recommend you come to our developer Forum, October 1st, in San jose, that`s October 1st. And we will be having some big announcement there.

 But basically we are catering to the software community, to the open-source community, libraries and frameworks.

Q4. The biggest advantage of FPGA, you mean, you say, that customers can change their design. As Moore's law is over. There are some forced to improve PPAC of the chip by Design. Can FPGA be one of the answers?

 Absolutely. This is one of the reasons why interest on FPGA have been put on up. Moore`s law being over, or almost over. Innovation really left off. Because before It was easy. You just wait for a year-and-a-half and everything would be 2x faster, chiper. But It's not the case anymore. 

 So people have to go to work extra hard to innovating at the system level. So, But they mentioned before still of places is the whole app, custom application design in one FPGA with custom memory hierarchy obviously that's one way to have an entire app acceleration back to the 2x every year and a half track. But also the things you were mentioning that AI, have it`s speed of innovation that fast than ever before, like if you have a very hot AI framework one day with resnet50, a year later or year-and-half later, that`s a very old Network. 

 And when you know how long it takes in company, even the richest company in the world, Google or Apple, to make an ASIC it takes typical company more than 2 years and google and apple can maybe do a year-and-half,Well if they do a TPU for that that's optimized for Google Maps or resnet50, you know, an year-and-half when the silicone is ready to use the state-of-the-art has moved. And if they try take the MobileNet and implemented on TPU, It's not gonna be efficient. The efficient is maybe only 10% maybe less. Whereas on FPGAs, We have design that can accelerate things, like GoogleNet and ResNet. And if we get new type of compute like a MobileNet or ShuffleNet, we will provide a new design overlay on top of the FPGA that we have very high efficiency. Like 60, 78% efficiency from MobileNet and ShuffleNet. Now you comparable to FPGA with 80% efficiency versus a TPU with 10% efficiency. 

 And on top of that, You can put other pieces of application in that FPGA. So it's very hard for ASICs to complete because it takes longer to make the ASIC than the speed of innovation. Of course, Maybe 10 or 20 years later, Speed of innovation will slowdown, but we don't see it happening before 10 years.

Q5. In some cases AI and self-driving chips are developed by start-up, right? Can Startup be successful?

It's very hard. Because of good the same phenomena the speed of innovation and for startup, it takes typically longer. So 2 years plus to make ASICs, and State-of-the-art has moved. So it's very challenging. 

 And the other thing is usually the startup just compared the AI performance to end-to-end application`s performance, and those start-up Don't know how the application is going to be connected to the chip. They don`t know what application is gonna be in 2 years or 3 years. So it`s very very challenging to compete with not on the current established company, like Intel or NVIDIA. those compete to the FPGA and the ACAP. But (They) have the AI and most of ? in chip.

 Again, They cannot Their benchmarking only the AI acceleration at the end of the day, with customer is going to Benchmark the entire application, end-to-end acceleration that makes it really hard for them.

Q6. How is the FPGA used in 5G?

 In 5G, specifically Okay. So Wireless in general so, you know how it works, right? You have a base station with antenna that talked to multiple users in the area. The users use their cell phone, right?

 So there is 5G encrypting and decrypting in the base station and each in each cell phone any 5G. More specifically, The antennas or more distributor. So there are on away from the base station to buildings. And you also have what they called the massive MIMO antenna, which one take huge amounts of user, and then they can targets specific user with beam-forming which really they know where you located and then send a beam to you, Instead of sending it to everywhere and wasted the power. 

 So Xilinx is basically in all aspects of 5G besides in the cell phone. So we are not in your phone. But we are in the infrastructure, in the antennas, in the Massive MIMO, in the MicroCell, and in the MacroCell. So We covered the entire infrastructure. Oh, we are in the wired infrastructure as well. because 5G, It`s wireless but it also has wires that goes to that datacenter. If you talking to Korea, you will eventually have to use wire. So we are in the wire, and router as well. The cisco routers, the huawei router etc. And MIMO and so on. 

 When you gets a analog signal coming in, And our RF SoC basically can take directly the analog signal in the FPGA in gets converted into digital. When you can give them back out the design as well. Again, We are absorbing multiple chips in RF SoC that in FPGA in general. Whereas before you need it to a different analog chips connected to one FPGA. and now we absorbing the whole thing.

Q7. Many say the semiconductor Market is slow down. but I think new application like AI and Self-driving is just begun. How is it actually going? Has the number of your customers is down?

 In general, I think the big majority of the slow down in the semiconductor Market is caused by memory, And price of memory. The price of memory is down so the TAM(Total addressable market) of memories has in down. If you look at other semiconductor, I think very few are going down. Like NVIDIA went down it lot, Because cryptocurrency is crashed. So now there is a huge inventory of GPU. 

 Obviously you saw at xilinx went to up double digit In the past a few couple quarters. And I can refer you to the Analyst day. Victor went to announced then. Basically one of the things he said is we are extremely diversity fabrics.

  We are very very diverse. Like we are in the 5G, we are in the automotive, Aerospace, defense, medical and video etc. so Fluctuation here and there, doesn't affect us much. We are also in cryptocurrencies. That's so it doesn't really affect us much. But I mean you can see from previously quarters, the fact that we are diversified that we should be able to chip. And we don't sell memories. but we do love it all from chip to memory in our FPGA. 

Q8. Is there anything you want to say to korean customers?

Please use NUGU. Because NUGU is powered by Xilinx`s FPGA. (Yeah, I know. I forgot that.) So Yeah, they deployed quite a few Xilinx`s cards to do speech recognition for NUGU, and obviously they also deployed 5G So and That's also has role of a Xilinx`s FPGA. I heard that they has been using samsung which is a big Xilinx customer for 5G. So, Please use NUGU and a lot of 5G