Тут явно не понимают, в чём суть NPU и почему в первую очередь ими оснащают ноутбуки.
NPU в процессе - это фича энергоэффективности. По сути это блок, который позволяет производить необходимые нейросетям вычисления не на х86 ядрах, а на чем-нибудь экономичнее. В первую очередь , перемножать матрицы. Сам NPU нужен для того, чтобы устройство не садилось, если работают всякие положения вроде распознавания лиц, распознавание речи и прочая мелочёвка.
Запускать нейросетку на процессоре можно, и это даже не обязательно будет медленно. Но при этом, большие нейросети давно уже упираются в производительность подсистемы памяти, что с процессорами, что с видеокартами, поэтому по-настоящему мощный NPU не имеет смысла без очень мощной подсистемы памяти. Примерно на восьми канальных серверных решений или хотя бы Apple Silicon.
И насколько я знаю, никто не занимается созданием бэкендов для больших нейросетей на NPU вроде Stable Diffusion или 7B языковых моделей. Даже эппловский ИИ-ускоритель, один из мощнейших, не используется при этом. Вместо него применяют ядра ЦП и встройку.
Тут явно не понимают, в чём суть NPU и почему в первую очередь ими оснащают ноутбуки.
NPU в процессе - это фича энергоэффективности. По сути это блок, который позволяет производить необходимые нейросетям вычисления не на х86 ядрах, а на чем-нибудь экономичнее. В первую очередь , перемножать матрицы. Сам NPU нужен для того, чтобы устройство не садилось, если работают всякие положения вроде распознавания лиц, распознавание речи и прочая мелочёвка.
Запускать нейросетку на процессоре можно, и это даже не обязательно будет медленно. Но при этом, большие нейросети давно уже упираются в производительность подсистемы памяти, что с процессорами, что с видеокартами, поэтому по-настоящему мощный NPU не имеет смысла без очень мощной подсистемы памяти. Примерно на восьми канальных серверных решений или хотя бы Apple Silicon.
И насколько я знаю, никто не занимается созданием бэкендов для больших нейросетей на NPU вроде Stable Diffusion или 7B языковых моделей. Даже эппловский ИИ-ускоритель, один из мощнейших, не используется при этом. Вместо него применяют ядра ЦП и встройку.